Die Datei liegt üblicherweise im Stammverzeichnis einer Domain. Sie kann Crawling steuern und auf eine XML-Sitemap verweisen.

Die robots.txt ist kein Zugriffsschutz. Vertrauliche Inhalte müssen durch echte Berechtigungen und eine sichere Serverkonfiguration geschützt werden.