robots.txt bezeichnet eine Textdatei, die im Stammverzeichnis einer Domain abgelegt wird und die nach Übereinkunft des Robots-Exclusion-Standard-Protokolls (1994) ein Robot zuerst liest, wenn eine Webseite aufgefunden wird. Die Datei robots.txt ermöglicht Betreibern von Webseiten festzulegen, ob und zu welchen Bedingungen ein Robot ihre Webseite lesen darf. Der Inhaber einer Webseite kann somit ausgewählte Elemente seines Internetauftritts vor Suchmaschinen schützen bzw. vorgeben, welche Bereiche indexiert werden sollen. Allerdings haben die Anweisungen in der robot txt–Datei nur optionalen Charakter und garantieren beispielsweise nicht die vollständige Sperrung ausgesuchter Bereiche.