Файл с препоръки за роботи за търсене. Например, не индексирайте определени страници от сайта. Поставен в основната директория. Robots.txt е текстов файл, който уеб администраторите създават, за да инструктират уеб роботите (обикновено роботи на търсачките) как да обхождат страници на уебсайта си. Файлът robots.txt е част от протокола