SÖZLÜK
robots.txt nedir?
robots.txt, sitenin kök dizininde duran ve tarayıcı botlara hangi URL'lere erişip erişemeyeceklerini bildiren düz metin bir kurallar dosyasıdır. Bir güvenlik önlemi değildir; kurallara uyup uymamak botun kendisine bağlıdır.
Ayrıntılı anlatım
robots.txt kavramını örnekleriyle ve uygulamadaki karşılığıyla llms.txt Nedir? Sitene 10 Dakikada Nasıl Eklersin yazısında anlatıyorum.