serkankaya.
English version
Birlikte çalışalım ↗

SÖZLÜK

robots.txt nedir?

robots.txt, sitenin kök dizininde duran ve tarayıcı botlara hangi URL'lere erişip erişemeyeceklerini bildiren düz metin bir kurallar dosyasıdır. Bir güvenlik önlemi değildir; kurallara uyup uymamak botun kendisine bağlıdır.

Ayrıntılı anlatım

robots.txt kavramını örnekleriyle ve uygulamadaki karşılığıyla llms.txt Nedir? Sitene 10 Dakikada Nasıl Eklersin yazısında anlatıyorum.