فایل robots.txt نمایش و یا عدم نمایش بخش های مختلف سایت به موتورهای جستجو می باشد.
بوت هایی به مانند بوت گوگل این فایل را می خوانند و از طریق آن صفحات سایت را ایندکس می نمایند.
بنابراین جهت ایندکس نشدن بخش های مختلف وب سایت خود می بایست آن بخش ها را در فایل robots.txt وب هاستینگ خود معرفی نمایید
جهت عدم دسترسی موتور جستجو به بخشی از سایت از کد زیر استفاده نمایید
# Blocks robots from specific folders / directories
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
در مثال بالا فلدرهای cgi-bin و tmp و junk برای موتور جستجو مسدود شده اند بنابراین در موتور جستجو لیست نمی شوند