فایل robots.txt یک فایل متنی است که وبمستران باید خودشان بسازند. این فایل به ربات‌های موتورهای جستجو فرمان می‌دهد کدام صفحات وب را خزش کرده یا کدام صفحات را نباید خزش کنند. طبق پروتکل REP (Robots Exclusion Protocol) استانداردهایی برای ساماندهی به وضعیت خزیدن وب توسط ربات‌ها، دسترسی به صفحات وب و ایندکس کردن آن‌ها برای دسترسی کاربران تعیین شده است. فایل robots.txt و لینک‌های فالو و نوفالو نیز بخشی از پروتکل REP هستند.

 

دستورات قابل پشتیبانی در فایل robots.txt

به طور کلی پنج دستور مهم در فایل robots.txt وجود دارد که در ادامه با آن‌ها آشنا خواهید شد:

 

دستور user-agent

دستور user-agent به تنهایی نمی‌تواند یک دستور کامل باشد، بلکه باید در کنار یکی از سه دستور بعدی استفاده شود. این دستور نوع رباتی که باید از دستورات بعدی اطاعت کند را مشخص می‌کند.

برای مثال اگر قصد داشته باشید برای ربات‌های گوگل دستوری صادر کنید، نام ربات‌های گوگل (googlebot) را می‌نویسید. هم‌چنین اگر دستور برای تمام ربات‌هاست باید در مقابل user-agent: از علامت ستاره (*) استفاده شود.

 

دستور disallow

بعد از اینکه ربات‌های موردنظر مشخص شدند، وقت آن است تا برایشان دستور صادر شود. دستور disallow به معنی «اجازه ندادن» است. بنابراین طبعاً باید صفحاتی را که ربات مذکور نباید کرول کند (بخزد) را در مقابل آن نوشت. توجه داشته باشید که روت دامین نباید نوشته شود و فقط بعد از اسلش را بنویسید.  نکته دیگر این‌که، چنانچه قصد دارید چندین صفحه را disallow کنید، باید چند دستور disallow بنویسید. به مثال زیر توجه کنید:

User-agent: *

Disallow: /products/content/

Disallow: /local/enterprise/confirm

Disallow: /researchtools/ose/

Disallow: /page-strength/*

Disallow: /thumbs/*

 

دستور allow

دستور allow به معنی اجازه دادن است و همان طور که حدس می‌زنید به ربات‌های مشخص‌شده اجازه می‌دهد صفحاتی را که در مقابل این دستور نوشته می‌شوند بخزند.

البته نوشتن این دستور ضرورتی ندارد؛ چراکه ربات‌ها به صورت پیش‌فرض تمام صفحات سایت را می‌خزند. با این حال برخی وبمستران برای تأکید بر برخی صفحات سایتشان، از دستور allow استفاده می‌کنند. نحوه استفاده از دستور allow نیز دقیقاً مانند دستور disallow است.

 

دستور crawl-delay

این دستور می‌تواند بر سرعت لود صفحات سایتتان اثر بگذارد. به این ترتیب سرعت سایت به دلیل ورود تعداد زیاد خزنده‌ها کاهش پیدا نمی‌کند. شما می‌توانید عددی را در مقابل این دستور تایپ کنید. این عدد نشان می‌دهد که ربات‌های تعیین شده باید به آن مقدار ثانیه صبر کرده و سپس سایت را بخزند. البته توجه داشته باشید که این دستور برای ربات‌های گوگل اثر ندارد.

 

دستور sitemap

در مقابل این دستور باید آدرس سایت مپ را وارد کنید. این دستور نیازی به دستور user-agent ندارد.

 

منبع: وب24