robots.txt ساز
robots.txt یک فایل است که میتوانید آن را در پوشه Root یا ریشه وبسایت خود قرار دهید تا به موتورهای جستجو کمک کند تا وبسایت شما را به صورت مناسبتر فهرست کنند. موتورهای جستجو مانند گوگل از رباتهای وبسایت یا رباتهایی که تمام محتوای وبسایت شما را بررسی میکنند، استفاده میکنند. ممکن است بخشهایی از وبسایت شما وجود داشته باشد که نمیخواهید آنها را جستجو کنند تا در نتایج جستجوی کاربران نمایش داده شوند، مانند صفحه مدیریت. میتوانید این صفحات را به فایل اضافه کنید تا به طور صریح نادیده گرفته شوند. فایلهای robots.txt از چیزی به نام پروتکل ممانعت رباتها استفاده میکنند. robots.txt ساز تنبل باشی به راحتی این فایل را برای شما تولید میکند.
ابزارهای مرتبط
برای مطالعه (حال داشتی بخون)
فایل robots.txt چیست؟
فایل robots.txt یک فایل متنی ساده است که در ریشه وبسایت قرار میگیرد و به موتورهای جستجو میگوید که کدام صفحات را میتوانند خزش کنند و کدامها را نباید. این فایل یکی از مهمترین ابزارهای کنترل دسترسی رباتها به محتوای وبسایت است.
چرا فایل robots.txt مهم است؟
فایل robots.txt نقش حیاتی در SEO و مدیریت ترافیک وبسایت دارد. این فایل به شما کمک میکند تا:
- کنترل دسترسی رباتها: مشخص کنید کدام بخشهای سایت را رباتها نباید خزش کنند
- صرفهجویی در بودجه خزش: از خزش صفحات غیرضروری جلوگیری کنید
- بهبود عملکرد SEO: رباتها را به صفحات مهم هدایت کنید
- حفاظت از محتوای حساس: از دسترسی رباتها به فایلهای خصوصی جلوگیری کنید
نحوه استفاده از ابزار تولید robots.txt
ابزار تولید robots.txt تنبلباشی به شما امکان میدهد تا بدون نیاز به دانش فنی، فایل robots.txt خود را به راحتی ایجاد کنید:
- انتخاب User-agent: نوع ربات مورد نظر خود را انتخاب کنید
- تعیین مسیرها: صفحات یا دایرکتوریهایی که میخواهید مسدود یا مجاز کنید را مشخص کنید
- تنظیم قوانین: قوانین Allow و Disallow را تعریف کنید
- مشاهده پیشنمایش: قبل از دانلود، فایل نهایی را بررسی کنید
دستورات مهم robots.txt
در فایل robots.txt از دستورات مختلفی استفاده میشود:
- User-agent: مشخص میکند که دستور برای کدام ربات است
- Disallow: مسیرهایی که ربات نباید خزش کند
- Allow: مسیرهایی که ربات میتواند خزش کند
- Sitemap: آدرس فایل sitemap.xml را مشخص میکند
- Crawl-delay: تاخیر بین درخواستهای ربات را تعیین میکند
مثالهای کاربردی robots.txt
مثال 1: مسدود کردن تمام رباتها از یک دایرکتوری
User-agent: *
Disallow: /admin/
مثال 2: مجاز کردن فقط Googlebot
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
نکات مهم در ایجاد robots.txt
- فایل robots.txt باید در ریشه دامنه قرار گیرد (مثل: example.com/robots.txt)
- نام فایل باید دقیقاً "robots.txt" باشد (حساس به حروف کوچک و بزرگ)
- از کاراکترهای خاص در مسیرها خودداری کنید
- فایل را به صورت منظم بررسی و بهروزرسانی کنید
- از Google Search Console برای بررسی صحت فایل استفاده کنید
نکته: فایل robots.txt فقط یک پیشنهاد است و رباتهای مخرب ممکن است آن را نادیده بگیرند. برای محتوای حساس از روشهای امنیتی قویتر استفاده کنید.