
خیلیها فکر میکنند با Disallow کردن یک صفحه، آن صفحه از گوگل حذف میشود. اینطور نیست. Disallow فقط میگوید «نخز». اگر لینکی به آن صفحه وجود داشته باشد، گوگل ممکن است آدرس را بدون محتوا ایندکس کند.
robots.txt در برابر متا تگ robots
| ابزار | کجا قرار میگیرد | چه کار میکند | مناسب برای |
|---|---|---|---|
| robots.txt | ریشه دامنه | جلوگیری از خزش مسیرها | پنل مدیریت، جستوجوی داخلی، فیلترهای بینهایت |
| متا robots | داخل head صفحه | کنترل ایندکس و دنبال کردن لینکها | صفحات کمارزش، برچسبها، صفحات تشکر |
| X-Robots-Tag | هدر HTTP | همان متا robots برای فایلها | PDF، تصاویر و فایلهای غیر HTML |
دستورات اصلی robots.txt
User-agent: ربات مورد نظر؛ ستاره یعنی همه.Disallow: مسیری که نباید خزیده شود.Allow: استثنا داخل مسیر مسدود.Sitemap: آدرس کامل نقشه سایت.
نمونه مناسب وردپرس:User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://example.com/sitemap_index.xml
بدترین اشتباهی که دیدهایم، سایتی بود که بعد از انتقال از نسخه آزمایشی، هنوز Disallow: / داشت. سه هفته فروش از گوگل صفر شد تا کسی متوجه شود.
جواد یاسمی، مدیرعامل یاسئومی
مقادیر متا تگ robots
| مقدار | معنی |
|---|---|
| noindex | صفحه را در نتایج نشان نده |
| nofollow | لینکهای صفحه را دنبال نکن |
| noarchive | نسخه ذخیره نشان نده |
| nosnippet | متن خلاصه نشان نده |
| max-image-preview:large | اجازه پیشنمایش بزرگ تصویر |
| unavailable_after | حذف از نتایج بعد از تاریخ مشخص |
سرعت خزش و رباتهای هوش مصنوعی
اگر Googlebot بار زیادی روی سرور میگذارد، راه درست موقتاً برگرداندن کد ۵۰۳ یا ۴۲۹ است، نه مسدود کردن در robots.txt. برای رباتهای هوش مصنوعی هم میتوانید در robots.txt برای GPTBot یا Google-Extended تصمیم جداگانه بگیرید؛ ببینید GEO چیست.
۶ اشتباه رایج
- مسدود کردن کل سایت با Disallow: /.
- مسدود کردن فایلهای CSS و JS که گوگل برای رندر لازم دارد.
- Disallow و noindex همزمان روی یک صفحه.
- استفاده از robots.txt برای پنهان کردن اطلاعات محرمانه.
- فراموش کردن آدرس سایتمپ.
- نبود robots.txt روی سابدامینها.
در سئو تکنیکال یاسئومی، خزش و ایندکس کل سایت بررسی و اصلاح میشود. اطلاعات بیشتر و درخواست برآورد
مطالب مرتبط: نقشه سایت، تگ canonical و بودجه خزش.
یاسئومی؛ تیم سئو و طراحی سایت جواد یاسمی در مشهد
یاسئومی به مدیریت جواد یاسمی بیش از ۱۰ سال است که برای کارخانههای شهرک صنعتی توس، مراکز درمانی و برندهای مشهد سایت میسازد و سئو اجرا میکند. ما قیمتها را شفاف اعلام میکنیم، گزارش ماهانه قابلسنجش میدهیم و قبل از قرارداد، وضعیت فعلی سایت شما را رایگان بررسی میکنیم. برای شروع با شماره 0937 699 6070 تماس بگیرید یا فهرست کامل خدمات را ببینید.
پرسشهای متداول
robots.txt جلوی ایندکس را میگیرد؟
نه بهطور قطعی. برای جلوگیری از ایندکس از noindex استفاده کنید.
robots.txt را کجا ببینم؟
در آدرس دامنه بهاضافه /robots.txt؛ گزارش آن در سرچ کنسول هم هست.
اگر robots.txt نداشته باشیم چه میشود؟
رباتها همه سایت را مجاز میدانند؛ مشکلی ایجاد نمیکند، اما اعلام سایتمپ در آن مفید است.

