آموزش سئو فنی

robots.txt و متا تگ robots؛ راهنمای کامل کنترل خزش و ایندکس سایت

robots.txt و متا تگ robots — کنترل خزش و ایندکس سایت بدون خطا
پاسخ کوتاهrobots.txt فایلی در ریشه سایت است که به ربات‌ها می‌گوید کدام مسیرها را نخزند؛ اما جلوی ایندکس شدن را به‌طور قطعی نمی‌گیرد. برای جلوگیری از ایندکس باید از متا تگ robots با مقدار noindex یا هدر X-Robots-Tag استفاده کنید و صفحه را در robots.txt مسدود نکنید تا گوگل بتواند آن تگ را ببیند.

خیلی‌ها فکر می‌کنند با Disallow کردن یک صفحه، آن صفحه از گوگل حذف می‌شود. این‌طور نیست. Disallow فقط می‌گوید «نخز». اگر لینکی به آن صفحه وجود داشته باشد، گوگل ممکن است آدرس را بدون محتوا ایندکس کند.

robots.txt در برابر متا تگ robots

ابزارکجا قرار می‌گیردچه کار می‌کندمناسب برای
robots.txtریشه دامنهجلوگیری از خزش مسیرهاپنل مدیریت، جست‌وجوی داخلی، فیلترهای بی‌نهایت
متا robotsداخل head صفحهکنترل ایندکس و دنبال کردن لینک‌هاصفحات کم‌ارزش، برچسب‌ها، صفحات تشکر
X-Robots-Tagهدر HTTPهمان متا robots برای فایل‌هاPDF، تصاویر و فایل‌های غیر HTML

دستورات اصلی robots.txt

  • User-agent: ربات مورد نظر؛ ستاره یعنی همه.
  • Disallow: مسیری که نباید خزیده شود.
  • Allow: استثنا داخل مسیر مسدود.
  • Sitemap: آدرس کامل نقشه سایت.

نمونه مناسب وردپرس:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

بدترین اشتباهی که دیده‌ایم، سایتی بود که بعد از انتقال از نسخه آزمایشی، هنوز Disallow: / داشت. سه هفته فروش از گوگل صفر شد تا کسی متوجه شود.

جواد یاسمی، مدیرعامل یاسئومی

مقادیر متا تگ robots

مقدارمعنی
noindexصفحه را در نتایج نشان نده
nofollowلینک‌های صفحه را دنبال نکن
noarchiveنسخه ذخیره نشان نده
nosnippetمتن خلاصه نشان نده
max-image-preview:largeاجازه پیش‌نمایش بزرگ تصویر
unavailable_afterحذف از نتایج بعد از تاریخ مشخص

سرعت خزش و ربات‌های هوش مصنوعی

اگر Googlebot بار زیادی روی سرور می‌گذارد، راه درست موقتاً برگرداندن کد ۵۰۳ یا ۴۲۹ است، نه مسدود کردن در robots.txt. برای ربات‌های هوش مصنوعی هم می‌توانید در robots.txt برای GPTBot یا Google-Extended تصمیم جداگانه بگیرید؛ ببینید GEO چیست.

۶ اشتباه رایج

  1. مسدود کردن کل سایت با Disallow: /.
  2. مسدود کردن فایل‌های CSS و JS که گوگل برای رندر لازم دارد.
  3. Disallow و noindex همزمان روی یک صفحه.
  4. استفاده از robots.txt برای پنهان کردن اطلاعات محرمانه.
  5. فراموش کردن آدرس سایت‌مپ.
  6. نبود robots.txt روی ساب‌دامین‌ها.
robots.txt و ایندکس سایت را بررسی کنیم؟
در سئو تکنیکال یاسئومی، خزش و ایندکس کل سایت بررسی و اصلاح می‌شود. اطلاعات بیشتر و درخواست برآورد

مطالب مرتبط: نقشه سایت، تگ canonical و بودجه خزش.

یاسئومی؛ تیم سئو و طراحی سایت جواد یاسمی در مشهد

یاسئومی به مدیریت جواد یاسمی بیش از ۱۰ سال است که برای کارخانه‌های شهرک صنعتی توس، مراکز درمانی و برندهای مشهد سایت می‌سازد و سئو اجرا می‌کند. ما قیمت‌ها را شفاف اعلام می‌کنیم، گزارش ماهانه قابل‌سنجش می‌دهیم و قبل از قرارداد، وضعیت فعلی سایت شما را رایگان بررسی می‌کنیم. برای شروع با شماره 0937 699 6070 تماس بگیرید یا فهرست کامل خدمات را ببینید.

پرسش‌های متداول

robots.txt جلوی ایندکس را می‌گیرد؟

نه به‌طور قطعی. برای جلوگیری از ایندکس از noindex استفاده کنید.

robots.txt را کجا ببینم؟

در آدرس دامنه به‌اضافه /robots.txt؛ گزارش آن در سرچ کنسول هم هست.

اگر robots.txt نداشته باشیم چه می‌شود؟

ربات‌ها همه سایت را مجاز می‌دانند؛ مشکلی ایجاد نمی‌کند، اما اعلام سایت‌مپ در آن مفید است.

پروژه بعدی شما را از یک جلسه بررسی رایگان شروع کنیم

بدون فرم. مستقیم با ما در واتساپ یا تلگرام صحبت کنید.

تماس با یاسئومیپاسخ‌گویی مستقیم، بدون فرم
تماس مستقیم با مدیریت0937 699 6070واتساپارسال پیام و دریافت برآوردتلگرام@javadyasemiدفتر مشهد051-38490490