نرخ خزیدن Googlebot را کاهش دهید
گوگل الگوریتمهای پیچیدهای برای تعیین نرخ بهینه خزیدن برای هر سایت دارد. هدف گوگل این است که در هر بازدید، تا حد امکان صفحات سایت شما را بخزد بدون اینکه به پهنای باند سرور شما فشار وارد شود. با این حال، در برخی موارد، خزیدن Googlebot ممکن است بار زیادی بر زیرساخت سایت شما ایجاد کند یا هزینههای ناخواستهای در طول یک قطعی به همراه داشته باشد. برای کاهش این مشکل، ممکن است تصمیم بگیرید تعداد درخواستهای Googlebot را کاهش دهید.
هشدار درباره کاهش نرخ خزیدن
هنگام بررسی کاهش نرخ خزیدن Googlebot، به خاطر داشته باشید که این کار تأثیرات گستردهای خواهد داشت. کاهش نرخ خزیدن به معنای کشف کمتر صفحات جدید، بهروزرسانی کمتر صفحات موجود (مانند قیمتها و موجودی محصولات) و باقی ماندن صفحات حذف شده در فهرست به مدت طولانیتر است.
اگر نیاز دارید فوراً سرعت خزیدن را برای مدت کوتاهی کاهش دهید (مثلاً چند ساعت یا 1-2 روز)، میتوانید از کدهای وضعیت HTTP 500، 503 یا 429 به جای 200 استفاده کنید. این کدها میتوانند نرخ خزیدن سایت شما را کاهش دهند زمانی که با تعداد قابل توجهی از URLها مواجه میشوید. توجه داشته باشید که کاهش نرخ خزیدن بر کل نام میزبان سایت شما تأثیر میگذارد و هم URLهایی که خطا برمیگردانند و هم URLهایی که محتوا را برمیگردانند تحت تأثیر قرار میگیرند. وقتی تعداد خطاها کاهش یابد، نرخ خزیدن به طور خودکار افزایش خواهد یافت.
نکات مهم
به یاد داشته باشید که افزایش شدید در خزیدن ممکن است به دلیل ناکارآمدی در ساختار سایت شما یا مشکلات دیگر باشد. همچنین گوگل توصیه نمیکند که این کار را برای مدت طولانی (بیشتر از 1-2 روز) انجام دهید؛ زیرا اگر Googlebot این کدهای وضعیت را برای چند روز مشاهده کند، ممکن است URL مربوطه را از فهرست گوگل حذف کند.
اگر ارائه خطاها به Googlebot در زیرساخت شما امکانپذیر نیست، درخواست ویژهای برای کاهش سرعت خزیدن ارسال کنید. توجه داشته باشید که نمیتوانید درخواست افزایش نرخ خزیدن دهید.
نتیجهگیری
مدیریت نرخ خزیدن Googlebot نیازمند دقت و آگاهی از تأثیرات آن بر روی سایت شماست. با رعایت نکات فوق و استفاده از روشهای مناسب، میتوانید از بروز مشکلات جدی جلوگیری کرده و تجربه کاربری بهتری را برای بازدیدکنندگان خود فراهم کنید.