پلفترم سئو
واقعیت کمتر شنیده‌شده درباره بودجه خزش
در حالی که سال‌ها تصور می‌شد «تعداد صفحات» یک عامل تعیین‌کننده در خزش سایت توسط گوگل است، حالا گوگل رسماً تأیید کرده که سرعت پایگاه داده اهمیت بیشتری دارد.
در قسمت اخیر پادکست «Search Off the Record»، گری ایلیس از تیم سرچ گوگل اعلام کرد که حتی سایت‌هایی با تعداد صفحات کمتر از آستانه یک میلیون، اگر پایگاه داده‌ای کند و ناکارآمد داشته باشند، ممکن است با مشکلات جدی در خزش روبه‌رو شوند.
این بیانیه، نه‌تنها دیدگاه ما به بودجه خزش را تغییر می‌دهد، بلکه یک پل مهم بین سئو فنی (Technical SEO) و بهینه‌سازی زیرساخت‌های دیتابیس ایجاد می‌کند.
بودجه خزش چیست و چرا اهمیت دارد؟
بودجه خزش (Crawl Budget) به میزان منابعی گفته می‌شود که گوگل برای خزش (Crawling) صفحات یک سایت اختصاص می‌دهد. این موضوع به‌ویژه برای سایت‌های بزرگ، فروشگاه‌های آنلاین، رسانه‌ها و وب‌سایت‌های دارای محتوای داینامیک اهمیت کلیدی دارد.
اما حالا گوگل می‌گوید حتی اگر صفحات شما کمتر از ۱ میلیون باشد، ولی ساختار دیتابیس ناکارآمدی داشته باشید، احتمالاً خزنده‌های گوگل دچار تأخیر، خطا یا توقف در خزش می‌شوند.
حرف اصلی گوگل: «خزش» مسئله نیست، «ایندکس‌کردن» مهم است!
ایلیس در این پادکست گفته است:
«این ایندکس‌کردن و نحوهٔ پردازش داده‌هاست که منابع سرور را مصرف می‌کند، نه صرفاً خزش.»
این جمله، یک تغییر نگاه بنیادی را می‌طلبد. بسیاری از سئوکاران روی بلاک کردن صفحات با noindex یا محدودسازی ربات‌ها تمرکز دارند. اما گوگل می‌گوید اگر زیرساخت دیتابیس شما کند باشد، حتی بهترین نقشه سایت (sitemap) هم نمی‌تواند جلوی افت سئو را بگیرد.
چرا آستانه ۱ میلیون صفحه تغییر نکرده است؟
از سال ۲۰۲۰، گوگل این آستانه را اعلام کرده و تا امروز نیز پابرجاست. دلیل این ثبات، افزایش هم‌زمان بهره‌وری و پیچیدگی‌های وب است. ایلیس در پادکست به‌شوخی گفت:
✔ خدمات سئو وردپرس در بهترین سطح کیفیتی و کمیتی به صورت فول پکیج 0 تا 100 بهینه سازی سایت و فضای مجازی ارائه می شود.
«در دهه ۹۰، ایندکس کردن ۱۰۰ هزار صفحه یک شاهکار بود. امروز این عدد فقط یک سایت متوسط است.»
اما چرا گوگل این عدد را تغییر نداده؟ چون ساختارهای مدرن مانند محتوای جاوااسکریپتی، اپلیکیشن‌های تک‌صفحه‌ای (SPA)، و داده‌های زنده باعث شده‌اند تمرکز اصلی به سمت سرعت پردازش محتوا برود، نه صرفاً تعداد صفحات.
چک‌لیست سئو فنی بر اساس توصیه‌های جدید گوگل
با توجه به آنچه گفته شد، تمرکز بر دیتابیس و ایندکس‌پذیری باید جزو برنامه روزانه سئوکاران و دولوپرها باشد.
برای سایت‌های کمتر از ۱ میلیون صفحه:
- تمرکز بر تولید محتوای باکیفیت و به‌روزرسانی منظم
- ساده‌سازی کد HTML و ساختار URL
- پرهیز از موانع خزش مانند JavaScript Blockers
برای سایت‌های بزرگ‌تر یا دینامیک:
- بررسی زمان اجرای کوئری‌ها در دیتابیس (Query Performance)
- استفاده از کشینگ در لایه‌های سرور و اپلیکیشن (Redis، Memcached)
- بهینه‌سازی سرعت پاسخ‌دهی به درخواست‌های API
- نظارت بر لاگ‌های سرور و Googlebot برای شناسایی اختلالات خزشی
برای همه وب‌سایت‌ها:
- استفاده از تگ‌های متا درست (canonical، hreflang، robots)
- ارائه نسخه AMP یا LCP بهینه برای موبایل
- تسهیل ایندکس‌پذیری با داده‌های ساختاریافته (Schema Markup)
- ارزیابی منظم صفحات ایندکس نشده در Google Search Console
تحلیل نهایی: سئوکاران باید دیتابیس‌کار هم باشند!
اگر تا امروز تصور می‌کردید سئو فقط به محتوا، لینک‌سازی و کلمات کلیدی محدود می‌شود، حالا زمان تغییر است. گوگل با این بیانیه، پیام واضحی به جامعهٔ سئو داده است:
«اگر دیتابیس شما کند است، هیچ محتوای خوبی هم نمی‌تواند شما را نجات دهد.»
بنابراین، پیشنهاد من (جواد یاسمی) به سئوکاران این است که در کنار یادگیری ابزارهایی مانند Ahrefs و Semrush، به درک مفاهیم زیر نیز مسلط شوند:
- SQL Query Optimization
- Load Testing
- Caching Layers (Varnish، CDNها)
- Observability Tools (مانند Datadog، New Relic)
نتیجه‌گیری: فصل جدید سئو فنی آغاز شده است
بیانیهٔ جدید گوگل ما را به یک واقعیت نزدیک‌تر می‌کند: زیرساخت سریع، پایه‌ای‌ترین مؤلفهٔ موفقیت سئو در آینده است.
فرقی ندارد سایت شما فروشگاه آنلاین باشد یا یک پلتفرم خبری، امروز بهترین سرمایه‌گذاری این است:
سریع‌تر کردن پاسخگویی پایگاه داده
ساده‌سازی مسیر ایندکس
و آماده‌سازی فنی برای نسل بعدی الگوریتم‌های جستجو
نویسنده: جواد یاسمی – مشاور ارشد سئو و استراتژی محتوای فنی
