جستجوی گوگل یک موتور جستجوی کاملاً خودکار است که از نرم‌افزاری به نام خزنده‌های وب استفاده می‌کند که به طور منظم وب را برای یافتن صفحاتی برای افزودن به فهرست ما جستجو می‌کند. در واقع، اکثریت قریب به اتفاق صفحات فهرست‌شده در نتایج ما به‌صورت دستی برای گنجاندن ارسال نمی‌شوند، اما زمانی که خزنده‌های وب ما وب را کاوش می‌کنند، به‌طور خودکار پیدا و اضافه می‌شوند. این سند مراحل نحوه عملکرد جستجو در زمینه وب سایت شما را توضیح می دهد. داشتن این دانش اولیه می تواند به شما کمک کند مشکلات خزیدن را برطرف کنید، صفحات خود را ایندکس کنید، و یاد بگیرید که چگونه سایت خود را در جستجوی گوگل بهینه کنید.
چند نکته قبل از شروع
قبل از اینکه به جزئیات نحوه عملکرد جستجو بپردازیم، مهم است که توجه داشته باشیم که Google برای خزیدن بیشتر یک سایت یا رتبه‌بندی آن، پرداختی را نمی‌پذیرد. اگر کسی خلاف این را به شما بگوید، اشتباه می کند.
Google تضمین نمی‌کند که صفحه شما را بخزد، فهرست کند، یا به آن سرویس دهد، حتی اگر صفحه شما از اصول جستجوی Google پیروی کند.
معرفی سه مرحله جستجوی گوگل
جستجوی گوگل در سه مرحله کار می کند و همه صفحات از هر مرحله عبور نمی کنند:
- خزیدن: گوگل متن، تصاویر و ویدیوها را از صفحاتی که در اینترنت پیدا کرده است با برنامه های خودکار به نام خزنده دانلود می کند.
- نمایه سازی: گوگل متن، تصاویر و فایل های ویدئویی موجود در صفحه را تجزیه و تحلیل می کند و اطلاعات را در فهرست گوگل که یک پایگاه داده بزرگ است ذخیره می کند.
- ارائه نتایج جستجو: وقتی کاربر در Google جستجو می‌کند، Google اطلاعاتی را برمی‌گرداند که مربوط به درخواست کاربر است.
خزیدن
مرحله اول این است که بدانید چه صفحاتی در وب وجود دارد. یک رجیستری مرکزی برای همه صفحات وب وجود ندارد، بنابراین گوگل باید دائماً به دنبال صفحات جدید و به روز شده باشد و آنها را به لیست صفحات شناخته شده خود اضافه کند. این فرآیند “کشف URL” نامیده می شود. برخی از صفحات به این دلیل شناخته شده اند که گوگل قبلاً از آنها بازدید کرده است. صفحات دیگر زمانی کشف می شوند که Google پیوندی را از یک صفحه شناخته شده به یک صفحه جدید دنبال می کند: برای مثال، یک صفحه هاب، مانند صفحه دسته، به یک پست وبلاگ جدید پیوند می دهد. هنگامی که فهرستی از صفحات (نقشه سایت) را برای خزیدن گوگل ارسال می کنید، صفحات دیگری کشف می شوند.
هنگامی که Google URL یک صفحه را پیدا کرد، ممکن است از صفحه بازدید کند (یا “خزیدن”) برای پیدا کردن آنچه در آن وجود دارد. ما از مجموعه عظیمی از رایانه ها برای خزیدن میلیاردها صفحه در وب استفاده می کنیم. برنامه ای که واکشی را انجام می دهد Googlebot نامیده می شود (همچنین به عنوان خزنده، ربات، ربات یا عنکبوت نیز شناخته می شود). Googlebot از یک فرآیند الگوریتمی برای تعیین اینکه کدام سایت‌ها، چند وقت یکبار و چند صفحه از هر سایت باید خزیده شود، استفاده می‌کند. خزنده‌های گوگل نیز به گونه‌ای برنامه‌ریزی شده‌اند که سعی می‌کنند سایت را خیلی سریع خزیده نکنند تا از بارگذاری بیش از حد آن جلوگیری شود. این مکانیسم بر اساس پاسخ های سایت است (به عنوان مثال، خطاهای HTTP 500 به معنای “آهسته شدن” است).
با این حال، Googlebot تمام صفحاتی را که کشف کرده است نمی‌خزد. برخی از صفحات ممکن است توسط مالک سایت برای خزیدن مجاز نباشد، صفحات دیگر ممکن است بدون ورود به سایت قابل دسترسی نباشند.
در حین خزیدن، Google صفحه را رندر می‌کند و هر جاوا اسکریپتی را که پیدا می‌کند با استفاده از نسخه اخیر Chrome اجرا می‌کند، مشابه نحوه رندر کردن صفحاتی که مرورگر شما بازدید می‌کنید. رندر مهم است زیرا وب سایت ها اغلب برای آوردن محتوا به صفحه به جاوا اسکریپت متکی هستند و بدون رندر ممکن است گوگل آن محتوا را نبیند.
خزیدن بستگی به این دارد که آیا خزنده های گوگل می توانند به سایت دسترسی داشته باشند. برخی از مشکلات رایج در دسترسی Googlebot به سایت ها عبارتند از:
- مشکل با سروری که سایت را مدیریت می کند
- مشکلات شبکه
- قوانین robots.txt از دسترسی Googlebot به صفحه جلوگیری می کند
نمایه سازی
پس از خزیدن یک صفحه، گوگل سعی می کند بفهمد صفحه در مورد چیست. این مرحله فهرست‌سازی نامیده می‌شود و شامل پردازش و تجزیه و تحلیل محتوای متنی و برچسب‌ها و ویژگی‌های محتوای کلیدی، مانند عناصر <title> و ویژگی‌های alt، تصاویر، ویدئوها و غیره است.
در طول فرآیند نمایه سازی، گوگل تعیین می کند که آیا یک صفحه تکراری از صفحه دیگری در اینترنت است یا متعارف. Canonical صفحه ای است که ممکن است در نتایج جستجو نشان داده شود. برای انتخاب متعارف، ابتدا صفحاتی را که در اینترنت پیدا کرده‌ایم و محتوای مشابهی دارند با هم گروه‌بندی می‌کنیم (که به عنوان خوشه‌بندی نیز شناخته می‌شود) و سپس صفحه‌ای را انتخاب می‌کنیم که بیشتر نماینده گروه است. صفحات دیگر این گروه نسخه‌های جایگزینی هستند که ممکن است در زمینه‌های مختلف ارائه شوند، مثلاً اگر کاربر از یک دستگاه تلفن همراه جستجو می‌کند یا به دنبال صفحه بسیار خاصی از آن خوشه است.
گوگل همچنین سیگنال‌هایی را در مورد صفحه متعارف و محتوای آن جمع‌آوری می‌کند که ممکن است در مرحله بعد، جایی که صفحه را در نتایج جستجو ارائه می‌کنیم، استفاده شود. برخی از سیگنال ها شامل زبان صفحه، کشوری که محتوا در آن محلی است و قابلیت استفاده از صفحه است.
اطلاعات جمع‌آوری‌شده درباره صفحه متعارف و خوشه آن ممکن است در فهرست Google، یک پایگاه داده بزرگ که بر روی هزاران رایانه میزبانی می‌شود، ذخیره شود. نمایه سازی تضمین نشده است. هر صفحه ای که گوگل پردازش می کند ایندکس نمی شود.
نمایه سازی به محتوای صفحه و ابرداده آن نیز بستگی دارد. برخی از مشکلات رایج نمایه سازی می تواند شامل موارد زیر باشد:
- کیفیت محتوای صفحه پایین است
- قوانین متا ربات ها نمایه سازی را مجاز نمی دانند
- طراحی وب سایت ممکن است نمایه سازی را دشوار کند
ارائه نتایج جستجو
گوگل برای رتبه بندی صفحات بالاتر پرداختی را نمی پذیرد و رتبه بندی به صورت برنامه ای انجام می شود. درباره تبلیغات در جستجوی Google بیشتر بدانید.
هنگامی که کاربر درخواستی را وارد می‌کند، دستگاه‌های ما فهرست را برای صفحات منطبق جستجو می‌کنند و نتایجی را که معتقدیم بالاترین کیفیت و مرتبط‌ترین با درخواست کاربر هستند را برمی‌گردانند. ارتباط توسط صدها عامل تعیین می شود که می تواند شامل اطلاعاتی مانند مکان کاربر، زبان و دستگاه (رومیزی یا تلفن) باشد. برای مثال، جستجوی «تعمیرگاه‌های دوچرخه» نتایج متفاوتی را برای کاربر در پاریس نسبت به کاربر هنگ‌کنگ نشان می‌دهد.
بر اساس درخواست کاربر، ویژگی های جستجو که در صفحه نتایج جستجو ظاهر می شود نیز تغییر می کند. برای مثال، جستجوی «تعمیرگاه‌های دوچرخه» احتمالاً نتایج محلی را نشان می‌دهد و هیچ نتیجه‌ای تصویری ندارد، اما جستجوی «دوچرخه مدرن» به احتمال زیاد نتایج تصویر را نشان می‌دهد، اما نتایج محلی را نشان نمی‌دهد. می‌توانید رایج‌ترین عناصر رابط کاربری جستجوی وب Google را در گالری عناصر ویژوال ما کاوش کنید.
کنسول جستجو ممکن است به شما بگوید که یک صفحه ایندکس شده است، اما شما آن را در نتایج جستجو نمی بینید. این ممکن است به این دلیل باشد که:
- محتوای صفحه به سوالات کاربران بی ربط است
- کیفیت مطالب پایین است
- قوانین متا روبات ها از سرویس دهی جلوگیری می کند
در حالی که این راهنما نحوه عملکرد جستجو را توضیح می دهد، ما همیشه در حال بهبود الگوریتم های خود هستیم. می توانید با دنبال کردن وبلاگ جستجوی مرکزی گوگل، این تغییرات را پیگیری کنید.