نرخ بودجه خزش گوگل چیست؟ + راهنمای بهینه سازی (تصویری)

گوگل معمولا صفحات یک وب سایت را فوراً ایندکس نمی‌کند! در حقیقت گاهی اوقات ممکن است این کار تا هفته‌ها طول بکشد و مانع تلاش‌های شما برای سئو شود! پس بهتر است در اینجا از بودجه بندی خزش سایت خود استفاده کرده و آن را بهینه کنیم! ما در این مقاله درمورد اینکه بودجه بندی خزش گوگل چیست و بهینه سازی خزش گوگل چگونه است صحبت خواهیم کرد ?

بودجه خزش گوگل (Google Crawl Budget) چیست؟

بودجه خزش گوگل تعداد صفحاتی است که توسط ربات‌های گوگل طی یک دوره زمانی (مثلا یک روز) در سایت شما ایندکس می‌کند (می‌خزد) این تعداد به صورت روزانه می‌تواند کمی متفاوت باشد، اما به طور کلی، نسبتاً پایدار است. گوگل ممکن است هر روز 5 صفحه از سایت شما را خزش کند یا ممکن است 5000 صفحه از وب سایت شما را خزش کند و حتی ممکن است هر روز 5،000،000 صفحه را خزش کند! تعداد صفحاتی که توسط گوگل خزش می‌شود، به طور کلی توسط وسعت و بزرگی سایت، سلامت سایت شما (تعداد خطاهایی که سایت شما دارد) و تعداد پیوندها به سایت شما تعیین می‌شود. برخی از این فاکتورها مواردی هستند که می‌توانید در آنها تأثیر بگذارید، کمی بعد به آن خواهیم رسید.

خزنده‌های موتورهای جستجو چگونه کار می‌کنند؟

یک خزنده مانند ربات گوگل لیستی از URLها را برای خزیدن در یک سایت دریافت می‌کند. این لیست را به طور سیستماتیک بررسی می‌کند. هر چند وقت یکبار پرونده robots.txt شما را می‌گیرد تا مطمئن شود که همچنان اجازه دارد در هر URL بخزد و سپس یکی یکی در URLها می‌خزد. هنگامی که یک اسپایدر (عنکبوت گوگل) در یک URL خزید و محتویات آن را تجزیه کرد، URLهای جدیدی را که در آن صفحه پیدا کرده است اضافه می‌کند و باید دوباره به لیست انجام کارها خزیده شود.

چندین رویداد باعث می‌شود گوگل احساس کند باید در یک URL خزش کند. ممکن است پیوندهای جدیدی پیدا کرده باشد که به محتوا اشاره می‌کنند، یا کسی آن را توییت کرده است، یا ممکن است در نقشه XML سایت، و… به روز شده باشد. هیچ راهی برای ایجاد لیستی از همه دلایلی که گوگل در یک URL خزیده است وجود ندارد، اما وقتی تشخیص داد که مجبور است، آن را به لیست کارها اضافه می‌کند.

چه زمانی بودجه خزش مشکل ساز می‌شود؟

بودجه بندی خزش تا زمانی که گوگل URL های زیادی را در سایت شما جستجو کند و مقدار زیادی خزنده اختصاص داده باشد مشکلی ایجاد نمی‌کند. اما، توجه کنید که سایت شما 250،000 صفحه دارد و گوگل هر روز در 2500 صفحه را خزش می‌کند. اگر اقدامی صورت نگیرد، برخی از آنها (مانند صفحه اصلی) بیش از سایرین می‌خزد. تا چیزی حدود 200 روز طول می‌کشد تا گوگل متوجه تغییرات خاصی در صفحات شما شود. بودجه بندی خزش، اکنون به مسئله ای مهم تبدیل شده است. از طرف دیگر، اگر گوگل روزانه در 50،000 صفحه خزش کند، هیچ مشکلی به وجود نمی‌آید.

برای تعیین اینکه آیا سایت شما دارای مشکل بودجه خزش گوگل است، مراحل زیر را دنبال کنید. فرض می‌کنیم که سایت شما دارای تعداد نسبتاً کمی URL است که گوگل در آن خزش می‌کند، اما فهرست نمی‌کند (به عنوان مثال به دلیل اضافه کردن meta noindex).

1. تعیین کنید که چند صفحه در سایت خود دارید، تعداد URL های شما در نقشه XML سایت ممکن است شروع خوبی باشد.
2. وارد کنسول جستجوی گوگل شوید.
3. به قسمت “Settings” و در صفحه باز شده به قسمت “Crawl Stats” بروید و یا به آدرس (https://search.google.com/search-console/settings/crawl-stats) بروید و میانگین صفحات خزیده شده در روز را یادداشت کنید.
4. تعداد صفحات را بر روی عدد “میانگین خزیده در روز” تقسیم کنید.
5. اگر در نهایت عددی بالاتر از 10 دارید (بنابراین شما 10 برابر صفحه بیشتر از آنچه روزانه گوگل می‌خزد)، باید بودجه بندی خزش را برای صفحات بهینه کنید. اگر در آخر عددی کمتر از 3 گرفتید، مشکلی وجود ندارد.)

ربات‌های گوگل چه URLهایی را خزش می‌کند؟

شما واقعاً باید بدانید که گوگل در کدام URLهای سایت شما می‌خزد. تنها راه حقیقی دانستن این موضوع،مشاهده گزارش های سرور سایت شماست. برای سایت های بزرگتر، من شخصاً استفاده از Logstash + Kibana را ترجیح می‌دهم. برای سایت های کوچکتر، guys at Screaming Frog یک ابزار کوچک بسیار خوب منتشر کرده اند، به نام مناسب SEO Log File Analyzer (توجه داشته باشید S، آنها بریتانیایی هستند).

گزارش‌ و لاگ‌های سرور خود را مورد بررسی قرار دهید

بسته به نوع هاست شما، ممکن است همیشه نتوانید پرونده های گزارش خود را بگیرید. با این حال، اگر فکر می‌کنید که به دلیل بزرگ بودن سایت خود باید روی بهینه سازی بودجه بندی خزش کار کنید، باید آنها را دریافت کنید. اگر هاست به شما اجازه نمی‌دهد آنها را دریافت کنید، زمان تغییر هاست است.

بهینه سازی بودجه بندی خزش سایت شما بسیار شبیه به اصلاح ماشین است. با نگاه به بیرون نمی‌توانید آن را برطرف کنید، مجبورید موتور آن را باز کنید. در ابتدا نگاه به گزارشات مربوط ترسناک خواهد بود. به سرعت متوجه خواهید شد که در گزارش ها نویز زیادی وجود دارد. خطا های 404 متداول زیادی را پیدا خواهید کرد که فکر می کنید بی معنی هستند. اما شما باید آنها را برطرف کنید. شما باید نویز را بر طرف کنید و مطمئن شوید که سایت شما در حجم انبوهی از آن غرق نشده باشد.

به شما توصیه میکنیم به صفحه بهترین افزونه های کش وردپرس کدام است؟ مراجعه کنید تا با بهترین افزونه‌های کش و افزایش سرعت سایت آشنا شوید.

افزایش بودجه خرش

بیایید مواردی را بررسی کنیم که تعداد صفحاتی را که گوگل می‌تواند در سایت شما بخزد، بهبود میبخشد.

خطاهای وب سایت را کاهش دهید

مرحله اول در بودجه بندی خزش بهتر این است که اطمینان حاصل کنید صفحاتی که خزیده شده اند یکی از دو کد بازگشت احتمالی را برگردانده اند: 200 (برای “تأیید”) یا 301 (برای “به اینجا بروید”). کدهای برگشتی دیگر خوب نیستند. برای پی بردن به این موضوع، باید گزارش های سرور سایت خود را مشاهده کنید. گوگل Analytics و اکثر بسته های تحلیلی دیگر فقط صفحاتی که دارای 200 صفحه هستند را ردیابی می‌کنند. بنابراین بسیاری از خطاهای سایت خود را در آنجا پیدا نخواهید کرد.

برای انجام بهینه بودجه بندی خزش پس از دریافت گزارش های سرور، سعی کنید خطاهای رایج را پیدا کرده و آنها را برطرف کنید. ساده ترین راه برای انجام این کار گرفتن کلیه URL هایی است که ارور 200 یا 301 برنمی‌گرداند و سپس مرتب سازی بر اساس تعداد دفعات دسترسی به آنها. رفع یک خطا ممکن است به این معنی باشد که شما باید کد را برطرف کنید. یا ممکن است مجبور شوید URL را به جای دیگری هدایت کنید. اگر می‌دانید چه چیزی باعث بروز خطا شده است، می‌توانید منبع را نیز اصلاح کنید.

مسدودسازی دسترسی قسمت‌های غیرمهم

کاهش تغییر مسیرها در وب سایت

وقتی شما ارور 301 یک URL را هدایت (ریدایرکت) می‌کنید، اتفاق عجیبی رخ می‌دهد. Google آن URL جدید را میبیند و آن URL را به لیست کارها اضافه می‌کند. همیشه بلافاصله آن را دنبال نمی‌کند، آن را به لیست کارهای خود اضافه می‌کند و به کارش ادامه می‌دهد. وقتی ریدایرکت ها را زنجیره وار اعمال می‌کنید، به عنوان مثال، وقتی آدرس های بدون www را به آدرس‌های www هدایت می‌کنید، سپس http را به https منتقل می‌کنید، همه جا دو ریدایرکت دارید، بنابراین خزیدن برای همه قسمت ها بیشتر طول می‌کشد.

به شما توصیه می‌کنیم به صفحه مقایسه یواست سئو یا رنک مث مراجعه کنید تا با بهترین افزونه سئو وردپرس آشنا شوید تا ریداریکت‌های سایت خود را به بهترین شکل ممکن بزنید.

دریافت بک‌لینک بیشتر

گفتن آن آسان، اما انجامش سخت است. در بودجه بندی خزش، دریافت پیوندهای بیشتر فقط موضوع عالی بودن نیست، بلکه این مسئله نیز است که دیگران باید بدانند که شما عالی هستید. این به معنای داشتن روابط عمومی خوب و تعامل خوب در شبکه های اجتماعی است. وقتی با مشکل نمایه سازی حاد روبرو هستید، قطعاً باید به خطاهای خزیدن، مسدود کردن بخشهایی از سایت خود و برطرف کردن زنجیره های تغییر مسیر مراجعه کنید. لینک سازی روشی بسیار کند برای افزایش بودجه بندی خزش شماست. از طرف دیگر، اگر قصد ایجاد یک سایت بزرگ را دارید، ساخت لینک باید بخشی از فرآیند های شما باشد.

آیا بهینه سازی بودجه بندی خزش کار سختیه؟

بهینه سازی بودجه بندی خزش برای افراد ضعیف نیست. اگر تعمیر و نگهداری سایت خود را به خوبی انجام می‌دهید یا سایت شما نسبتاً کوچک است، احتمالاً نیازی به آن نیست. اگر سایت شما اندازه متوسطی دارد حتما باید به نرخ بودجه خزش گوگل وب سایت خود توجه کنید! یا می‌توانید از خدمات پشتیبانی وب سایت شرکت پردیسان سیستم استفاده کرده و بهینه سازی نرخ خزش گوگل خود را به ما بسپارید.

منبع: https://yoast.com/crawl-budget-optimization

[tqb_quiz id=’3346′]