بودجه خزش یا نرخ خزش (Crawl Budget) چیست؟

به تازگی، ما یک سری تعریف برای عبارت بودجه خزش یا نرخ خزش (Crawl Budget) شنیدیم، البته باید بگم ما نمی تونیم یه اطلاح واحد برای " بودجه خزش " معرفی کنیم که به صورت کامل این عبارت رو توصیف کند. اما در این مقاله و انشالله مقالات بعد به صورت شفاف این موضوع رو مورد کنکاش و بررسی قرار می دهیم.

دوره های شبکه، برنامه نویسی، مجازی سازی، امنیت، نفوذ و ... با برترین های ایران

بودجه کرال چیست

در ابتدا، ما تاکید می کنیم که بودجه خزش، به صورتی که در ادامه بیان می کنیم، چیزی نیست که مورد نگرانی بیشتر منتشران قرار بگیره. اگر صفحات جدید تمایل دارند که در همون روز انتشار خزش شوند، اون چیزی که باید دنبالش بگردن و بهش تمرکز کنند بودجه خرش نیست. به همین ترتیب، اگر یک سایت کمتر از چند هزار آدرس داشته باشه، بیشتر اوقات اون سایت به صورت موثر خزش خواهد شد.اولویت به اینکه چی خزش بشه، چه موقع، و چه مقدار منابع هاست و سرور سایت برای خزش می توان اختصاص داده شود، برای سایت های بزرگ مهم می باشد

بودجه خزش یا نرخ خزش (Crawl Budget) چیست؟

حد نرخ خزش

ربات گوگل برای اینکه یک شهروند خوب در وب باشه طراحی شده است. خزش اولویت اصلی آن می باشد، در حالی که مطمعن باشه که سبب کاهش تجربه کاربران از بازدید سایت نشود. ما این رو " حد نرخ خزش" خطاب می کنیم، چرا که حداکثر نرخ واکشی برای سایت داده شده رو اندازه می گیرد.به عبارت ساده تر، این حد نشان دهنده تعداد اتصالات همزمان ربات گوگل برای خزش در سایت، و به همین صورت انتظارهای بین هر واکشی می باشد. در زیر فاکتور هایی که سبب بیشتر یا کمتر شدن نرخ خزش در یک سایت می شود را بیا می کنیم:

  1. سلامت خزش: اگه سایت پاسخدهی بالایی در عمل خزش داشته باشه اون حد خزش بیشتر می شودیا به عبارتی تعداد اتصالات خزش به سایت شما بیشتر می شود. ولی اگه میزان پاسخ دهی و جواب دهی سایت افت کنه اون حد خزش کمتر می شه تا از خطاهای سرور، و از کار افتادن سایت جلوگیری نماید.
  2. تنظیم حد از بخش کنسول جستجو: صاحبان سایت می تونند خزش رباط گوگل رو برای سایت خودشون کاهش بدن. اما جای این نکته باقی هست که بالا بردن نرخ جد به صورت اتوماتیک باعث افزایش خزش نمی شود.
بودجه خزش یا نرخ خزش (Crawl Budget) چیست؟

تقاضا برای خزش

حتی اگه به حد نرخ خزش دست نیابید، اگه حتی در خواست برای ایندکس انجام نشده باشه، این فعالیت کم برای ربات گوگل خواهد بود. دو فاکتوری که نقش مهمی در تعیین تقاضا دارند در زیر بیان شده:

  1. محبوبیت: آدرس هایی که بیشتر محبوب هستند تمایل بیشتر به خزش در آنها خواهد بود تا همیشه ایندکس انها تازه باشه.
  2. کهنگی: سیستم گوگل همواره از کهنه شده لینک ها در ایندکس جلوگیری می کند.

فاکتورهای تاثیر گذار در بودجه خزش

بر اساس تحلیل های گوگل، داشتن لینک های بی کیفیت می تونه تاثیر منفی در ایندکس کردن و خزش در سایت شود. ما متوجه شدیم لینک های بی کیفیت را می توان در دسته بندی های زیر قرار داد:

  1. محتوای تکراری در سایت
  2. صفحات دارای خطا
  3. صفحات هک شده
  4. صفحات خالی
  5. محتوای بی کیفیت و محتوای اسپمی
  6. شکل ناوبری و session identifiers

هدر دادن منابع سرور برای مواردی مثل موارد بالا تاثیر مستقیم بر روی فعالیت خزنده خواهد داشت که نتیجه آن کم شدن تعداد دفعات مراجعه آن به سایت شما خواهد شد.


بابک رستمی
بابک رستمی

Babak Rostami Senior computer software expert. C# Programming, Asp.Net, SQL Server,SEO ( Search Engine Optimization)

نظرات