به تازگی، ما یک سری تعریف برای عبارت بودجه خزش یا نرخ خزش (Crawl Budget) شنیدیم، البته باید بگم ما نمی تونیم یه اطلاح واحد برای " بودجه خزش " معرفی کنیم که به صورت کامل این عبارت رو توصیف کند. اما در این مقاله و انشالله مقالات بعد به صورت شفاف این موضوع رو مورد کنکاش و بررسی قرار می دهیم.
در ابتدا، ما تاکید می کنیم که بودجه خزش، به صورتی که در ادامه بیان می کنیم، چیزی نیست که مورد نگرانی بیشتر منتشران قرار بگیره. اگر صفحات جدید تمایل دارند که در همون روز انتشار خزش شوند، اون چیزی که باید دنبالش بگردن و بهش تمرکز کنند بودجه خرش نیست. به همین ترتیب، اگر یک سایت کمتر از چند هزار آدرس داشته باشه، بیشتر اوقات اون سایت به صورت موثر خزش خواهد شد.اولویت به اینکه چی خزش بشه، چه موقع، و چه مقدار منابع هاست و سرور سایت برای خزش می توان اختصاص داده شود، برای سایت های بزرگ مهم می باشد
ربات گوگل برای اینکه یک شهروند خوب در وب باشه طراحی شده است. خزش اولویت اصلی آن می باشد، در حالی که مطمعن باشه که سبب کاهش تجربه کاربران از بازدید سایت نشود. ما این رو " حد نرخ خزش" خطاب می کنیم، چرا که حداکثر نرخ واکشی برای سایت داده شده رو اندازه می گیرد.به عبارت ساده تر، این حد نشان دهنده تعداد اتصالات همزمان ربات گوگل برای خزش در سایت، و به همین صورت انتظارهای بین هر واکشی می باشد. در زیر فاکتور هایی که سبب بیشتر یا کمتر شدن نرخ خزش در یک سایت می شود را بیا می کنیم:
حتی اگه به حد نرخ خزش دست نیابید، اگه حتی در خواست برای ایندکس انجام نشده باشه، این فعالیت کم برای ربات گوگل خواهد بود. دو فاکتوری که نقش مهمی در تعیین تقاضا دارند در زیر بیان شده:
بر اساس تحلیل های گوگل، داشتن لینک های بی کیفیت می تونه تاثیر منفی در ایندکس کردن و خزش در سایت شود. ما متوجه شدیم لینک های بی کیفیت را می توان در دسته بندی های زیر قرار داد:
هدر دادن منابع سرور برای مواردی مثل موارد بالا تاثیر مستقیم بر روی فعالیت خزنده خواهد داشت که نتیجه آن کم شدن تعداد دفعات مراجعه آن به سایت شما خواهد شد.
