×

بودجه کراول چیست؟ + ۶ راه افزایش Budget Crawl

تاریخ : update ۲۴ آبان ۱۴۰۲
۵/۵ - (۶ امتیاز)

گوگل همیشه و به سرعت یک صفحه تازه منتشر شده را ایندکس نمی کند و گاها ممکن است ایندکس شدن آن صفحه هفته ها نیز طول بکشد. این مسئله از نظر سئو بسیار اهمیت دارد چرا که ممکن است شما فورا نیاز به ایندکس شدن صفحه های مهم وب سایت داشته باشید ( مانند صفحه اصلی ). در اینجا بودجه خزش یا Crawl اهمیت خود را نشان می دهد. اما Crawl Budget چیست و بهینه سازی بودجه کراول چگونه انجام می شود ؟

به عمل خواندن و ثبت کردن صفحهات شما توسط ربات های گوگل Crawl یا خزیدن می گویند

تاثیر بودجه کراول Budget Crawl در سئو سایت

به تعدا صفحه ای که گوگل در یک روز از سایت شما Crawl می کند بودجه کراول می گویند. این تعداد ثابت نبوده و هر روز تغییر می کند اما یک میانگین دارد. مثلا در وب سایت هایی که تازه راه افتادند ممکن است در یک روز ۶ صفحه را ایندکس کند. در سایت های بزرگتر این تعداد به ۴ میلیون صفحه هم ممکن است برسد. پس در کل این فاکتور به تعداد صفحهات وب سایت شما و سلامت آن و تعداد بک لینک هایی که دارد بستگی دارد.

در ادامه به این می پردازیم که چه عواملی در تعیین بودجه سایت شما توسط گوگل تاثیر گذار هستند.

بات گوگل چطور کار می کند ؟

در ابتدا لیستی از URL ها را تهیه می کند و به صورت سیستماتیک آن ها را بررسی می کند. اما پیش از اینکه اینکار را انجام دهد فایل Robot.txt را پیدا می کند و آن را چک می کند تا از اجازه دسترسی اش به صفحه مطمئن شود. با ورود بات به یک URl محتوای آن ( متنی ، تصویری، ویدئو یا صوتی )  آنالیز می شود و سپس URl های جدیدی را که پیدا می کند در لیست برای سری بعد کراول جایگزین می کند.

بات گوگل از سیگنال های متفاوتی متوجه می شود که یک صفحه را باید کراول کند :

  • لینک های جدیدی که به آن صفحه اشاره می کنند
  • آپدیت شدن XML Sitemap
  • به روز شدن محتوایی صفحه
  • فعالیت مداوم کاربران و تعامل با آن صفحه ( مانند ثبت نظر و گفتگو ) > مقاله کامنت مارکتینگ را مطالعه کنید.

بهینه سازی بودجه کراول

تنها زمانی که می تواند بودجه خزش مشکل ساز باشد هنگامی است که از حد استاندارد پایین تر باشد. مثلا اگر شما در وب سایت خود ۲۵۰۰۰۰ هزار صفحه دارد و روزانه تنها ۲۵۰۰ صفحه کراول می شوند تغییراتی که در وب سایت انجام می دهید ممکن است ۲۰۰ روز بعد شناسایی شوند! ولی اگر در هر روز ۵۰۰۰۰ صفحه کراول شوند این مشکل را نخواهید داشت.

برای اینکه نسبت بین تعداد کل صفحات سایت و بودجه کراول را پیدا کنید مراحل زیر را انجام دهید.

  • از قسمت سایت مپ تعداد URl های سایت را در بیاورید.
  • در سرج کنسول در قسمت legacy tools وارد منوی crawl stats شوید
  • میانگین تعداد صفحات کراول شده در روز را مشاهده کنید

در صورتی که با تقسیم اعداد نسبتی بیش از ۱۰ به دست آوردید باید بودجه کراول خود را بهینه سازی کنید. اگر عدد به دست آمده کمتر از ۳ بود جای هیچ نگرانی نیست.

افزایش بودجه کراول بات گوگل

کاهش خطاها :

مطمئن شوید صفحات سایت شما دو نوع کد ۲۰۰ ( این صفحه مشکلی ندارد ) یا ۳۰۱ ( ریدایرکت ) را پاسخ دهد. دیگر کد ها مانند خطای ۴۰۴  قابل قبول نیستند تاثیر منفی دارند. مشکل ها را می توانید از سرور لاگ، گوگل انالیتیک و یا خطاهای سرچ کنسول پیدا کنید.

محتوای تکراری در سایت منتشر نکنید : 

به صفحاتی که محتوای آنها بسیار شبیه یکدیگر باشند و یا تیتر های یکسان داشته باشند محتوای تکراری به حساب می آیند. محتوای کپی از نظر اولویت ایندکس در جایگاهی پایینی قرار دارند پس برای بهبود Crawl سایت خود باید از محتوای خوب و اختصاصی استفاده کنید.

صفحات را بلاک کنید :

اگر در وب سایتان صفخاتی دارد که نمی خواهید در گوگل ایندکس شوند دسترسی بات گوگل به ان ها را از طریق فایل Robot.txt ببندید.

به عنوان مثال صفحه محصولاتی که هیچ متن توضیحی ندارند و یا توضیحات آنها تکراری و مشابه است.

سایت های فعال در هاست :

اگر سایت شما در هاست های اشتراکی فعال است باید بگوییم که سایت شما از نظر محتوا و صفحات بزرگ است در این صورت نرخ کراول سایت شما توسط گوگل شامل محدودیت هایی میشود. پیشنهاد می شود برای بهبود این مشکل از هاست های اختصاصی استفاده کنید که به سرعت لود صفحات سایت شما هم کمک می کند.

زنجیره ریدایرکت ها را کم کنید  :

وقتی در وب سایتتان پروتکل را تغییر می دهید و سپس با اختلاف زمانی کمی www را نیز حدف می کنید دو رنجیره ریدایرکت در سایت ایجاد کرده اید. به این نکته دقت کنید که بات گوگل همیشه به پبج هدف نمی رود و آن را به سرعت بررسی نمی کند.

بک لینک ها را افزایش دهید : 

و در آخر بک لینک های بیشتری از سایت های معتبر و خوب بگیرید. توجه داشته باشید که لینک سازی امری بسیار حساس است.

لینک سازی ها حتما زیر نظر کارشناس سئو با تجربه انجام دهید !

 

priority_high سوالات متداول
  • keyboard_arrow_down چگونه بودجه کراول سایت را افزایش دهیم ؟
    برای افزایش نرخ خزش سایت ، شما باید اعتبار صفحه ( Page Authority ) و اعتبار دامنه خود را افزایش دهید. این امر کمک بسزایی در افزایش نرخ خزش سایت شما خواهد داشت.
edit نویسنده : حیدری
question_answer پرسش و پاسخ
  • مرداد ۱۸, ۱۴۰۲ at ۱۵:۲۶
    Permalink

    با اینستاگرام میشه کمک کرد به افزایش کراول باجت ؟

    Reply
    • مرداد ۱۸, ۱۴۰۲ at ۱۵:۲۸
      Permalink

      درود
      به صورت مستقیم نمیشه تاثیر گذاشت. به دلیل اینکه لینک هایی که داخل اینستاگرام ( استوری ) میزارید توسط گوگل Crawl نمی شود.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *