آژانس طراحی سایت وینت

بودجه کراول Budget Crawl چیست ؟

بودجه کراول Budget Crawl

گوگل همیشه و به سرعت یک صفحه تازه منتشر شده را ایندکس نمی کند و گاها ممکن است ایندکس شدن آن صفحه هفته ها نیز طول بکشد. این مسئله از نظر سئو بسیار اهمیت دارد چرا که ممکن است شما فورا نیاز به ایندکس شدن صفحه های مهم وب سایت داشته باشید ( مانند صفحه اصلی ). در اینجا بودجه خزش یا Crawl اهمیت خود را نشان می دهد. اما Crawl Budget چیست و بهینه سازی بودجه کراول چگونه انجام می شود ؟

به عمل خواندن و ثبت کردن صفحهات شما توسط ربات های گوگل Crawl یا خزیدن می گویند

بودجه کروال چیست ؟

به تعدا صفحه ای که گوگل در یک روز از سایت شما Crawl می کند بودجه کراول می گویند. این تعداد ثابت نبوده و هر روز تغییر می کند اما یک میانگین دارد. مثلا در وب سایت هایی که تازه راه افتادند ممکن است در یک روز 6 صفحه را ایندکس کند. در سایت های بزرگتر این تعداد به 4 میلیون صفحه هم ممکن است برسد. پس در کل این فاکتور به تعداد صفحهات وب سایت شما و سلامت آن و تعداد بک لینک هایی که دارد بستکی دارد.

بات گوگل چطور کار می کند ؟

در ابتدا لیستی از URL ها را تهیه می کند و به صورت سیستماتیک آن ها را بررسی می کند. اما پیش از اینکه اینکار را انجام دهد فایل Robot.txt را پیدا می کند و آن را چک می کند تا از اجازه دسترسی اش به صفحه مطمئن شود. با ورود بات به یک URl محتوای آن ( متنی ، تصویری، ویدئو یا صوتی )  آنالیز می شود و سپس URl های جدیدی را که پیدا می کند در لیست برای سری بعد کراول جایگزین می کند.

بات گوگل از سیگنال های متفاوتی متوجه می شود که یک صفحه را باید کراول کند :

  • لینک های جدیدی که به آن صفحه اشاره می کنند
  • آپدیت شدن XML Sitemap
  • به روز شدن محتوایی صفحه
  • فعالیت مداوم کاربران و تعامل با آن صفحه ( مانند ثبت نظر و گفتگو ) > مقاله کامنت مارکتینگ را مطالعه کنید.

نحوه بهینه سازی بودجه کراول

تنها زمانی که می تواند بودجه خزش مشکل ساز باشد هنگامی است که از حد استاندارد پایین تر باشد. مثلا اگر شما در وب سایت خود 250000 هزار صفحه دارد و روزانه تنها 2500 صفحه کراول می شوند تغییراتی که در وب سایت انجام می دهید ممکن است 200 روز بعد شناسایی شوند! ولی اگر در هر روز 50000 صفحه کراول شوند این مشکل را نخواهید داشت.

برای اینکه نسبت بین تعداد کل صفحات سایت و بودجه کراول را پیدا کنید مراحل زیر را انجام دهید.

  • از قسمت سایت مپ تعداد URl های سایت را در بیاورید.
  • در سرج کنسول در قسمت legacy tools وارد منوی crawl stats شوید
  • میانگین تعداد صفحات کراول شده در روز را مشاهده کنید

در صورتی که با تقسیم اعداد نسبتی بیش از 10 به دست آوردید باید بودجه کراول خود را بهینه سازی کنید. اگر عدد به دست آمده کمتر از ۳ بود جای هیچ نگرانی نیست.

افزایش بودجه کراول بات گوگل

کاهش خطاها :

مطمئن شوید صفحات سایت شما دو نوع کد 200 ( این صفحه مشکلی ندارد ) یا 301 ( ریدایرکت ) را پاسخ دهد. دیگر کد ها مانند خطای ۴۰۴  قابل قبول نیستند تاثیر منفی دارند. مشکل ها را می توانید از سرور لاگ، گوگل انالیتیک و یا خطاهای سرچ کنسول پیدا کنید.

صفحات را بلاک کنید :

اگر در وب سایتان صفخاتی دارد که نمی خواهید در گوگل ایندکس شوند دسترسی بات گوگل به ان ها را از طریق فایل Robot.txt ببندید.

به عنوان مثال صفحه محصولاتی که هیچ متن توضیحی ندارند و یا توضیحات آنها تکراری و مشابه است.

زنجیره ریدایرکت ها را کم کنید  :

وقتی در وب سایتتان پروتکل را تغییر می دهید و سپس با اختلاف زمانی کمی www را نیز حدف می کنید دو رنجیره ریدایرکت در سایت ایجاد کرده اید. به این نکته دقت کنید که بات گوگل همیشه به پبج هدف نمی رود و آن را به سرعت بررسی نمی کند.

بک لینک ها را افزایش دهید : 

و در آخر بک لینک های بیشتری از سایت های معتبر و خوب بگیرید. توجه داشته باشید که لینک سازی امری بسیار حساس است.

لینک سازی ها حتما زیر نظر کارشناس سئو با تجربه انجام دهید !

 

question_answer پرسش و پاسخ

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.