افزایش کارایی Crawl

در این پست به شما نشان خواهیم داد که با انجام چه کارهایی می توانید باعث افزایش کارایی Crawl شوید. ما ایده عمق Crawl و چگونگی اطمینان از اینکه صفحات کمتر محبوب اغلب ایندکس می شوند را مورد بحث قرار خواهیم داد. اما ابتدا، بیایید یک جمع بندی سریع درباره نحوه Crawl و ایندکس کردن سایت های سازمانی توسط گوگل انجام دهیم.

هر چه یک صفحه محبوب تر باشد (بر اساس سلسله مراتب صفحه و تعداد لینک هایی که به آن اشاره می کنند) موتورهای جستجو بیشتر محتوای آن را Crawl کرده و ایندکس می کنند. این مورد همچنین نشان می‌دهد که ابزارهای گوگل از صفحات کمتر محبوب رد می‌شوند و آن‌ها را اغلب Crawl نمی کنند.. در نگاه اول، ممکن است این مشکل بزرگی به نظر نرسد. خوب، حداقل تا زمانی که برخی از این صفحات با اعتبار پایین را به روز نکنید و بخواهید گوگل آنها را Crawl کند.

چگونه محتوا در SERP ها به پایان می رسد؟

فرآیند موتور جستجو برای یافتن و گنجاندن صفحات وب در SERPها شامل چهار مرحله است.

Crawl : که در آن ربات موتور جستجو از طریق یک وب سایت می رود تا محتوای آن را کشف کند. به طور معمول، آنها این کار را با دنبال کردن لینک های داخلی انجام می دهند، اگرچه Crawl ها نیز می توانند از نقشه سایت برای این منظور استفاده کنند.

رندر : در این مرحله، ابزارهای Crawl هر صفحه را برای شناسایی و تجزیه و تحلیل محتوای آن رندر می کند. این مرحله تماماً در مورد شناسایی یک صفحه و ارزیابی محتوای آن برای تعیین کیفیت و اعتبار آن است.

ایندکس : زمانی که موتور جستجو اطلاعات مربوط به آن صفحات را در فهرست خود قرار می دهد (یا به روز می کند).

رتبه : ارزش و موقعیت قرارگیری یک مطلب خاص برای یک جستجوی خاص در نتایج جستجوی گوگل است.

از کل فرآیند، در این پست، ما به مرحله اول می پردازیم و نتیجه می گیریم Crawl یک مسئله بسیار مهم و حیاتی است.

زیرا تا زمانی که موتور جستجو نتواند به محتوای یک وب‌سایت دسترسی داشته باشد، کشف کند و Crawl کند، توانایی آن برای رتبه‌بندی کلمات کلیدی مرتبط به شدت تحت تأثیر قرار می‌گیرد. با این حال، اطمینان از Crawl کردن سایت تنها اولین قدم است.

یکی دیگر از مسائل سئو که باید در نظر گرفته شود این است که ابزارهای Crawl را وادار به بازدید منظم از محتوایی که محبوبت کمتری دارد، با بودجه Crawl یک سایت نیز می کند، و اینجاست که موضوع عمق خزیدن مطرح می شود.

عمق خزیدن یا Crawl Depth چیست ؟

اصطلاح عمق خزیدن به چند صفحه اشاره دارد که ربات های موتور جستجو در طول Crawl کردن به چند صفحه دسترسی پیدا می کند و در یک سایت ایندکس می کند.

سایت هایی با Crawl Budget بالا، بسیاری از صفحات خود را Crawl و Index شده می بینند. برای کسانی که Crawl Budget پایینی دارند، معمولاً بسیاری از صفحات آن برای مدت طولانی Crawl نمی شوند.

Crawl Depth (عمق خزیدن) به معماری سایت مربوط می شود. اگر متداول‌ترین معماری را در نظر بگیرید، با صفحه اصلی در بالای سلسله مراتب، و صفحات داخلی لینک شده از آن به صورت لایه‌ای، پس Crawl Depth مشخص می‌کند که ربات های Crawl کننده تا چه اندازه در آن لایه‌ها خواهند رفت.

Crawl Depth اغلب با Page Depth اشتباه گرفته می شود. این دو یکسان نیستند، اگرچه می توان تشخیص داد که این سردرگمی از کجا می آید.

عبارت Page Depth مشخص می‌کند که یک کاربر برای رسیدن به یک صفحه خاص از صفحه اصلی، البته با استفاده از کوتاه‌ترین مسیر، به چند کلیک نیاز دارد.

به عنوان یک قاعده، صفحات با عمق ۳ و پایین تر، عموماً در نتایج جستجو ضعیف تر عمل می کنند. این به این دلیل است که موتورهای جستجو ممکن است در رسیدن به آنها و Crawl آنها، در چارچوب بودجه اختصاص داده شده برای Crawl سایت، مشکلاتی داشته باشند.

نکات مهم برای افزایش کارایی Crawl

• صفحاتی که لینک های بیشتری دارند بیشتر Crawl می شوند.
• هرچه عمق صفحه بیشتر باشد، شانس آن برای اختصاص Crawl Budget به آن کمتر است.
• برای افزایش Crawl Budget در صفحات کمتر معتبر، بهبود معماری سایت، به روز رسانی منظم نقشه سایت و افزایش سرعت سایت بسیار مهم است.

اولویت بندی برای افزایش سرعت Crawl

درباره نحوه یافتن، خزیدن و فهرست‌بندی محتوا توسط موتورهای جستجو تحقیق شده و همچنین در مورد اینکه چگونه معماری سایت و عمق صفحه می تواند بر روند این موضوع تأثیر بگذارد. اما یک چیز دیگر وجود دارد که باید به آن اشاره کرد، همبستگی بین معماری سایت و اقتدار صفحه (یا به عبارت دیگر، کدام صفحات شانس بدست آوردن بیشترین لینک را دارند.)

لینک سازی

به طور معمول، صفحه اصلی اکثر لینک های یک سایت را به دست می آورد. صفحات در سطوح ۲ و ۳ متاسفانه لینک های کمی دارند. با این حال، وقتی محتوای آن صفحات را در نظر می گیرید – دسته بندی محصولات، صفحات محصول، صفحات پرداخت و…، نباید تعجب کنید.

به عنوان مثال، با تجزیه و تحلیل یک فروشگاه لباس، می توانم ببینم که اکثر لینک ها به صفحه اصلی فروشگاه داده می شوند. مسلماً، برخی از این لینک ها به URL HTTP ارجاع می‌دهند، اما همچنان همان صفحه اصلی است.

چرا این موضوع اینقدر مهم است؟ زیرا صفحاتی که لینک های بیشتری به آنها اشاره دارد محبوب تر به نظر می رسند. در نتیجه، اولویت Crawl کردن آن‌ها نسبت به صفحاتی با لینک‌های کمتر یا بدون لینک است بیشتر است. این صفحات همچنین اغلب می توانند به عنوان نقاط ورودی برای ربات های Crawl کننده عمل کنند.

به طور خلاصه، آن صفحات پرطرفدار بیشتر Crawl می شوند، و همچنین، پس از صفحه اصلی، نقطه ورودی دیگری را برای ربات های Crawl کننده فراهم می کنند.

اما در مورد بقیه صفحات چطور؟ مشکل همین جا است که، شانس آنها برای Crawl شدن به طور منظم بسیار کاهش می یابد.

البته، این بدان معنا نیست که ربات های Crawl کننده هرگز به آن صفحات دسترسی نخواهند داشت اما همانطور که گفته شد، پتانسیل Crawl آنها ممکن است به میزان قابل توجهی کمتر باشد.

پس چه باید کرد؟ چگونه می توانید کارایی Crawl را افزایش دهید و محتوایی که محبوبیت کمتری دارد را در اولویت قرار دهید؟

لینک سازی داخلی

اول از همه، ساختار لینک های داخلی خود را بهینه کنید. تعداد کلیک‌های لازم برای دسترسی به صفحاتی را که می‌خواهید بیشتر Crawl شوند را، کاهش دهید.

فرصت هایی را برای لینک به صفحات هدف از محتوای محبوب نیز شناسایی کنید. با استفاده از ویژگی تجزیه و تحلیل لینک داخلی seoClarity، لینک های فعلی صفحه را ارزیابی کنید.

توجه داشته باشید که همه این دارایی‌ها تنها یک پیوند داخلی دارند که به آنها اشاره می‌کند، که فرصتی را برای بالا بردن آنها در سلسله مراتب سایت با برخی تاکتیک‌های هوشمندانه نشان می‌دهد.
همچنین، در صورت امکان از دسته ها و برچسب ها در CMS خود استفاده کنید تا ساختار اضافی را که ابزارهای Crawl می تواند برای کشف این محتوا دنبال کند، ارائه دهد.

نقشه سایت

نقشه سایت XML را اغلب ایجاد و به روز کنید. این به عنوان یک فهرست راهنما عمل می کند که شامل فهرستی از همه URL هایی است که می خواهید موتور جستجو ایندکس کند، همراه با اطلاعاتی درباره آخرین زمان به روز رسانی صفحه. به عنوان یک قاعده، موتورهای جستجو بیشتر از سایرین URL ها را در نقشه سایت Crawl می کنند، بنابراین، با تازه نگه داشتن نقشه سایت، شانس Crawl کردن آن صفحات هدف را افزایش می دهید.

توجه: Crawl سایت داخلی seoClarity به شما امکان می دهد نقشه سایت را بر اساس اطلاعاتی که جمع آوری می کند ایجاد کنید.

در نهایت سرعت صفحه را افزایش دهید. یک سایت سریع زمان مورد نیاز ربات های Crawl برای دسترسی و رندر صفحات را کاهش می دهد و در نتیجه در طول Crawl Budget به صفحات بیشتری دسترسی پیدا می کند.

یک نکته سریع: seoClarity تجزیه و تحلیل سرعت صفحه را بر اساس داده های Lighthouse اجرا می کند تا مرتبط ترین موضوع را برای هدایت استراتژی های شما ارائه دهد.