آموزش حذف یک صفحه از سایت در گوگل

گاهی به دلایل متنوع نیاز است که یک صفحه (URL) از سایت را از ایندکس گوگل پاک کنیم برای اینکار راه‌های متفاوتی وجود دارد. اگر شما از متد اشتباهی استفاده کنید، رتبه‌های شما در گوگل افت خواهد کرد. در ادامه نحوه حذف یک صفحه در گوگل را به ۵ روش بیان می کنیم و به زمان مناسب برای استفاده از هر روش را نیز عنوان خواهیم کرد.

معمولا زمانی نیاز به حذف یک صفحه از گوگل داریم که در گذشته استراتژی سئو مناسبی نداشته و راه اشتباهی رفته ایم. تغییر صفحات سایت و حذف برخی از آنها در گوگل می‌تواند برای رتبه‌های شما در گوگل خطر جدی ایجاد کند. اما اگر راه و مسیر اشتباهی رفته ای بهتر است هرچه زودتر آن را اصلاح کنید.

برای پیشگیری از اینگونه مسائل می توانید از خدمات مشاوره سئو وینت استفاده نمایید.

روش‌های حذف یک صفحه از گوگل :‌

روش‌های متفاوتی برای حذف یک صفحه از گوگل وجود دارد، اما نمی‌توان یک روش را برای هر شرایطی استفاده کرد. انتخاب روش به شرایط بسیاری بستگی دارد.

• درخواست حذف از گوگل URL Removal
• استفاده از تگ نوایندکس No-index
• محدود کردن دسترسی
• گزارش به DMCA
• استفاده از تگ کنونیکال Canonical
• ریدایرکت Redirect
• درخواست حذف از نویسنده

سایت Ahref یک فلوچارت کاربردی ارائه کرده است که در ادامه می‌بینید. برای تصمیم گیری که کدام روش در چه شرایطی صحیح است می‌توانید به این فلوچارت مراجعه کنید.

اطمینان از ایندکس بودن یا نبودن صفحه

پیش از هر چیزی، ایندکس بودن محتوا و صفحه را چک کنید. برای اینکار می‌توانید در Google Search console در بخش Inspect URL آدرس صفحه مورد نظر را وارد کنید. سپس گوگل تمامی اطلاعات مربوط به ایندکس و Crawl آن صفحه را به شما ارائه می‌کند.

اگر فرایند ایندکس شدن صفحه هر مشکلی داشته باشد در این بخش دلیل آن را مشاهده خواهید کرد.

روش ۱ : حذف محتوا

روش اول شما حذف محتواست با اینکار پیج مربوطه با کد های ۴۰۴ یا ۴۱۰ نشان داده می‌شود و پس از مدت کوتاهی از ایندکس گوگل خارج می‌شود. بهتر است پس از حذف محتوا از وب‌سایت خود به سرچ کنسول مراجعه کرده و از طریق بخش Removals درخواست خود را جهت حذف از SERPs گوگل ثبت نمایید. در این حالت محتوای شما سریع تر از نتایج حذف خواهد شد.

روش ۲ : نوایندکس Noindex

وقتی قصد حذف محتوا از سایت را ندارید و تنها می‌خواهید که صفحه خاصی را از ایندکس گوگل خارج کنید می‌توانید آن را به حالت نو ایندکس در بیاورید.

اینکار از طریق فایل Robots.txt انجام می‌شود که در ادامه مثال دستور آن را مشاهده می‌کنید.

meta name="robots" content="noindex

مثال x-robots noindex در header

 HTTP/1.1 200 OK
X-Robots-Tag: noindex

البته اگر از وردپرس و پلاگین Yoast استفاده می‌کنید می‌توانید از طریق تنظیمات (بخش پیشرفته) گزینه ی “Allow search engines to show this content in search results” را روی No قرار دهید.

روش ۳ : محدود کردن دسترسی

برخی مواقع لازم است تا صفحه ای در سایت وجود داشته باشد، اما ربات‌های گوگل نباید آن را بررسی و ایندکس کنند. در چنین حالتی باید دسترسی به آن صفحه را محدود کرد.

• یک سیستم لاگ این بسازید.
• در حالت HTTP Authentication به پسوورد های خاصب برای ورود نیاز است.
• لیست سفید آی پی : مثلا آی پی های مربوط به ایران و کشور های همسایه می توانند وارد سایت شوند و باقی کشور ها نمی توانند.

شبکه های داخلی و سایت‌های developer و… از این حالت محدودیت ها استفاده می‌کنند تا از محتوای خود محافظت کنند.

روش ۴ : استفاده از ابزار URL Removal سرچ کنسول

اسم این بخش در سرچ کنسول ممکن است کمی گمراه کننده باشد. در صورتی که یک URL را در این بخش وارد می‌کنید و درخواست حذف آن را ثبت می‌نمایید گوگل همچنان صفحه مورد نظر را میبیند. پس URL Removal به معنی حذف قطعی از نتایج نیست.

در صورتی که تنها از این ابزار استفاده کنید برای مدت محدودی ( ۶ ماه )  صفحه مورد نظر از گوگل حذف می‌شود. در Bing webmaster tools نیز ابزار مشابهی وجود دارد که URL مد نظر را برای مدت ۳ ماه حذف می‌کند.

برای برای حذف دائمی ابتدا صفحه را به حالت ۴۰۴ در آورید. و سپس از این ابزار برای پاک کردن دائمی آن استفاده کنید.

روش ۵ : حذف با روش Canonicalization

زمانی که ورژن‌های مختلفی از یک صفحه در یک سایت داریم، و قصد حذف کردن آنها را نداریم می‌توانیم از تگ کنونیکال استفاده کنیم. این اقدام از به وجود آمدن Duplicate content (محتوای تکراری) جلوگیری می‌کند.

هنگامی که محتوای دو صفحه بسیار شبیه به هم بوده می‌توانید از این گزینه بهره ببرید اما اگر تفاوتشان زیاد باشد گوگل این تگ را نادیده می‌گیرد.

حتما بخوانید » تگ کنونیکال چیست و چگونه از آن استفاده کنیم؟

ریدایرکت کردن صفحه 

Redirect : پروسه هدایت کردن کاربران و موتور جستجو به یک URl ‘خاص، که انواع مختلفی دارد اما رایج ترین آن ریدایرکت ۳۰۱ است. این کد به موتور جستجو می‌گوید که صفحه قبلی به طور دائمی به آدرسی جدید انتقال داده شده است. پس از گذشت مدتی URl قدیمی تر از گوگل حذف می‌شود.

نکات مهم حدف لینک صفحه از گوگل

بات گوگل را در فایل Robot.txt بلاک نکنید. صفحه ای که می خواهید حذف کنید ممکن است بک لینک های داخلی یا خارجی داشته باشد و بات گوگل آن لینک ها را کراول کرده و با توجه به انکر تکستی که دارند صفحه را در نتایج نشان می دهند حتی با اینکه خود آن صفحه را کراول نکرده اند. هرگز به صورت همزمان از گزینه های نوایندکس و کنونیکال استفاده نکنید چرا که با هم تناقض دارند. گرچه اگر هم این اشتباه را کردید گوگل به احتمال بسیار زیاد آپشن کنونیکال را پیگیری می کند و نو ایندکس را نادیده خواهد گرفت.

حال فرض کنید محتوای سایت شما را کپی کرده اند. برای اینکه آن صفحه کپی شده را که متعلق به سایت شما نیست حذف کنید  باید به ابزار Google’s Copyright Removal tool مراجعه کنید و درخواست خود را در آن جا صادر کنید.