چطور صفحات ایندکس شده از گوگل را پاک کنیم؟+7 راه برای نوایندکس صفحه

خیلی از وبمستران تازه کار به دلیل آشنا نبودن با برخی از فعالیت های تخصصی سئو، گاها ضربه های بدی به وب سایت خودشان وارد میکنند. یکی از این فعالیت های تخصصی که وبمستران و سئوکارهای زیادی از آن ضربه خورده اند، حذف صفحات ایندکس شده در گوگل است. (منظور از صفحه ایندکس شده، صفحه ای است که توسط ربات ها بررسی شده و در نتایج جستجو نمایش داده میشود.)

بعد از جستجو زیاد در وب فارسی، متوجه شدیم که متاسفانه منبع و آموزش مناسبی برای حذف url از گوگل در وب فارسی وجود ندارد. با توجه به همین موضوع، تصمیم گرفتیم یک آموزش واقعا جامع و کامل برای آموزش حذف صفحات ایندکس شده در گوگل در اختیار شما قرار دهیم. دقت کنید با مطالعه این مقاله، دید بسیار وسیعی به نحوه ایندکس شدن صفحات سایتتان و نحوه غلط و صحیح خارج کردن آنها از ایندکس گوگل پیدا میکنید.

حذف صفحات ایندکس شده در گوگل؛ چرا؟

در قدم اول بیایید این موضوع را بررسی کنیم که چرا باید به حذف صفحات ایندکس شده در گوگل بپردازیم؟ دلایل مختلفی میتواند باعث شود که یک سئوکار حرفه ای برای حذف صفحه ای از گوگل اقدام کند. در ادامه آنها را بررسی میکنیم:

1_ ایندکس شدن صفحات نامربوط

بعضی از قالب های وردپرس در ابتدای نصب روی وب سایت، یک سری صفحه آماده در اختیار وبمستر قرار میدهند. این صفحاتِ نمونه با محتوای از پیش تعیین شده در اختیار صاحب سایت قرار میگیرند تا صرفا او بتواند ایده ای در مورد آینده وب سایت خود و ظاهر گرافیکی آن داشته باشد. همینطور بتواند این صفحات را ویرایش کرده و صفحات خصوصی سازی شده درست کند. در بعضی مواقع وبمستران فراموش میکنند که قبل از ایندکس کردن سایت، باید این صفحات را از سایت حذف کنند.

در ادامه، سایت ایندکس شده و تمامی صفحات آماده قالب در گوگل هم ایندکس میشوند. این موضوع به دلیل تکراری بودن محتوای صفحات و البته زبان متفاوت محتوای آنها که اغلب انگلیسی است، باعث کاهش رتبه سئو سایت میشود. در این مواقع یک وبمستر باید برای جلوگیری از کاهش بیشتر اعتبار، اقدام به حذف صفحات ایندکس شده در گوگل کند.

2_ ایندکس شدن صفحات بی محتوا

قدرت یک تیم فوتبال، از میانگین قدرت همه اعضای آن تعیین میشود. این یعنی اگر 10 نفر حرفه ای در زمین برای تیم فوتبال مورد نظر بازی کنند اما یکی از آنها مثل دروازه بان، هافبک و… نیروی ضعیفی باشد، عملکرد ضعیف او روی قدرت نهایی کل تیم اثر میگذارد. در وب سایت هم شرایط به همین صورت است. ممکن است شما 100 صفحه پر محتوا و با کیفیت داشته باشید، اما 3/4 صفحه بی کیفیت هم در کنار آنها باشند که از محتوای مناسبی برخوردار نیستند. این صفحات که به آنها “زامبی پیج” هم میگوییم، میتوانند باعث کاهش قدرت کل وب سایت شما شوند.

به طور کلی صفحاتی که محتوای کمتر از 300 کلمه، محتوای کپی و… دارند همان صفحات زامبی هستند. بعضی مواقع به صورت ناخواسته و بعضا هم عمدی و از سر ناآگاهی این صفحات در وب سایت ایندکس میشوند. در بهترین حالت، انتخاب مناسب این است که صفحات گفته شده را بروزرسانی کرده و با کمک لینک داخلی از صفحات دیگر و محتوای با کیفیت، قدرت آن را افزایش دهیم. اما گاها صفحات ایندکس شده، صفحاتی مثل “برگه پرداخت”، “صفحه فاکتور محصولات” و… هستند که نمیتوانیم برای بروز رسانی و حتی حذف آنها در سایت اقدام کنیم. در این حالت بهترین انتخاب، حذف لینک های ایندکس شده از گوگل است.

3_ حذف صفحه سایت از گوگل

و در نهایت آخرین دلیلی که باعث میشود برای حذف صفحات ایندکس شده در گوگل اقدام کنیم، این است که قصد حذف کردن یک صفحه از خود وب سایت را داشته باشیم. یعنی حذف صفحه، به صورتی که نه در گوگل مشاهده شود و نه در وب سایت خودمان. مثل همان حذف کردن صفحات مربوط به قالب یا حذف صفحه محصولی که دیگر قصد فروشش را نداریم، همینطور صفحه اخباری که به اشتباه منتشر شده و…

حذف لینک های ایندکس شده از گوگل

ما در تمامی حالت های گفته شده در بالا، نیاز به حذف لینک های ایندکس شده از گوگل داریم. در ادامه به شما راهکارهای حذف url از گوگل را آموزش میدهیم، همینطور در این بین راهکارها و اشتباهات وبمستران تازه کار برای رسیدن به این هدف را هم به شما یادآوری میکنیم:

1_ no-index کردن صفحه سایت

ربات های موتور جستجو، قبل از اینکه به سراغ ایندکس یک صفحه از سایت بروند، کدهای مربوط به دستورات آن را میخوانند. هر صفحه از سایت شما میتواند حاوی یک سری دستورات برای این ربات ها یا همان crawler ها باشد. در حالت پیشفرض، صفحات سایت دستور ایندکس شدن دارند. یعنی به ربات ها اجازه بررسی و ایندکس آن در نتایج را میدهند.

(البته دستورات دیگری هم وجود دارند که به مقاله حذف صفحات از گوگل مربوط نیستند.)

به عنوان بهترین راهکار، شما میتوانید برای حذف لینک ایندکس شده از گوگل، دستورات صفحه را ویرایش کنید. به این ترتیب شما نیاز دارید یک قطعه کد را در داخل صفحه بارگذاری کرده و به ربات ها دستور دهید که صفحه مورد نظر را ایندکس نکنند.

اگر وب سایت شما هنوز به طور کلی توسط ربات ها بررسی نشده باشد، دستور ایندکس نکردن یا همان noindex در هر صفحه، باعث میشود که ربات های گوگل اصلا سراغ بررسی آن نروند. اما اگر سایت و همان صفحه مورد نظر هم ایندکس شده باشد، استفاده از این دستور باعث میشود که صفحه، به مرور از ایندکس گوگل حذف شود.

اما چطور دستور noindex را صادر کنیم؟ در حالت عادی برای چنین کاری، نیاز به کدنویسی در صفحات سایت داریم که یک سئوکار یا برنامه نویس مسلط به سئو میتواند آن را برای شما انجام دهد. (در ادامه همین مقاله هم آن را به شما آموزش میدهیم) اما اگر وب سایت شما وردپرسی باشد، یک راهکار بسیار آسان برای شما داریم:

حذف صفحات ایندکس شده در گوگل به کمک افزونه yoast seo

افزونه yoast seo، پرکاربردترین افزونه سطح وب در مورد بهینه سازی سایت است. در مورد قابلیت های این پلاگین در مقاله افزونه های سئو وردپرس اطلاعاتی به شما ارائه و همینطور در مقاله تخصصی و تصویری آموزش yoast seo به طور جزئی کار با آن را به شما آموزش دادیم.

این افزونه در نوایندکس کردن صفحات سایت به راحت ترین شکل ممکن کمکتان میکند. بعد از نصب آن، به صفحه مورد نظری که قصد حذف آن از نتایج گوگل دارید، بروید:

در انتهای صفحه، منو افزونه yoast که در تصویر بالا مشخص است را مشاهده میکنید. روی آن کلیک کنید تا باز شود.

در انتهای منو باز شده، گزینه پیشرفته را انتخاب کنید. (تصویر بالا) به این ترتیب صفحه جدیدی برای شما باز میشود:

همانطور که در تصویر بالا مشخص است، زیرِ جمله “به موتورهای جستجو اجازه نمایش این نوشته را میدهید” گزینه ای قرار دارد. روی آن کلیک کنید تا دو گزینه کشویی دیگر باز شوند. حالا کافی است گزینه خیر را انتخاب کرده و صفحه را بروز رسانی کنید. به این صورت کد noindex در صفحه قرار گرفته و ربات های موتور جستجو در بازدید بعدی، متوجه میشوند که اجازه بررسی آن را نداشته و باید برای حذفش اقدام کنند.

صفحه مورد نظر در عرض یک هفته یا کمی بیشتر به طور کلی از صفحات گوگل و تمامی موتورهای جستجو دیگر حذف میشود.

دقت کنید که منو “پیشرفته” در افزونه yoast سئو، مربوط به اطلاعات خاصی از هر صفحه است که میتواند مثل همین نوایندکس کردن، تغییرات مهمی در سئو آن بدهد. پیشنهاد میکنیم بدون اطلاع قبلی بقیه جزئیات آن را تغییر ندهید.

2_ حذف صفحات ایندکس شده در گوگل با حذف صفحه

یکی از راهکارهای نسبتا اشتباهی که برای حذف صفحات ایندکس شده در گوگل استفاده میشود، حذف کامل صفحه است! در این راهکار، وبمستر به طور کلی صفحه مورد نظر وب سایت خودش را از داخل پنل مدیریت حذف میکند. اما در این حالت چه اتفاقی می افتد؟ آیا آن حذف صفحه ایندکس شده به این صورت ممکن است؟ جواب مثبت است اما این روش باعث ضربه به سئو سایت میشود، چرا؟ در ادامه با هم بررسی میکنیم:

بعد از اینکه صفحه شما از داخل وب سایت حذف شد، به یک صفحه 404 تبدیل میشود. به عنوان مثال اگر ما در فرین آکادمی صفحه ای به آدرس farin.academy/seo داشته باشیم و سپس برای حذف این url از گوگل، آن را در وب سایت خودمان حذف کنیم، هرکسی که به این لینک وارد شود، با یک صفحه حذف شده برخورد میکند. به طور کلی وب سایت ها به جای هر صفحه حذف شده، یک صفحه 404 قرار میدهند، مثل تصویر پایین:

پس، از این به بعد هر کاربری که به کمک “لینک هایی که از وب سایت های دیگر” به آن داده شده یا بدتر از همه “از طریق موتورهای جستجو” به صفحه مورد نظر برسد، به یک صفحه 404 برخورد میکند. این موضوع باعث میشود آنها سریعا اقدام به خروج از سایت کنند. به این صورت نرخ پرش وب سایت افزایش پیدا کرده و ضربه بدی به سئو سایت وارد میشود.

علاوه بر این ممکن است از داخل سایت هم لینک های داخلی زیادی به این صفحه داده باشید که دیگر به آنها لینک شکسته گفته میشود و این لینک ها هم تاثیر نامناسبی روی سئو سایت شما دارند.

البته در نهایت بعد از گذشت مدت زمانی، صفحه مورد نظر بعد از کاهش رتبه، از گوگل حذف میشود اما در هر حال اثر نامناسب خود روی سئو را دارند. پس راهکار چیست؟ اگر قصد داشته باشیم برای حذف url از گوگل اقدام کنیم و در عین حال صفحه مورد نظر را هم از سایت پاک کنیم، باید چه راهکاری را انجام دهیم؟

3_ روش صحیح حذف لینک های ایندکس شده از گوگل و سایت

روش اصولی این کار به این صورت است: در ابتدا باید طبق آموزش قبلی، به کمک یوآست سئو صفحه مورد نظر را نوایندکس کنید تا ربات های گوگل در اولین بازدیدشان از سایت شما، برای حذف آن صفحه از نتایج گوگل اقدام کنند.

بعد از این، (بهتر است در حدود یک هفته صبر کنید) باید صفحه را حذف کنید اما برای جلوگیری از به وجود آمدن صفحات 404، نیاز به استفاده از مفهومی به نام “ریدایرکت” دارید! در مورد ریدایرکت ها در مقاله ریدایرکت توضیحات مفصلی دادیم. همینطور مفهوم ریدایرکت 301 که الان قصد استفاده از آن داریم را هم در مقاله ریدایرکت 301 به شما معرفی کردیم.

ریدایرکت 301 باعث انتقال کاربر از لینک حذف شده، (یا حتی حذف نشده) به یک صفحه جدید میشود. علاوه بر این، این نوع از ریدایرکت اعتبار سئو صفحه شما را به صفحه جدید منتقل میکند. اما چطور صفحه را ریدایرکت کنیم؟ باز هم به کمک یوآست! زمانی که یک صفحه را حذف کنید، افزونه یوآست در بالای صفحه به شما اخطار داده و درخواست میکند صفحه حذف شده از سایت را به یک صفحه جدید ریدایرکت کنید:

برای این کار، گزینه اول (تغییر مسیر به آدرس جدید) را انتخاب کنید.

در کادر بعدی که در تصویر بالا مشخص است، آدرس جدید را وارد کرده و گزینه ok را انتخاب کنید. اما یک سوال، صفحه حذف شده را به چه صفحه ای منتقل کنیم؟

در حالت پیشفرض، هر صفحه باید به نزدیکترین صفحه به خود از نظر معنایی ریدایرکت شود. یعنی اگر ما قصد حذف صفحه دوره سئو حرفه ای را داشته باشیم، باید آن را به صفحه دوره جامع 50 ساعته سئو که از نظر معنایی نزدیکترین مفهوم به آن است ریدایرکت کنیم. به این صورت کاربرانی که به کمک لینک ها به صفحه سئو حرفه ای وارد شوند، به صفحه ای با بیشترین ارتباط معنایی به آن منتقل خواهند شد.

اما اگر صفحه مرتبطی نداشته یا علاقه ای به ریدایرکت کردن به صفحه مرتبط را ندارید، بهترین انتخاب ریدایرکت کردن آن به صفحه اصلی سایت است.

تمام شد! به این صورت شما علاوه بر حذف صفحه ایندکس شده در گوگل، توانستید صفحه را بدون به وجود آوردن مشکل سئو و ایجاد صفحه 404، از وب سایت خودتان هم حذف کنید.

سوال: صفحه سایتم را بدون نوایندکس کردن حذف کرده ام، برای جلوگیری از ضربه به سئو آن چکار کنم؟ بهترین انتخاب برای این شرایط، ریدایرکت کردن صفحه مورد نظر است. برای این کار میتوانید از افزونه های مخصوص ریدایرکت استفاده کرده یا به کمک منو “تغییر مسیر” در یوآست که مربوط به ریدایرکت هاست، آدرس قبلی را به آدرس جدید منتقل کنید.

سوال 2؛ اگر افزونه یوآست سئو را به هر دلیلی حذف کنیم، ریدایرکت ها و نوایندکس های آن حذف میشوند؟ بله! متاسفانه در صورتی که مجبور به حذف این افزونه شوید، تمامی ریدایرکت ها و دستورات آن از جمله نوایندکس و… حذف میشوند. پس راهکار چیست؟ راهکار استفاده از افزونه های دیگر مخصوص ریدایرکت و نوایندکس کردن یا کمک گرفتن از گزینه هایی است که در ادامه توضیح میدهیم:

4_ حذف صفحات سایت از گوگل با کمک فایل robot.txt

باز هم پیشنهاد میکنیم تا جای ممکن به سراغ دست کاری فایل روبوت سایت نروید، اما اگر نمیخواهید برای نوایندکس کردن از افزونه ای مثل یوآست استفاده کنید، این راهکار مناسبی است.

برای این کار به سراغ فایل robot.txt در هاست سایت رفته و سپس این کد را در آن وارد کنید:

*:User-agent

/Disallow:/example.com

کافی است به جای example.com، آدرس “دقیق” صفحه مورد نظر را وارد کرده و فایل را ذخیره کنید. “لطفا در نوشتن کد دقت داشته باشید!”

5_ نوایندکس کردن صفحات سایت با کمک کد برنامه نویسی

علاوه بر راهکار بالا، میتوانید قطعه کد مربوط به نوایندکس کردن صفحه را در قسمت head برگه مورد نظر بارگذاری کنید. دقت کنید که این کد باید در قسمت head قرار بگیرد نه header.

<“meta name=”robots” content=”noindex>

همین کد در قسمت هِد کافی است تا ربات های موتور جستجو از ایندکس آن خودداری کنند.

6_ حذف صفحات ایندکس شده در گوگل به کمک قابلیت password

احتمالا اطلاع دارید که گوگل و بقیه موتورهای جستجو توانایی بررسی و ایندکس کردن صفحاتی از سایت که دارای رمز باشند را ندارند. بنابراین شما میتوانید برای نو ایندکس کردن یک صفحه از سایت خود، روی آن رمز گذاشته تا آن را از گوگل حذف کنید.

برای این کار طبق تصویر بالا از منو سمت چپ هر صفحه در وردپرس و گزینه قابلیت مشاهده کمک بگیرید. فقط دقت کنید که از این به بعد کاربران برای ورود به این صفحه نیاز به وارد کردن رمز مورد نظر شما را دارند.

7_ حذف صفحات ایندکس شده در گوگل با کمک سرچ کنسول

سرچ کنسول گوگل هم به شما این قابلیت را ارائه میکند که به راحتی و در زمانی کمتر از 24 ساعت، صفحه یا صفحات مورد نظر را از گوگل حذف کنید. با توجه به اینکه سرچ کنسول در چند ماه اخیر تغییراتی داشته و نحوه حذف url از آن متفاوت با قبل است، سعی میکنیم در آینده نزدیک یک آموزش ویدیویی برای کار با این بخش از ابزار گفته شده در اختیارتان قرار دهیم.

در این ویدیو، به شما نحوه نوایندکس کردن یک صفحه، وبلاگ و کل سایت را آموزش خواهیم داد.

حذف وبلاگ از ایندکس گوگل

بعضی از وبمستران قصد دارند به طور کلی وبلاگ سایت و مقالات آن را از ایندکس گوگل حذف کنند. برای این کار میتوانید تک تک به سراغ هر صفحه از سایت رفته و کد نوایندکس را در head آنها قرار دهید. همینطور میتوانید به کمک یک برنامه نویس، این کد را در head کلِ قالب وبلاگ و نوشته ها بگذارید. اگر هم از یک سئو کار متخصص کمک بگیرید، برای حذف وبلاگ از گوگل با قرار دادن یک تکه کد در فایل robot.txt به شما کمک میکند.

حذف سایت از گوگل

اگر قصد دارید همه وب سایت خودتان را از دید موتورهای جستجو پنهان کنید، باید سراغ فایل robot رفته و این کد را درون آن قرار دهید:

*:User-agent

/Disallow:/example.com

علاوه بر این میتوانید در وب سایت های وردپرسی به سراغ این صفحه در تصویر پایین بروید:

و تیک این گزینه را انتخاب کرده و ذخیره تغییرات را بزنید. البته بهترین راهکار حذف سایت از گوگل، کمک گرفتن از سرچ کنسول است.

کلام آخر

در نهایت و به عنوان کلام آخر باید به این نکته اشاره ای داشته باشیم که گاها ربات های موتور جستجو برای بررسی یک صفحه از وب سایت شما، از کدهای robot.txt و حتی نوایندکس در head تبعیت نکرده و صفحه مورد نظر شما را ایندکس می کنند. این اتفاق به ندرت رخ میدهد اما بالاخره دانستن آن خالی از لطف نبود. با توجه به همین موضوع پیشنهاد میکنیم برای حذف صفحات سایت از گوگل، راهکارهای مطمئن را انتخاب کنید. امیدواریم از مطالعه این مطلب لذت برده باشید.