فایل robots.txt چیست و چگونه عمل می کند؟

یکی از بخش های ترسناک و ناشناخته سئو برای سئوکارهای تازه کار و وبمستران، آشنایی و کار با فایل robots.txt است. البته با توجه به اینکه نام آن کمی متفاوت بوده و محتوای نامتعارفی هم دارد، این ترس کاملا توجیه شده است.

امروز میخواهم به ساده ترین شکل ممکن به شما توضیح بدهم که فایل robot.txt چیست؟ چه کاربردی در سئو سایت دارد و اصلا چطور باید یک فایل روبوتس برای سایت بسازیم و آن را اعتبار سنجی کنیم. در انتهای این مقاله هیچ چیز ناشناخته ای در مورد این فایل در ذهن شما وجود ندارد. (اگر هم وجود داشته باشد به آن در بخش نظرات پاسخ میدهم!)

فایل robots.txt چیست؟

در دنیای رایانه، فایل ها با فرمت های متفاوتی پیدا میشوند. مثلا فایل های تصویری با فرمت هایی مثل jpg ،png و… موجودند. فایل های صوتی با فرمت mp3، فایل های ویدیویی فرمت mp4 و همینطور mkv دارند و… .

در این بین فایل های متنی هم با فرمت های مختلفی قابل دسترسی اند. فرمت txt یکی از انواع فرمت فایل های متنی ساده هستند. زمانی که شما یک فایل به کمک notepad ویندوز خودتان ایجاد کنید، فرمت آن txt است.

فایل robots سایت، یک فایل متنی بسیار ساده با فرمت txt است که شما میتوانید نمونه آن را همین حالا روی صفحه رایانه خودتان بسازید. اما چیزی که کمی این فایل را خاص میکند، محتوا و متن درون آن است. قبل از اینکه در مورد این موضوع صحبت کنم، بگذارید اول ببینیم که کاربرد روبوتس سایت چیست؟

کاربرد robots.txt چیست؟

فایل robots.txt سایت یک راهکار برای برقراری ارتباط با ربات های موتور جستجو است. شما به کمک این فایل که در هاست سایتتان قرار گرفته و البته متنی که درون آن نوشته شده، میتوانید به ربات های خزنده موتور جستجو فرمان بدهید.

ربات های موتورهای جستجو به صورت خودکار برای بررسی صفحات سایتتان، به سراغتان خواهند آمد و تمامی صفحات را ایندکس میکنند. (منظور از ایندکس این است که صفحات وب سایت را بررسی کرده و برای نمایش در نتایج جستجو طبق اصول سئو آماده میکنند.)

حالا ممکن است شما در این بین نخواهید که بعضی از صفحات سایتتان توسط این ربات ها ایندکس شوند. اینجاست که میتوانید به کمک یک خط کد در فایل روبوتس سایت به آنها بگویید که کدام صفحه یا صفحات را ایندکس نکنند.

در ادامه مقاله به شما نحوه ساخت فایل robots.txt به همراه اصطلاحات آن را آموزش میدهم اما بهتر است در ابتدا بدانیم که اصلا چرا ما باید برخی از صفحات سایت را از دید ربات های موتور جستجو پنهان کنیم؟

چرا ربات های خزنده نباید برخی صفحات سایت ما را مشاهده کنند؟

اول از همه باید این نکته مهم را به توضیح بدهم که: اگر قرار باشد ربات های خزنده گوگل تمامی صفحات وب سایت شما را بررسی نکنند، این یعنی سایت شما اصلا در نتایج جستجو مشاهده نخواهد شد. به این شکل سئو (seo) برای سایتتان هیچ ارزشی ندارد.

در اصل کاری که ما قرار است انجام بدهیم، این است که به ربات ها بگوییم برخی از صفحات سایت ما را مشاهده و بررسی نکنند. هدفمان هم از این کار افزایش و بهبود سئو کلی سایت است. اما چه زمان هایی به کمک فایل روبوتس، صفحات سایت را از دید ربات های خزنده موتورهای جستجو پنهان میکنیم؟

1_ در ابتدای طراحی سایت

اصولا زمانی که وب سایت خودمان را طراحی کرده باشیم، به کمک فایل robots کل وب سایت را از دید موتور جستجو پنهان میکنیم. دلیل این موضوع چیست؟ دلیل این است که در ابتدای ساخت سایت، قالب های وردپرسی اغلب یک سری صفحات آماده را روی وب سایتمان بارگذاری میکنند. مثلا قالب flatsome وردپرس که یک قالب معروف است، در زمان طراحی در حدود 30 محصول، 30 برگه و چند مقاله غیر مرتبط و به زبان انگلیسی را به سایت شما اضافه میکند.

ما با پنهان کردن کل سایت از دید گوگل در ابتدای کار، به خودمان فرصت میدهیم تا صفحات اضافی سایت را حذف کرده و بقیه تغییرات لازم را روی آن ایجاد کنیم. در صورتی که این صفحات پیش فرض قالب در سایت ما ایندکس شوند، گوگل از همان ابتدا به دلیل وجود یک سری مطلب تکراری، اعتبار سئو سایتمان را کاهش میدهد. در نهایت و بعد از اینکه فعالیت های لازم برای طراحی بقیه برگه ها و حذف برگه های اضافی انجام شد، سایت را برای ربات ها قابل بررسی خواهیم کرد.

2_ پنهان کردن صفحات غیر ضروری بعد از طراحی سایت

بعد از اینکه وب سایت ما به طور کامل طراحی و آماده نمایش به گوگل شد، باز هم ما با فایل robots سایت کار داریم. در سایت، برخی از صفحات وجود دارند که به صورت پیشفرض وجودشان ضروری است اما نمایش آنها در نتایج هیچ سودی ندارد.

مثلا صفحه پرداخت سایت یا صفحه ورود به پنل کاربری سایت و… . اینها صفحاتی هستند که الزاما باید در وب سایت ما وجود داشته باشند اما به هیچ عنوان نیاز نداریم در نتایج ایندکس شوند. همینطور باید یادمان باید که ایندکس شدن این صفحات به دلیل مطالب کمی که درون خود دارند، باعث کاهش قدرت سئو کل سایت میشود. بنابراین بار دیگر سراغ فایل روبوتس سایت رفته و با کمک کدهایی که درون آن مینویسیم، این صفحات را هم از دید ربات موتور جستجو پنهان میکنیم.

3_ حذف محتوایی خاص از ایندکس گوگل

گاها ممکن است ما قصد داشته باشیم که محتوایی خاص را از دید ایندکس گوگل پنهان کنیم. مثلا امکان دارد یک صفحه برای کمپین فروش بهاری در سایت ساخته باشیم و پس از اتمام بهار، بخواهیم آن را از ایندکس خارج کنیم. همینطور ممکن است بخواهیم ویدیوها و تصاویر سایت در ایندکس گوگل دیده نشوند. در این حالت ها باز هم به سراغ robots میرویم.

4_ پنهان کردن صفحات بی ارزش، زامبی، تکراری و…

و در نهایت، از robots سایت برای پنهان کردن صفحات بی ارزش، تکراری و… استفاده میکنیم. اما کدام صفحات؟ به عنوان مثال ممکن است در میان مقالات وب سایتمان، مقاله ای قدیمی وجود داشته باشد که کمتر از 300 کلمه متن دارد. این مقالات که به زامبی پیج معروفند، باعث کاهش ارزش سئو سایت میشوند.

علاوه بر این ممکن است برای انجام یک سری کارهای تحقیقاتی مثل تست های انسانی، مجبور شویم که از یک صفحه سایت، دو یا چند صفحه مشابه داشته باشیم. در این حالت برای اینکه از طرف گوگل به داشتن محتوای duplicate و تکراری متهم نشویم، باید یکی از آنها را نگه داشته و بقیه را از دید موتور جستجو پنهان کنیم.

این موضوع برای صفحات تکراری دیگر هم قابل اجراست. مثلا زمانی که قصد داریم برای یک صفحه از مقالات سایتمان، یک صفحه pdf و یک صفحه قابل پرینت هم ایجاد کنیم، باید صفحه اصلی را نگه داشته و مابقی را به کمک robots.txt پنهان کنیم.

نکته: در سایت های وردپرسی برای اینکه صفحه ای سایت یا کل صفحات آن را از دید گوگل و بقیه موتورهای جستجو پنهان کنیم، میتوانیم به جای ایجاد تغییرات مستقیم در فایل robots، از افزونه هایی مثل رنک مث سئو یا یوآست سئو کمک بگیریم که رابط کاربری بسیار آسانی دارند. (در انتهای مقاله توضیح بیشتری میدهم.)

نکته 2: دقت کنید که همیشه هم نمیتوانیم به این اعتماد کنیم که ربات ها تمامی فرمان های داخل فایل روبوتس سایت را اجرا میکنند. گاها دیده شده که برخی ربات ها بی توجه به این دستورات، صفحات سایت را ایندکس کرده اند.

نکته 3: علاوه بر فایل robots، راهکار دیگر جهت پنهان کردن صفحات سایت از دید خزنده ها، کمک گرفتن از کد noindex است. این کد در بخش کدهای html هر صفحه از سایت (بین دو تگ باز و بسته head) قرار گرفته و به ربات ها دستور ایندکس نکردن صفحه را میدهد.

آموزش ساخت فایل robots.txt سایت

خب، تا اینجا متوجه شدیم که فایل robots.txt چیست، چه کاربردی دارد و چه زمانی باید از آن استفاده کنیم. حالا باید به سراغ آموزش ساخت robots سایت برویم. در ادامه اول از همه یاد میگیریم که چطور وجود داشتن و نداشتن این فایل در سایت را بررسی کنیم. بعد از آن به سراغ این سوال میرویم که اگر robots در سایت ما وجود نداشته باشد چه اتفاقی می افتد و در نهایت بعد از آشنا شدن با کدهای robots.txt نحوه ساخت آن را آموزش میبینیم.

بررسی وجود فایل robots در سایت

اگر سیستم شما وردپرسی باشد، در حالت پیش فرض فایل robot سایت شما ساخته شده و در این آدرس قرار میگیرد:

example.ir/robots.txt

کافی است به جای example.ir آدرس دقیق وب سایت خودتان را قرار دهید. به عنوان نمونه میتوانید فایل robots.txt فرین آکادمی را مشاهده کنید:

/farin.academy/robots.txt

اگر بعد از وارد کردن این آدرس در مرورگر با یک صفحه 404 روبرو شدید، باید خودتان اقدام به ساخت robots سایت کنید. همینطور اگر صفحه ای خالی را مشاهده کردید، نیاز دارید فایل robots سایت را در هاست خودتان پیدا کرده و آن را ویرایش کنید.

اما یک سوال:

آیا وجود نداشتن فایل robots در سایت باعث کاهش سئو میشود؟

ربات های خزنده در صورت مشاهده نکردن فایل روبوت، به صورت آزادانه به همه جای سایت سرک میکشند و همه صفحات آن را ایندکس میکنند. این یعنی عدم وجود فایل robots در سایت باعث کاهش مستقیم سئو سایت شما نمیشود. اما اگر صفحاتی که قرار است به کمک این فایل از دید ربات موتور جستجو پنهان شوند را پنهان نکنید، سئو وب سایتتان را کاهش میدهید.

مثلا وجود صفحات کم ارزش، کم محتوا و تکراری به صورت مستقیم رتبه سایت را کاهش میدهد. همینطور وجود تعداد زیادی صفحات بی ارزش در سایت شما باعث میشوند که بودجه خزشی که گوگل برایتان در نظر گرفته کاهش پیدا کرده و سرعت ایندکستان کم شود. اما بودجه خزش چیست؟

بودجه خزش (Crawl Budget): گوگل برای بررسی و ایندکس وب سایت ها یک بودجه خزش در نظر میگیرد که نسبت به تازگی محتوای سایت، کیفیت و تعداد انتشار محتوا تعیین میشود. در صورت کاهش بودجه خزش، صفحات سایتتان با سرعت کمتری در صفحات نتایج جستجو ظاهر خواهند شد. برای اطلاعات بیشتر به مقاله افزایش سرعت ایندکس سایت مراجعه کنید.

دستورات فایل robots سایت

دستور user-agent: این دستور برای تعیین نوع ربات های خزنده استفاده میشود. در سطح وب ربات های مختلفی به وب سایت شما سر میزنند. ربات های خزنده موتور جستجو بینگ، گوگل، یاهو و… اگر بخواهید نوع خاصی از ربات ها را برای دستورات خود فراخوانی کنید، باید در مقابل این کد نام آن را بنویسید. مثلا:

user-agent: googlebot

این تکه کد صرفا ربات های گوگل را فراخوانی میکند. اگر به جای نام ربات، علامت * را قرار دهید، در اصل روی صحبت شما با همه ربات ها است:

user-agent: *

دستور disallow: این همان دستوری است که به کمکش میتوانید تعیین کنید کدام صفحات از دید ربات ها پنهان باشند. مثلا:

disallow: /

به معنای این است که تمامی صفحات از ایندکس پنهان باشند.

disallow: /images

به معنای این است که پوشه images سایت غیر قابل ایندکس باشد. (دقت کنید که اگر در هاستتان نام پوشه عکس ها همین باشد، آنها پنهان میشوند. اگر نه باید نام دقیق آن را وارد کنید.)

/disallow: /seo

این به معنای پنهان کردن صفحه farin.academy/seo از دید ربات هاست.

دقت کنید که دستور disallow باید در خط بعد از user-agent قرار بگیرد. این یعنی در ابتدا باید ربات های مورد نظر را فراخوانی کنید سپس به آنها دستور ایندکس کردن یا نکردن صفحات را بدهید.

دستور Allow: این دستور بعد از دستور disallow قرار میگیرد. کاربرد آن این است که به ربات ها بگویید فلان فایل یا صفحه را از میان همه صفحاتی که قبلا دستور ایندکس نشدنش را داده بودید، ایندکس کنید.

مثلا در دستور قبلی گفتیم که تمامی عکس های درون پوشه images از دید ربات ها پنهان باشند. اما به کمک این دستور میتوانیم یک عکس خاص از این پوشه را برای ایندکس آماده کنیم:

Allow: images/seo.jpg

آموزش ساخت فایل robots txt در وردپرس

تا اینجا با پرکاربردترین کدهای فایل روبوت سایت آشنایید و میتوانید به راحتی آن را کد نویسی کنید. برای ساخت فایل روبوتس کافی است کدهای گفته شده را در یک متن ساخته شده با کمک ابزاری مثل TextEdit یا Notepad قرار دهید. سپس نام آن را به robots.txt تغییر داده و فایل را در بخش root هاست خودتان آپلود کنید. (نام فایل robot و پسوند آن .txt باشد.)

دقت کنید که وردپرس در نسخه های جدید به صورت خودکار فایل robots را ایجاد کرده اما شما نمیتوانید آن را پیدا کنید. در صورتی که نیاز به دستکاری این فایل دارید، باید یک فایل جدید ساخته و آن را در هاست آپلود کنید.

تست فایل robots.txt

گوگل قابلیتی در اختیار وبمستران گذاشته تا بتوانند فایل روبوت سایت خودشان را به کمک ابزار سرچ کنسول تست کنند. اگر قبلا سایت خودتان را در این ابزار ثبت کرده اید، کافی است به این آدرس رفته و بعد از انتخاب سایت، اخطارها و خطاهای موجود در مورد فایل روبوتس را مشاهده کنید. به عنوان نمونه تصویر پایین را مشاهده کنید:

طبق این تصویر، گوگل هیچ اخطار و اروری برای این فایل ثبت نکرده.

کلام آخر

در این مقاله به طور کامل با فایل robot.txt سایت آشنا شدیم. من پیشنهاد میکنم اگر نیاز به نوایندکس کردن و حذف صفحه ای از دید ربات های موتور جستجو را دارید، با توجه به سخت بودن کار با robot به سراغ روش های دیگر بروید. در مقاله نوایندکس حدود 7 روش از این راهکارها را توضیح دادم که میتوانید از آنها استفاده کنید.

اگر هنوز سوالی در مورد این مقاله دارید، آن را در بخش نظرات مطرح کنید. با آرزوی موفقیت.

منابع:

• تجربه شخصی
• googleblog

برخی از سوالات رایج

فایل robots.txt چیست؟

فایل robots سایت، یک فایل متنی بسیار ساده با فرمت txt است که شما میتوانید نمونه آن را همین حالا روی صفحه رایانه خودتان بسازید.

فایل robots.txt چه کاربردی دارد ؟

فایل robots.txt سایت یک راهکار برای برقراری ارتباط با ربات های موتور جستجو است. شما به کمک این فایل که در هاست سایتتان قرار گرفته و البته متنی که درون آن نوشته شده، میتوانید به ربات های خزنده موتور جستجو فرمان بدهید.

چرا ربات های خزنده نباید برخی صفحات سایت ما را مشاهده کنند؟

دلیل های مختلفی برای این مورد وجود دارد از جمله :

در ابتدای طراحی سایت

پنهان کردن صفحات غیر ضروری بعد از طراحی سایت

حذف محتوایی خاص از ایندکس گوگل

پنهان کردن صفحات بی ارزش، زامبی، تکراری و…