موتور جستجوی گوگل برای بررسی محتوای وب سایت شما و همه سایت های سطح وب از یک سری ربات کمک میگیرد. سئوکارها اسم های مختلفی به این ربات ها داده اند؛ از جمله عنکبوت های گوگل، خزنده (crawler) و…
گوگل برای بررسی میلیاردها سایتی که در صفحات اول وجود دارد، نیازمند یک زیرساخت عظیم است که بتواند این خزنده ها را هدایت کند. اما نکته اینجاست که حتی با این عظمتی که گوگل دارد، هنوز هم با محدودیت هایی روبرو است. مثلا گوگل نمیتواند به صورت نامحدود خزنده هایش را برای بررسی و ایندکس صفحات سطح وب به کار بگید؛ اینجاست که مفهومی به اسم بودجه خزش یا crawl budget به وجود می آید:
همانطور که گفتم گوگل برای بررسی همه سایت ها، دارای زیرساخت و امکانات نامحدودی نیست؛ بنابراین مجبور است یک تعادل در این بین ایجاد کند تا ربات هایش به اندازه کافی به همه سایت ها سر زده و محتواهای جدید را ایندکس کنند. گوگل برای ایجاد این تعادل از بودجه خزش استفاده میکند:
در واقع “بودجه خزش” به میزان بودجه ای گفته میشود که ربات های خزنده برای سایت شما در یک مقطع زمانی در نظر گرفته و طبق آن برای ایندکس و بررسی صفحات به سایت سر میزنند.
به عنوان نمونه ممکن است بودجه خزش سایت فرین آکادمی در ماه 100 دفعه باشد. دقیقا مثل بودجه مالی اگر ما این بودجه خزش را با بی احتیاطی هایمان مصرف کنیم؛ برای مقطعی از زمان به مشکل خورده و صفحاتمان دچار مشکل ایندکس میشوند! بنابراین شما به عنوان مدیر سایت یا سئوکار 2 وظیفه در مقابل بودجه خزش دارد:
قبل از اینکه به سراغ این دو مفهوم رفته و جزئیاتش را برایتان توضیح بدهم؛ بگذارید اول به سراغ این سوال برویم که چطور بودجه خزش هر سایت توسط گوگل تعیین میشود:
حالا به سراغ تعریف هر کدام برویم:
1_ منابع هاست سایت (Crawl limit / host load)
در مقاله سئو منفی توضیح دادم که یکی از تکنیک های این نوع سئو ناجوانمردانه، حملات ddos هستند. در این تکنیک فرد به کمک یک سری ربات به ناگهان به سایت شما وارد شده و هاست شما به دلیل کم آوردن منابع و تحمل نداشتن این همه ورودی، از کار می افتد.
دقیقا همین حالت هم ممکن است زمانی که ربات های گوگل به سایتتان سر میزنند اتفاق بیوفتد! هر خزنده وقتی وارد صفحات مختلف شما شود، دائما در حال ارسال درخواست به سرور هاست شماست.
در این حالت اگر هاست سایت قدرت کمی داشته و تعداد درخواست ها هم بالا برود، ممکن است به طور کلی از دسترس خارج شود! بنابراین گوگل در مرحله اول به میزان منابع شما دقت کرده و مطمئن میشود که بودجه خزش در نظر گرفته برای سایتتان باعث ایجاد مشکلی در آن نشود. اما از چه راهکاری کمک میگیرد تا بفهمد هاست سایتتان چقدر توان دارد؟
در مورد نکته اول نیاز به توضیحات نیست اما نکته دوم: ببینید، شرکت های هاستینگ برای فروش هاست، یک سرور بزرگ را به کمک نرم افزارهای مخصوص به قسمت های کوچک تر (هاست) تقسیم کرده و در اختیار مشتریان قرار میدهند. در این بین هر چه تعداد سایت های روی سرور اصلی بیشتر باشد؛ هاست ها منابع کمتری دارند. بنابراین گوگل برای اینکه از مقدار منابع هاست شما مطمئن شود، تعداد کل هاست هایی که روی سرورتان هستند را هم بررسی میکند.
2_ تقاضای خزش (Crawl Demand / Crawl Scheduling)
تا اینجا فهمیدیم گوگل برای تعیین بودجه خزش در مرحله اول به مقدار منابع هاست یا سرور ما دقت میکند. اما موضوع بعدی مورد توجه این موتور جستجو؛ تقاضای خزش است. اگر به زبان ساده بگویم: این فاکتور به میزان لایق بودن سایت ما برای خزش اشاره میکند!
این یعنی اینکه چقدر در سایت ما محتوای جدید منتشر میشود که اصلا گوگل بخواهد برای آن بودجه خزش در نظر بگیرد؟ و اهمیت و اعتبار سایت ما در سطح وب چقدر است؟
حالا بگذارید کمی بیشتر توضیح بدهم:
موتور جستجوی گوگل برای بررسی میزان محبوبیت سایت به لینک های خارجی (بک لینک) و برای بررسی میزان قدرت صفحات داخلی و تعیین نرخ بودجه خزش هر کدام به لینک های داخلی توجه نگاه میکند.
علاوه بر این برای اینکه مطمئن شود هر چند وقت یک بار باید به سایت سر زده و محتواها را ایندکس کند، این موضوع را مورد توجه قرار میدهد که چه تعداد محتوای جدید در یک بازه زمانی در سایت دارید؟ و اینکه چه تعداد از محتواهایتان بروزرسانی میشوند؟
در انتها هم نوع صفحات سایت تعیین کننده میزان بودجه خزش آنهاست. مثلا در حالت عادی صفحات دسته بندی نیاز به بودجه خزش بیشتری دارند چون دائما محتوای درون آنها بروز میشود اما صفحات محصول بودجه کمتری میخواهند چون به ندرت کسی آنها را بروز میکند.
خب، تا اینجا با همه چیز در مورد بودجه خزش یا “کراول باجت” آشنا شدید. بهتر است در ادامه مقاله به سراغ نکات جزئی و مهمی برویم که باید در سایت رعایت کنید. البته پیشنهاد میکنم قبل از آن، جواب یک سوال مهم را مرور کنیم:
با 2 داستان کوتاه جواب این سوال را میدهم. در واقع هدفم از گفتن این داستان ها این است که بدانید اگر بودجه خزش اندکی داشته باشیم، ممکن است با چه مشکلاتی روبرو شویم:
1_ دزدی محتوا
اولین داستان مربوط به پروژه سئو یک سایت فروشگاهی در حدود 4 سال پیش بود. در این پروژه مدیر سایت از این گلایه داشت که 3 ماه است دائم در حال تولید محتوا هستیم ولی حتی یک صفحه سئو شده هم در نتایج نداریم. با یک بررسی کوتاه متوجه مشکل شدم:
بودجه خزش سایت کم بود و محتواها به محض انتشار ایندکس نمیشدند، در همین حین سئوکار سایت یکی از رقبا ربات خودش را روی این سایت تنظیم کرده بود تا به محض انتشار محتوای جدید، آن را کپی کرده و در سایتش که بودجه خزش بیشتر و سرعت ایندکس بالاتری داشت؛ منتشر کند. به این ترتیب سایتی که در اصل خودش محتوا را تولید کرده بود، به دلیل بودجه خزش پایین به عنوان یک سایت کپی کار شناخته و محتوای اصلی به نام شخص دیگری زده میشد!
2_ جذب بازدید بیشتر
حدودا 2 سال پیش بود که الگوریتم سایت MOZ برای بررسی اعتبار وب سایت های سطح وب تغییر کرد. من در ابتدای آن روز و به محض خبردار شدن از این موضوع، یک مقاله هزار کلمه ای در مورد آن نوشتم و به دلیل سرعت ایندکس بالا و بودجه خزش کافی، مقاله سریعا ایندکس شده و در لینک یک گوگل قرار گرفت. در همان چند روز اولی، وب سایت من از طریق این محتوا چندین بازدید کسب کرد. بنابراین بودجه خزش بالا میتواند در بعضی شرایط خیلی به دردتان بخورد و بازدیدی که قرار است در یک ماه جذب کنید را در چند روز به سایتتان بیاورد.
در نهایت هم اینکه اندک بودن نرخ بودجه خزش در بسیاری از مواقع باعث میشود فعالیت های شما در سایت مثل تولید محتوای جدید یا بروزرسانی محتواهای قبلی، به موقع توسط گوگل دیده نشوند. این یک نکته مهم مخصوصا در سئو کردن سایت هایی است که میزان رقابت بالایی دارند.
با رعایت تکنیک هایی که در ادامه مقاله به آنها اشاره میکنم، 2 اتفاق می افتد:
یکی از مشکلاتی که ما در پروژه های سئو با آنها روبرو ایم و البته اغلب هم مربوط به سایت های کدنویسی شده است، مشکل ایندکس شدن URL های پارامتری است. مثلا در بعضی سایت ها، زمانی که شما عبارتی را داخل کادر جستجو سرچ کنید؛ یک URL به این شکل نشان داده میشود:
farin.ir/cats/big?color=red
اما مشکل از جایی است که گوگل گاها این صفحات را شناسایی کرده و آنها را ایندکس میکند. خب جدا از مشکلاتی که در این حالت برای سئو سایت شما پیش می آید، چنین صفحاتی باعث کاهش بودجه خزش شما میشوند. در واقع بودجه خزش شما برای خزیدن ربات ها در این صفحات بی مصرف صرف میشود.
نکته: صفحات جستجو ایندکس شده همیشه هم بی مصرف نیستند و گاها میتوان از آنها استفاده کرد اما این موضوع مربوط به مفاهیم تخصصی سئو است که ربطی به این مقاله ندارد.
خیلی از وبمستران وب سایت های فارسی هنوز که هنوز است به خوبی با مفاهیم سئو محتوا آشنایی ندارند و این موضوع باعث میشود تعداد زیادی صفحه کپی یا همان duplicate content در سایتشان ایجاد کنند. به عنوان نمونه مدیرانی هستند که به خوبی کاربرد و نحوه استفاده از برچسب را بلد نیستند و در ادامه و بعد از نوشتن هر مقاله جدید تعداد زیادی برچسب برای آن ایجاد میکنند. به این ترتیب چندین صفحه با محتوای تکراری در سایتشان ایجاد میسازند. (اگر میخواهید با این موضوع بیشتر آشنا شوید مقاله سئو برچسب ها را بخوانید.)
در هر حال وجود صفحات با محتوای تکراری باعث میشود بودجه خزش شما برای یک سری صفحه بی ارزش مصرف شود؛ بنابراین به هیچ عنوان اجازه ندهید این صفحات سئو سایتتان را به خطر بیندازید. برای از بین بردنشان اول آنها را حذف کرده و سپس ریدایرکتشان کنید. (انتخاب بهتر نوایندکس کردن و سپس حذف کردنشان است.)
صفحات زامبی یا همان زامبی پیج، صفحاتی هستند که محتوای درون آنها به شدت برای سئو و گوگل بی ارزش است. مثلا یک مقاله 200 کلمه ای در مورد موضوعی که حتی مخاطبان در موردش جستجو هم نمیکنند. همانطور که در دوره 70 ساعته سئو هم گفتم این صفحات باعث کاهش قدرت سئو سایتتان میشوند. بنابراین بهتر است آنها را یا حذف کرده یا نوایندکسشان کنید تا باعث کاهش بودجه خزش تان نشوند.
ساختار نامناسب لینک سازی داخلی سایت شما میتواند به شدت باعث سردرگم شدن ربات های خزنده شده و بودجه خزش را کاهش بدهد. منظورم از ساختار سردرگم کننده، وجود لینک های شکسته ای است که به صفحات 404 داده شده و همینطور وجود لینک هایی که دائما روی صفحات دیگر ریدایرکت شده اند. (ریدایرکت های پی در پی روی یک آدرس)
علاوه بر این، وجود لینک های شکسته و لینک به صفحات بی ارزش در نقشه سایت شما (site map) نتیجه ای مشابه روی بودجه خزش دارد.
و در نهایت به بخش مهم مقاله رسیدیم؛ چطور بودجه خزش سایت را افزایش بدهیم؟ در ادامه نکاتی که باعث افزایش نرخ بودجه خزش سایت و همینطور سرعت ایندکس میشود را به شما آموزش میدهم:
لینک بیلدینگ که یکی از تکنیک های سئو کلاه خاکستری است، به شدت روی افزایش قدرت سئو سایت، افزایش اعتبار دامنه و در نتیجه افزایش بودجه خزش تاثیر دارد. بنابراین پیشنهاد میکنم اگر بیشتر از 2/3 ماه است که وب سایتتان راه اندازی شده، به مرور سراغ لینک سازی خارجی بروید.
نکته: به جرئت لینک سازی خارجی حساس ترین فعالیت در سئو است. بنابراین اگر اطلاعات کمی در مورد آن دارید حتما دانشتان را نسبت به این مفهوم افزایش دهید. فکر میکنم سری مقالات آموزش سئو خارجی، آموزش لینک بیلدینگ و آموزش ساخت بک لینک کمک زیادی به شما در این زمینه بکند.
یکی از نکات تاثیرگذار روی بودجه خزش سایت شما، سرعتی است که هر صفحه و به طور کلی سایتتان دارد. اگر سرعت صفحات سایت شما پایین است، مطمئن باشید در آینده با مشکل ایندکس صفحات روبرو میشوید. برای حل کردن مشکل سرعت صفحات و سایت میتوانید به سراغ مقاله آموزشی و جامع افزایش سرعت سایت بروید.
سایت مپ یک فایل متنی با فرمت xml است که در هاست سایت قرار میگیرد. درون سایت مپ آدرس تمامی صفحات وب سایت شما موجود است و خزنده ها به کمک این آدرس ها و لینک ها، سریعتر صفحات مختلفتان را ایندکس میکنند. در صورتی که سایتتان سایت مپ نداشته باشد، احتمالا بودجه خزشتان کمی کاهش پیدا میکند. اگر نیاز به اطلاعات بیشتری دارید مقاله سایت مپ چیست را بخوانید.
شما میتوانید با کمک لینک های داخلی علاوه بر افزایش قدرت سایت، ایجاد ارتباط بیشتر بین صفحات و آسان تر کردن حرکت خزنده ها در سایت، قدرت هر صفحه را هم مشخص کنید. مثلا زمانی که لینک سازی داخلی سایتتان روی صفحات دسته بندی تمرکز داشته باشد، خزنده ها هم به این صفحات اهمیت بیشتری داده و میفهمند باید برای ایندکسشان بودجه بیشتری در نظر بگیرند.
و در نهایت یکی از تاثیرگذارترین راهکارها برای افزایش بودجه خزش یا همان crawl budget، تولید محتوای منظم و مداوم است. زمانی که ربات های گوگل مطمئن شوند شما دائما در حال تولید محتوا هستید و محتوایتان را به صورت منظم منتشر میکنید، توجه بیشتری به سایتتان کرده و سریع تر برای ایندکس محتوای جدید سراغتان می آیند. علاوه بر این، بروزرسانی محتواهای قدیمی هم نتیجه نسبتا مشابه دارد.
کلام آخر
در نهایت به انتهای مقاله بودجه خزش رسیدیم. اگر فکر میکنید در مورد این مقاله سوالی در ذهنتان وجود دارد، آن را در بخش نظرات مطرح کنید تا در مدت کمتر از 24 ساعت سوال را جواب بدهم. اگر هم سوال دیگری در مورد هر زمینه ای از سئو دارید، به بخش پرسش و پاسخ سایت مراجعه کنید.
برخی سوالات متداول:
بودجه خزش ( Crawl Budget ) چیست ؟
بودجه خزش به تعداد صفحاتی گفته میشود که ربات های گوگل طی یک دوره زمانی مشخص در سایت شما ایندکس میکنند. بودجه سایت شما، معمولاً بر اساس بزرگی و تعداد لینک های ورودی به آن مشخص میشود.
بودجه مورد نیاز هر سایت توسط گوگل چطور تعیین میشود؟
گوگل با استفاده از دو فاکتور Crawl Limit و Crawl Demand، بودجه مورد نیاز هر سایت را معین می کند.
چطور بودجه خزش سایت را افزایش بدهیم؟
LCP در سال 2020 گوگل با دادن یک آپدیت Core Web Vital را بخش مهمی…
الگوریتم محتوای مفید گوگل، که به نام "Helpful Content System" نیز شناخته میشود، در آگوست…
منتورینگ سئو چیست؟ اگر در دنیای سئو این عبارات را بارها شنیده اید و تعریف…
TTFB چیست؟ Time to First Byte (TTFB) یک معیار عملکرد وب است که مدت زمانی…
پنهان کاری چیست؟ Cloaking یک تکنیک سئو کلاه سیاه است که شامل ارائه محتوای متفاوت…
بمباران گوگل به عمل دستکاری رتبه یک وب سایت برای یک عبارت جستجوی خاص با…
دیدن کامنت ها
سلام
یکی از سایت های من خیلی وقته که چیزی ازش ایندکس نشده.
یکی سری ها کرال شدن یکی سری ها کرال هم نشدن.
هم کحصولات و هم مقالات.
ظاهرا هیچ مشکلی هم نیست
ایندکس شدنشون بررسی شده. تست لایو هم میگیرم هیچ مشکلی ندارن ولی ایندکس نمیشن
دستی هم درخواست ایندکس میزنم
ولی به نتیجه ای نرسیدم.
مشکل از کجا میتونه باشه؟
سلام اگر مشکل تکنیکالی نیست و محتواها هم کپی نیست و سایت مپ دانامیک هم داری و هاستت هم مشکلی نداره
حالا با افزایش لینک داخلی به خصوص از صفحه اصلی و صفحات پرکلیک به صفحاتی که ایندکس نمیشن، میتونی سرعت ایندکس رو افزایش بدی
+ بک لینک هم توی این مسیر کمک میکنه