Google به دلیل افزایش استفاده نادرست از کدهای پاسخ ۴۰۳/۴۰۴ که می‌تواند تأثیر منفی بر وب‌سایت‌ها داشته باشد، راهنمایی‌هایی درباره نحوه کاهش صحیح نرخ خزیدن Googlebot منتشر کرد.
راهنما اشاره کرد که استفاده نادرست از کدهای پاسخ از سوی ناشران وب و شبکه های تحویل محتوا افزایش یافته است.
محدود کردن نرخ Googlebot
Googlebot نرم‌افزار خودکار Google است که از وب‌سایت‌ها بازدید می‌کند (خزیدن) و محتوا را دانلود می‌کند.
محدود کردن نرخ Googlebot به معنای کاهش سرعت خزیدن Google در یک وب‌سایت است.
عبارت، نرخ خزیدن Google، به تعداد درخواست صفحات وب در ثانیه که Googlebot ارسال می کند، اشاره دارد.
مواقعی وجود دارد که یک ناشر ممکن است بخواهد سرعت Googlebot را کاهش دهد، برای مثال اگر باعث بارگذاری بیش از حد سرور شود.
Google روش‌های مختلفی را برای محدود کردن سرعت خزیدن Googlebot توصیه می‌کند، که مهمترین آنها استفاده از کنسول جستجوی Google است.
محدود کردن نرخ از طریق کنسول جستجو کند می‌شود نرخ خزیدن را برای یک دوره ۹۰ روزه کاهش دهید.
یک راه دیگر برای تأثیرگذاری بر میزان خزیدن Google از طریق استفاده از Robots.txt برای جلوگیری از خزیدن Googlebot در صفحات، دایرکتوری ها (دسته ها)، یا کل وب سایت.
یک چیز خوب در مورد Robots.txt این است که فقط از Google می‌خواهد از خزیدن خودداری کند و از Google نمی‌خواهد یک سایت را از فهرست حذف کند.
با این حال، استفاده از robots.txt می‌تواند منجر به “اثرات بلندمدت” بر الگوهای خزیدن Google شود.
شاید به همین دلیل راه حل ایده آل استفاده از کنسول جستجو باشد.
Google: Stop Rate Limiting با ۴۰۳/۴۰۴
Google دستورالعملی را در وبلاگ Search Central خود منتشر کرد که به ناشران توصیه می کند از کدهای پاسخ ۴XX (به جز کد پاسخ ۴۲۹) استفاده نکنند.
در پست وبلاگ به طور خاص به استفاده نادرست از کدهای پاسخ خطای ۴۰۳ و ۴۰۴ برای محدود کردن نرخ اشاره شده است، اما این دستورالعمل برای همه کدهای پاسخ ۴XX به جز پاسخ ۴۲۹ اعمال می‌شود.
این توصیه ضروری است زیرا ناشران افزایش یافته‌اند که از آن کدهای پاسخ خطا برای محدود کردن سرعت خزیدن Google استفاده می‌کنند.
کد پاسخ ۴۰۳ به این معنی است که بازدیدکننده (در این مورد Googlebot) از بازدید از صفحه وب منع شده است.
کد پاسخ ۴۰۴ به Googlebot می‌گوید که صفحه وب کاملاً از بین رفته است.
کد پاسخ خطای سرور ۴۲۹ به معنای “درخواست‌های بسیار زیاد” است و این یک پاسخ خطای معتبر است.
به مرور زمان، اگر گوگل به استفاده از این دو کد پاسخ خطا ادامه دهد، در نهایت ممکن است صفحات وب را از فهرست جستجوی خود حذف کند.
این بدان معناست که صفحات برای رتبه بندی در نتایج جستجو در نظر گرفته نمی شوند.
Google نوشت:
«طی چند ماه گذشته شاهد افزایشی در مالکان وب‌سایت و برخی از شبکه‌های تحویل محتوا (CDN) برای استفاده از خطاهای ۴۰۴ و سایر خطاهای کلاینت ۴xx (اما نه ۴۲۹) برای کاهش نرخ خزیدن Googlebot بودیم.
نسخه کوتاه این پست وبلاگ این است: لطفاً این کار را نکنید…”
در نهایت، Google استفاده از کدهای پاسخ خطای ۵۰۰، ۵۰۳ یا ۴۲۹ را توصیه می‌کند.
کد پاسخ ۵۰۰ به این معنی است که یک خطای سرور داخلی وجود دارد. پاسخ ۵۰۳ به این معنی است که سرور قادر به رسیدگی به درخواست یک صفحه وب نیست.
Google با هر دو نوع پاسخ به عنوان خطاهای موقت برخورد می کند. بنابراین بعداً دوباره می آید تا بررسی کند که آیا صفحات دوباره در دسترس هستند یا نه.
یک پاسخ خطای ۴۲۹ به ربات می‌گوید که درخواست‌های زیادی دارد و همچنین می‌تواند از آن بخواهد که قبل از خزیدن مجدد برای مدت زمان مشخصی منتظر بماند.
Google توصیه می‌کند درباره صفحه برنامه‌نویس خود مشاوره کنید محدود کننده نرخ Googlebot.
پست وبلاگ Google را بخوانید:
از ۴۰۳s یا ۴۰۴s برای محدود کردن نرخ استفاده نکنید
تصویر ویژه توسط Shutterstock/Krakenimages.com
