جان مولر از گوگل: خزیدن در کل وب غیرممکن است

در پاسخ به این سوال که چرا ابزارهای سئو همه بک لینک ها را نشان نمی دهند، مدافع جستجوی گوگل جان مولر می گوید که خزیدن در کل وب غیرممکن است.

این در یک نظر در Reddit در موضوعی که توسط یک متخصص سئو ناامید شروع شده است بیان شده است.

آنها می پرسند چرا همه پیوندهایی که به یک سایت اشاره می کنند توسط ابزار SEO که استفاده می کنند پیدا نمی شوند.

این شخص از کدام ابزار استفاده می‌کند مهم نیست. همانطور که از مولر می آموزیم، هیچ ابزاری نمی تواند ۱۰۰٪ از پیوندهای ورودی یک وب سایت را کشف کند.

در اینجا دلیل است.

هیچ راهی برای خزیدن “درست” وب وجود ندارد

مولر می‌گوید هیچ راه درستی برای خزیدن در وب وجود ندارد زیرا تعداد بی‌نهایت URL دارد.

هیچ کس منابع لازم برای نگهداری تعداد بی پایان URL در پایگاه داده را ندارد، بنابراین خزنده های وب سعی می کنند تعیین کنند چه چیزی ارزش خزیدن را دارد

همان‌طور که مولر توضیح می‌دهد، این امر به ناچار منجر به خزیدن نادر URLها می‌شود یا اصلاً خزیده نمی‌شود.

“هیچ روش عینی برای خزیدن در وب به درستی وجود ندارد.

از لحاظ نظری خزیدن همه آن غیرممکن است، زیرا تعداد URL های واقعی بی نهایت است. از آنجایی که هیچ کس نمی تواند تعداد بی نهایت URL را در یک پایگاه داده نگه دارد، همه خزنده های وب در مورد آنچه که ارزش خزیدن واقع بینانه دارد، فرضیات، ساده سازی و حدس می زنند.

و حتی پس از آن، برای اهداف عملی، نمی‌توانید همه آن‌ها را همیشه بخزید، اینترنت اتصال و پهنای باند کافی برای آن ندارد، و اگر بخواهید به مقدار زیادی دسترسی داشته باشید، هزینه زیادی دارد. از صفحات به طور منظم (برای خزنده، و برای مالک سایت).

در گذشته، برخی از صفحات به سرعت تغییر می کنند، برخی دیگر به مدت ۱۰ سال تغییر نکرده اند – بنابراین خزنده ها سعی می کنند با تمرکز بیشتر بر روی صفحاتی که انتظار دارند تغییر کنند، به جای صفحاتی که انتظار دارند تغییر نکنند، در تلاش خود صرفه جویی کنند. /p>

چگونه خزنده های وب تعیین می کنند چه چیزی ارزش خزیدن را دارد

مولر در ادامه توضیح می‌دهد که چگونه خزنده‌های وب، از جمله موتورهای جستجو و ابزارهای SEO، متوجه می‌شوند که کدام URLها ارزش خزیدن را دارند.

“و سپس، قسمتی را لمس می کنیم که خزنده ها سعی می کنند بفهمند کدام صفحات واقعا مفید هستند.

وب پر از آشغال هایی است که هیچ کس به آنها اهمیت نمی دهد، صفحاتی که هرزنامه شده اند و بی فایده شده اند. این صفحات ممکن است همچنان مرتباً تغییر کنند، ممکن است URLهای معقولی داشته باشند، اما مقصد آنها محل دفن زباله است و هر موتور جستجویی که به کاربران خود اهمیت می دهد، آنها را نادیده می گیرد.

گاهی اوقات این فقط یک آشغال آشکار نیست. بیشتر و بیشتر، سایت‌ها از نظر فنی خوب هستند، اما از نظر کیفیت به «نوار» نمی‌رسند تا شایستگی بیشتر خزیدن را داشته باشند.

خزنده های وب با مجموعه محدودی از URL ها کار می کنند

مولر پاسخ خود را به‌پایان می‌رساند و می‌گوید همه خزنده‌های وب روی مجموعه‌ای از URLها «ساده‌شده» کار می‌کنند.

از آنجایی که هیچ راه درستی برای خزیدن در وب وجود ندارد، همانطور که قبلاً ذکر شد، هر ابزار SEO روش خاص خود را برای تصمیم گیری در مورد URL هایی دارد که ارزش خزیدن را دارند.

به همین دلیل است که یک ابزار ممکن است بک لینک هایی را پیدا کند که ابزار دیگر آنها را پیدا نکرده است.

“بنابراین، همه خزنده ها (از جمله ابزارهای سئو) روی مجموعه ای بسیار ساده از URL ها کار می کنند، آنها باید بررسی کنند که چند وقت یکبار خزیدن، کدام URL ها بیشتر خزیده شوند، و کدام قسمت های وب را نادیده بگیرند. . هیچ قانون ثابتی برای هیچ یک از این موارد وجود ندارد، بنابراین هر ابزاری باید در طول مسیر خود تصمیم بگیرد. به همین دلیل است که موتورهای جستجو محتوای متفاوتی فهرست‌بندی می‌کنند، چرا ابزارهای سئو لینک‌های متفاوتی را فهرست می‌کنند، چرا معیارهایی که در بالای آنها ساخته شده‌اند بسیار متفاوت هستند.”

منبع: Reddit

تصویر ویژه: rangizzz/Shutterstock