Google اطلاعات آماری را در مورد نمایه سازی و خزیدن بودجه به اشتراک می گذارد

Google اخیراً پادکستی منتشر کرده است که در آن درباره آنچه به عنوان بودجه خزیدن شناخته می شود و چه چیزی Google را برای فهرست کردن محتوا تحت تأثیر قرار می دهد، بحث می کند.

گری ایلیس و مارتین اسپلیت هر دو دیدگاه‌های خود را در مورد نمایه‌سازی وب، همانطور که از دیدگاه Google درک می‌شود، به اشتراک گذاشتند.

منشاء مفهوم بودجه خزیدن

گری ایلیس گفت که مفهوم بودجه خزیدن چیزی است که خارج از Google توسط جامعه جستجو ایجاد شده است.

او توضیح داد که هیچ چیزی در داخل Google وجود ندارد که با ایده بودجه خزیدن مطابقت داشته باشد.

وقتی مردم در مورد بودجه خزیدن صحبت می‌کردند، آنچه در داخل Google اتفاق می‌افتاد شامل چندین معیار بود، نه این چیزی که به آن بودجه خزیدن می‌گویند.

بنابراین در داخل Google در مورد آنچه که می تواند نشان دهنده بودجه خزیدن باشد صحبت کردند و راهی برای صحبت در مورد آن پیدا کردند.

او گفت:

“… برای طولانی ترین زمان می گفتیم که مفهوم بودجه خزیدن را نداریم. و درست بود.

ما چیزی نداشتیم که بتواند به خودی خود به معنای خزیدن بودجه باشد – مثلاً عددی برای EAT نداریم.

و سپس، چون مردم در مورد آن صحبت می‌کردند، ما سعی کردیم به چیزی برسیم… حداقل، به نحوی تعریف شده است.

و سپس با دو یا سه یا چهار تیم کار کردیم – یادم نیست – جایی که سعی کردیم حداقل چند معیار داخلی داشته باشیم که بتواند با هم به چیزی تبدیل شود که افراد خارجی آن را به عنوان بودجه خزیدن تعریف می کنند. /p>

Crawl Budget در Google به چه معناست

طبق گفته گری، بخشی از محاسبه بودجه خزیدن بر اساس ملاحظات عملی است، مانند تعداد URL هایی که سرور به Googlebot اجازه می دهد بدون بارگذاری بیش از حد سرور بخزد.

گری ایلیس و مارتین اسپلیت:

“گری ایلیز: … ما آن را به عنوان تعداد URL هایی که ربات گوگل می تواند و مایل است یا به آن دستور داده می شود که بخزد، تعریف کردیم.”

مارتین اسپلیت: برای یک سایت معین.

گری ایلیز: برای یک سایت مشخص، بله.

و برای ما، بودجه خزیدن تقریباً به این معنی است، زیرا اگر فکرش را بکنید، نمی‌خواهیم به وب‌سایت‌ها آسیب برسانیم، زیرا Googlebot ظرفیت Chrome کافی برای از بین بردن سایت‌ها را دارد…»

توازن ملاحظات مختلف

نکته جالب دیگری که بیان شد این بود که چگونه در رابطه با خزیدن، ملاحظات مختلفی وجود دارد. برای ذخیره‌سازی محدودیت‌هایی وجود دارد، بنابراین، به گفته Google، این به معنای استفاده از منابع Google «جایی که مهم است»

«مارتین اسپلیت: ظاهراً، بدیهی است که همه می‌خواهند همه چیز در سریع‌ترین زمان ممکن ایندکس شود، چه وب‌سایت جدیدی که به تازگی آنلاین شده است و چه وب‌سایت‌هایی که صفحات زیادی دارند و می‌خواهند مرتباً تغییر کنند. آن‌ها، و نگران این هستند که چیزها به این سرعت خزیده نشوند.

من معمولاً آن را به‌عنوان چالشی توصیف می‌کنم که توازن بین تحت فشار قرار ندادن وب‌سایت و همچنین خرج کردن منابع ما در جایی که اهمیت دارد، وجود دارد.»

جان مولر اخیراً توییت کرد که Google همه چیز را ایندکس نمی‌کند و اشاره کرد که همه چیز مفید نیست.

توئیت مولر :

«… مهم است که به خاطر داشته باشید که Google فقط هر صفحه را در وب فهرست نمی کند، حتی اگر مستقیماً ارسال شده باشد. اگر خطایی وجود نداشته باشد، ممکن است به مرور زمان برای نمایه سازی انتخاب شود — یا ممکن است Google فقط روی برخی از صفحات دیگر در سایت شما تمرکز کند.”

او با توییت دیگری پیگیری کرد:

“خب، بسیاری از SEO ها و سایت ها (شاید شما یا شما نباشید!) محتوای وحشتناکی تولید می کنند که ارزش ایندکس کردن را ندارد. فقط به این دلیل که وجود دارد به این معنی نیست که برای کاربران مفید است.»

• مارتین اسپلیت فرآیند خزیدن را موضوعی می‌نامد که “منابع خود را در جایی که مهم است خرج کنیم.”
• جان مولر اشاره کرد که آیا محتوا “برای کاربران مفید است.”

مفید بودن زاویه جالبی برای قضاوت در مورد محتوا است و به نظر من می تواند برای تشخیص محتوا مفیدتر از توصیه های عقیم باشد تا اطمینان حاصل شود که محتوا “نیت کاربر را هدف قرار می دهد” و “کلمه کلیدی بهینه شده” است.

به عنوان مثال، من اخیراً یک سایت YMYL را بررسی کردم که در آن کل سایت به نظر می رسید که از یک چک لیست کارهای SEO ایجاد شده است.

• یک نمایه نویسنده ایجاد کنید
• نمایه نویسنده باید صفحه لینکدین داشته باشد
• کلید واژه بهینه سازی ترافیک
• به سایت‌های «مرجع» پیوند دهید

ناشر از تصاویر ایجاد شده توسط هوش مصنوعی برای بیوگرافی نویسنده استفاده می کرد که در نمایه جعلی LinkedIn نیز استفاده می شد.

بسیاری از صفحات وب سایت به صفحات نازک .gov که کلمات کلیدی در عنوان دارند، اما اصلا مفید نیستند، پیوند دارند. انگار حتی به صفحه دولتی نگاه نکردند تا قضاوت کنند آیا ارزش پیوند دادن به آن را دارد یا نه.

از نظر ظاهری، آنها در حال تیک زدن کادرهای چک لیست کارهای سئو، تکمیل فعالیت های سئوی متداول مانند پیوند دادن به سایت .gov، ایجاد نمایه نویسنده و غیره بودند.

آنها ظاهر ظاهری کیفیت را ایجاد کردند اما واقعاً به آن دست پیدا نکردند زیرا در هر مرحله به این فکر نمی کردند که آیا کاری که انجام می دهند مفید است یا خیر.

Crawl Budget چیزی برای نگرانی نیست

گری و مارتین شروع به صحبت در مورد اینکه چگونه اکثر سایت‌ها نیازی به نگرانی در مورد بودجه خزیدن ندارند، کردند.

گری انگشت خود را به سمت وبلاگ‌هایی در صنعت جستجو گرفت که در گذشته این ایده را ترویج می‌کردند که بودجه خزیدن چیزی نگران‌کننده است در حالی که به گفته او جای نگرانی نیست.

او گفت:

“من فکر می کنم تا حدودی ترس از اتفاقی است که آنها نمی توانند کنترل کنند، که مردم نمی توانند کنترل کنند، و چیز دیگر فقط اطلاعات نادرست است.

… و در آن روزها برخی وبلاگ ها وجود داشت که مردم در مورد بودجه خزیدن صحبت می کردند، و این بسیار مهم است، و سپس مردم آن را می یافتند، و در مورد “آیا باید نگران بودجه خزیدن باشم یا نه” گیج می شدند. ؟»

مارتین اسپلیت پرسید:

“اما فرض کنید شما وبلاگ جالبی بودید… آیا باید نگران بودجه خزیدن باشید؟”

و گری پاسخ داد:

“من فکر می‌کنم اکثر مردم نیازی به نگرانی در مورد آن ندارند، و وقتی می‌گویم بیشتر، احتمالاً بیش از ۹۰٪ سایت‌های موجود در اینترنت هستند، لازم نیست نگران آن باشند.”

چند دقیقه بعد در پادکست مارتین مشاهده کرد:

“اما مردم در مورد آن نگران هستند، و من دقیقاً مطمئن نیستم که از کجا می آید.

من فکر می‌کنم از این واقعیت ناشی می‌شود که چند وب‌سایت در مقیاس بزرگ مقالات و پست‌های وبلاگی دارند که در آن درباره بودجه خزیدن صحبت می‌کنند.

در دوره های آموزشی سئو مورد بحث قرار گرفته است. تا آنجا که من دیده ام، در کنفرانس ها مورد بحث قرار گرفته است.

اما این مشکلی است که نادر است. مثل اینکه این چیزی نیست که همه وب سایت ها از آن رنج ببرند، و با این حال، مردم در مورد آن بسیار عصبی هستند.”

چگونه Google تعیین می کند چه چیزی را فهرست کند

آنچه در ادامه دنبال شد، بحثی درباره عواملی بود که باعث می‌شود Google محتوا را فهرست‌بندی کند.

جالب زمانی است که گری در مورد تمایل به فهرست بندی محتوایی که ممکن است جستجو شود صحبت می کند.

گری ایلیز:

«…از آنجایی که همانطور که گفتیم، فضای نامحدود نداریم، بنابراین می‌خواهیم مواردی را که فکر می‌کنیم فهرست کنیم – خوب، نه ما – اما الگوریتم‌های ما تعیین می‌کنند که ممکن است در نقطه‌ای جستجو شوند، و اگر برای مثال، هنوز سیگنال‌هایی در مورد یک سایت خاص یا یک URL خاص یا هر چیز دیگری نداشته باشیم، چگونه می‌توانیم بدانیم که برای نمایه‌سازی باید آن را بخزیم؟»

گری Google Search Central نویسندگان فناوری، لیزی ساسمن (@okaylizzi)،  بعدی درباره اینکه آیا ارزش ایندکس کردن محتوای جدید را دارد یا خیر از بقیه سایت صحبت کرد.

“و برخی از چیزهایی که می توانید از آنها استنباط کنید – برای مثال، اگر برای مثال یک وبلاگ جدید در سایت اصلی خود راه اندازی کنید، و برای مثال یک زیر شاخه وبلاگ جدید دارید، ما می توانیم به نوعی استنباط کنیم، بر اساس کل سایت، چه بخواهیم زیاد از آن وبلاگ بخزیم یا نه.

لیزی ساسمن: اما وبلاگ نوع جدیدی از محتوا است که ممکن است بیشتر به روز شود، بنابراین چگونه می توانیم تشخیص دهیم که این …؟ تازه تازه است ما مطمئن نیستیم که اخباری باشد، مثلاً چگونه
مکرر هنوز مشخص نیست.

گری ایلیز: اما ما به یک سیگنال شروع نیاز داریم.

لیزی ساسمن: و سیگنال شروع …

است

گری ایلیز: استنتاج از سایت اصلی.”

سپس گری به صحبت در مورد سیگنال های کیفیت پرداخت. سیگنال های کیفیتی که آنها در مورد آنها صحبت کردند این بود که آیا سیگنال های مربوط به علاقه کاربر، آیا مردم به این محصول علاقه مند هستند؟ آیا افراد به این سایت علاقه مند هستند؟

او توضیح داد:

«اما این فقط فرکانس به‌روزرسانی نیست. همچنین سیگنال های کیفیتی است که سایت اصلی دارد.

بنابراین، برای مثال، اگر ببینیم که یک الگوی خاص در اینترنت بسیار محبوب است، مانند یک محصول اسلش در اینترنت بسیار محبوب است، و افراد در Reddit در مورد آن صحبت می کنند، سایت های دیگر به URL هایی در آن لینک می دهند. الگو، سپس این یک سیگنال برای ما است که مردم به طور کلی سایت را دوست دارند.”

گری همچنان در مورد سیگنال‌های محبوبیت و علاقه صحبت می‌کند، اما در چارچوب مکالمه، که بخش جدیدی از سایتی است که راه‌اندازی شده است.

در بحث او بخش جدید را دایرکتوری می نامد.

ایلیز:

“در حالی که اگر چیزی دارید که مردم به آن لینک نمی دهند، و سپس سعی می کنید یک دایرکتوری جدید راه اندازی کنید، مثل این است که مردم سایت را دوست ندارند، پس چرا ما این سایت جدید را بخزیم دایرکتوری که به تازگی راه اندازی کرده اید؟

و در نهایت، اگر افراد تازه شروع به پیوند دادن به آن کنند–“

جستجوی بودجه و سایت هایی که نمایه می شوند

برای خلاصه کردن برخی از موارد مورد بحث:

• Google ظرفیت بی‌نهایتی ندارد و نمی‌تواند همه چیز را در وب فهرست‌بندی کند.
• از آنجایی که Google نمی‌تواند همه چیز را فهرست‌بندی کند، مهم است که فقط محتوای مهم را فهرست‌بندی کنید.
• موضوعات مهم مورد بحث قرار می گیرند
• سایت‌های مهم و مفید هستند، معمولاً مورد بحث و پیوند قرار می‌گیرند

بدیهی است که این فهرست جامعی از همه چیزهایی نیست که بر آنچه نمایه می شود تأثیر می گذارد. همچنین قرار نیست یک چک لیست SEO باشد.

این فقط ایده ای از انواع چیزهایی است که بسیار مهم هستند که گری ایلیس و مارتین اسپلیت در مورد آن بحث کردند.

تصویر ویژه توسط Shutterstock/Trismegist san

نقل قول

به پادکست در اینجا گوش دهید: