آیا می بینید چه گوگل واکشی می کند؟

عنکبوت ربات

ما در این ماه دو مشکل داشتیم که سایت های مشتریان ما کاملاً برای بازدید کننده کار می کردند کنسول جستجوی گوگل گزارش خطاها بود. در یک مورد ، مشتری در تلاش بود برخی از مطالب را با استفاده از Javascript بنویسد. در مورد دیگر ، ما تشخیص دادیم که میزبانی دیگری که مشتری دیگری از آن استفاده می کند ، بازدیدکنندگان را به درستی هدایت می کند ... اما Googlebot نیست. در نتیجه ، وب مسترها به جای دنبال کردن تغییر مسیر هدایت شده ، به تولید خطاهای 404 ادامه می دادند.

Googlebot ربات خزنده وب Google است (که گاهی اوقات "عنکبوت" نیز نامیده می شود). خزیدن فرآیندی است که در آن Googlebot صفحات جدید و به روز شده را برای افزودن به فهرست Google کشف می کند. ما برای جمع آوری (یا "خزیدن") میلیاردها صفحه در وب از مجموعه عظیمی از رایانه استفاده می کنیم. Googlebot از یک فرآیند الگوریتمی استفاده می کند: برنامه های رایانه ای تعیین می کنند که کدام سایت ها را خزنده کنند ، هر چند وقت یکبار و چند صفحه را از هر سایت واکشی کنید. از گوگل: googlebot مرتبه

Google متفاوت از مرورگر ، محتوای صفحه شما را واکشی ، خزنده و ضبط می کند. در حالی که گوگل می تواند خزیدن برنامه نویسی ، آن را انجام می دهد نه بدان معنی است که همیشه موفق خواهد بود. و فقط به این دلیل که شما یک تغییر مسیر را در مرورگر خود آزمایش می کنید و کار می کند ، به این معنی نیست که Googlebot به درستی آن ترافیک را هدایت می کند. قبل از اینکه بفهمیم آنها چه کاری انجام می دهند ، نیاز به گفتگو بین تیم ما و شرکت میزبان بود و نکته کلیدی در مورد استفاده از از Google استفاده کنید ابزاری در وب مسترها.

به عنوان گوگل واکشی کنید

ابزار Fetch as Google به شما امکان می دهد مسیری را در سایت خود وارد کنید ، ببینید آیا Google قادر به پیمایش آن بوده یا نه و در واقع محتوای خزیده شده را همانند Google مشاهده کنید. برای اولین مشتری خود ، ما توانستیم نشان دهیم که Google آنطور که انتظار داشتند متن را نمی خواند. برای مشتری دوم ما ، ما توانستیم از روش متفاوتی برای هدایت Googlebot استفاده کنیم.

اگر ببینید خطاهای خزنده در وب مسترها (در بخش بهداشت) ، از Fetch as Google برای آزمایش تغییر مسیرها و مشاهده محتوایی که Google بازیابی می کند ، استفاده کنید.

شما چه فکر میکنید؟

این سایت از Akismet برای کاهش هرزنامه استفاده می کند. بدانید که چگونه نظر شما پردازش می شود.