آیا می بینید چه گوگل واکشی می کند؟

عنکبوت ربات

ما در این ماه دو مشکل داشتیم که سایت های مشتریان ما کاملاً برای بازدید کننده کار می کردند کنسول جستجوی گوگل گزارش خطاها بود. در یک مورد ، مشتری در تلاش بود برخی از مطالب را با استفاده از Javascript بنویسد. در حالت دیگر ، ما تشخیص دادیم که میزبانی دیگری که مشتری دیگری از آن استفاده می کند ، بازدیدکنندگان را به درستی هدایت می کند ... اما Googlebot نیست. در نتیجه ، وب مسترها به جای دنبال کردن تغییر مسیر مورد استفاده ما ، همچنان به تولید خطاهای 404 ادامه می دادند.

Googlebot ربات خزنده وب Google است (که گاهی اوقات "عنکبوت" نیز نامیده می شود). خزیدن فرآیندی است که در آن Googlebot صفحات جدید و به روز شده را برای افزودن به فهرست Google کشف می کند. ما از مجموعه عظیمی از رایانه ها برای واکشی (یا "خزیدن") میلیاردها صفحه در وب استفاده می کنیم. Googlebot از یک فرآیند الگوریتمی استفاده می کند: برنامه های رایانه ای تعیین می کنند که کدام سایت ها را بخواهید ، چند بار و چند صفحه را از هر سایت بخواهید. از گوگل: googlebot مرتبه

Google متفاوت از مرورگر ، محتوای صفحه شما را واکشی ، خزنده و ضبط می کند. در حالی که گوگل می تواند خزیدن برنامه نویسی ، آن را انجام می دهد نه بدان معنی است که همیشه موفق خواهد بود. و فقط به این دلیل که شما یک تغییر مسیر را در مرورگر خود آزمایش می کنید و کارایی ندارد ، به این معنی نیست که Googlebot به درستی هدایت کننده آن ترافیک است. قبل از اینکه بفهمیم آنها چه کاری انجام می دهند ، نیاز به گفتگو بین تیم ما و شرکت میزبان بود و نکته کلیدی در مورد استفاده از از Google استفاده کنید ابزاری در وب مسترها.

به عنوان گوگل واکشی کنید

ابزار Fetch as Google به شما امکان می دهد مسیری را در سایت خود وارد کنید ، ببینید آیا Google قادر به پیمایش آن بوده است یا خیر و در واقع محتوای خزیده شده را همانند Google مشاهده کنید. برای اولین مشتری خود ، ما توانستیم نشان دهیم که Google آنطور که انتظار داشتند متن را نمی خواند. برای مشتری دوم خود ، ما توانستیم از روش متفاوتی برای هدایت Googlebot استفاده کنیم.

اگر ببینید خطاهای خزنده در وب مسترها (در بخش بهداشت) ، از Fetch as Google برای آزمایش تغییر مسیرها و مشاهده محتوایی که Google بازیابی می کند ، استفاده کنید.

شما چه فکر میکنید؟

این سایت از Akismet برای کاهش هرزنامه استفاده می کند. بدانید که چگونه نظر شما پردازش می شود.