ما در این ماه دو مشکل داشتیم که سایت های مشتریان ما کاملاً برای بازدید کننده کار می کردند کنسول جستجوی گوگل گزارش خطاها بود. در یک مورد ، مشتری در تلاش بود برخی از مطالب را با استفاده از Javascript بنویسد. در مورد دیگر ، ما تشخیص دادیم که میزبانی دیگری که مشتری دیگری از آن استفاده می کند ، بازدیدکنندگان را به درستی هدایت می کند ... اما Googlebot نیست. در نتیجه ، وب مسترها به جای دنبال کردن تغییر مسیر هدایت شده ، به تولید خطاهای 404 ادامه می دادند.
Googlebot ربات خزنده وب Google است (که گاهی اوقات "عنکبوت" نیز نامیده می شود). خزیدن فرآیندی است که در آن Googlebot صفحات جدید و به روز شده را برای افزودن به فهرست Google کشف می کند. ما برای جمع آوری (یا "خزیدن") میلیاردها صفحه در وب از مجموعه عظیمی از رایانه استفاده می کنیم. Googlebot از یک فرآیند الگوریتمی استفاده می کند: برنامه های رایانه ای تعیین می کنند که کدام سایت ها را خزنده کنند ، هر چند وقت یکبار و چند صفحه را از هر سایت واکشی کنید. از گوگل: googlebot مرتبه
Google متفاوت از مرورگر ، محتوای صفحه شما را واکشی ، خزنده و ضبط می کند. در حالی که گوگل می تواند خزیدن برنامه نویسی ، آن را انجام می دهد نه یعنی همیشه موفق خواهد بود و فقط به این دلیل که یک تغییر مسیر را در مرورگر خود آزمایش می کنید و کار می کند، به این معنی نیست که Googlebot به درستی آن ترافیک را هدایت می کند. قبل از اینکه بفهمیم آنها چه کار می کنند، گفتگو بین تیم ما و شرکت میزبان طول کشید... و کلید پیدا کردن این موضوع استفاده از از Google استفاده کنید ابزاری در وب مسترها.
ابزار Fetch as Google به شما این امکان را می دهد که مسیری را در سایت خود وارد کنید، ببینید آیا گوگل قادر به خزیدن آن بوده یا خیر، و در واقع محتوای خزی شده را همانطور که گوگل انجام می دهد، ببینید. برای اولین مشتری خود، ما توانستیم نشان دهیم که گوگل آنطور که می خواست اسکریپت را نمی خواند. برای مشتری دوم خود، ما توانستیم از روش متفاوتی برای تغییر مسیر Googlebot استفاده کنیم.
اگر ببینید خطاهای خزنده در وب مسترها (در بخش بهداشت) ، از Fetch as Google برای آزمایش تغییر مسیرها و مشاهده محتوایی که Google بازیابی می کند ، استفاده کنید.
