نحوه ارسال مجدد پرونده Robots.txt به روز شده یا جدید

روبات txt

نمایندگی ما رسیدگی می کند مشاور جستجوی ارگانیک برای چندین فروشنده SaaS در صنعت. مشتری ای که اخیراً با آن شروع به کار کردیم ، یک عمل کاملاً استاندارد انجام داده بود ، برنامه خود را در یک زیر دامنه قرار داده و سایت بروشور خود را به دامنه اصلی منتقل کرده بود. این یک روش استاندارد است زیرا تیم تولیدی و تیم بازاریابی شما را قادر می سازد در صورت لزوم بدون هیچ گونه وابستگی به دیگری ، به روزرسانی کنید.

به عنوان اولین قدم در تجزیه و تحلیل سلامت جستجوی ارگانیک آنها ، ما هم بروشور و هم دامنه های برنامه را در وب مسترها ثبت کردیم. آن وقت بود که یک موضوع فوری را شناسایی کردیم. فهرست شدن همه صفحات برنامه توسط موتورهای جستجو مسدود شده است. ما وارد robots.txt آنها در وب مستر شدیم و بلافاصله موضوع را شناسایی کردیم.

در حالی که آماده سازی برای مهاجرت ، تیم توسعه دهنده آنها نمی خواستند زیر دامنه برنامه با جستجو نمایه شود ، بنابراین دسترسی به موتورهای جستجو را ممنوع کردند. پرونده robots.txt فایلی است که در ریشه سایت شما یافت می شود - yourdomain.com/robots.txt - این اجازه می دهد تا موتور جستجو بداند که آیا آنها باید سایت را بخزند یا خیر. می توانید قوانینی بنویسید تا نمایه سازی در کل سایت یا مسیرهای خاص مجاز یا ممنوع باشد. همچنین می توانید برای مشخص کردن پرونده نقشه سایت خود یک خط اضافه کنید.

La فایل robots.txt پرونده دارای ورودی زیر بود که مانع از خزیدن و نمایه سازی سایت در رتبه بندی نتایج جستجو می شود:

User-agent: * Disallow: /

باید به صورت زیر نوشته می شد:

عامل کاربر: * مجاز: /

این مورد دوم به موتور جستجوی خزنده سایت اجازه می دهد تا بتواند به هر فهرست یا پرونده درون سایت دسترسی پیدا کند.

عالی ... پس حالا که robots.txt را پرونده کامل است اما Google از کجا می داند و چه زمانی دوباره سایت را بررسی می کنند؟ خوب ، شما کاملاً می توانید از Google درخواست کنید robots.txt شما را بررسی کند ، اما این خیلی شهودی نیست.

حرکت به کنسول جستجوی گوگل کنسول جستجو به خزیدن> تست کننده robots.txt. شما محتویات جدیدترین فایل robots.txt را که اخیراً خزیده شده است در تستر مشاهده خواهید کرد. اگر می خواهید پرونده robots.txt خود را دوباره ارسال کنید ، روی ارسال کلیک کنید و یک پنجره بازشو با چند گزینه مواجه می شود.

ارسال مجدد robots.txt

گزینه نهایی این است از Google بخواهید که آن را به روز کند. روی دکمه آبی رنگ ارسال در کنار آن گزینه کلیک کنید و سپس دوباره به صفحه بروید خزیدن> تست کننده robots.txt گزینه منو برای بارگیری مجدد صفحه. اکنون باید پرونده به روز شده robots.txt را همراه با مهر تاریخی که نشان می دهد دوباره خزیده شده است ، مشاهده کنید.

اگر نسخه به روز شده را مشاهده نمی کنید ، می توانید روی ارسال کلیک کرده و انتخاب کنید مشاهده نسخه بارگذاری شده برای رفتن به پرونده robots.txt واقعی خود. بسیاری از سیستم ها این پرونده را ذخیره می کنند. در واقع ، IIS بر اساس قوانینی که از طریق رابط کاربری آنها وارد شده است ، این پرونده را به صورت پویا تولید می کند. برای انتشار یک پرونده جدید robots.txt ، به احتمال زیاد باید قوانین را به روز کرده و حافظه پنهان را تازه کنید.

robots-txt-tester

شما چه فکر میکنید؟

این سایت از Akismet برای کاهش هرزنامه استفاده می کند. بدانید که چگونه نظر شما پردازش می شود.