چه دستورات دیگری بخشی از پروتکل حذف Robots هستند؟

Allow: همان طور که انتظار می رود، چک لیست سئو امر “allow” به ربات ها میگوید که مجاز به دسترسی به یک شیت اینترنت یا این که فهرست خاص میباشند. این امر قابلیت و امکان دسترسی به ربات ها به یک برگه اینترنت خاص را مهیا می نماید، در حالی که سایر صفحه های اینترنت جان دار در پرونده را مجاز نمی داند. کلیه موتور های کاوش این امر را تشخیص نمی دهند.

Crawl-delay: مراد از امر تانی خزنده این میباشد که ربات های عنکبوتی موتور کاوش از اضافه توشه به دست آوردن سرور پرهیز نمایند. آکادمی رایا پارس به مدیران این قابلیت را می‌دهد که میلی ثانیه، مقطع فرصت انتظار ربات در میان هر درخواست را معلوم نمایند. در اینجا مثالی از امر Crawl-delay برای انتظار 8 میلی ثانیه اورده شده میباشد:

Crawl-delay: 8

گوگل این فرمان را تشخیص نمی دهد، اگرچه موتور های جستجوی دیگر این عمل را اعمال می‌دهند. برای Google، سرپرستان میتوانند فرکانس خزش را برای وبسایت خویش در سرچ  کنسول تغییر و تحول دهند.

پروتکل نقشه وبسایت در پوشه robots.txt چیست؟
پروتکل Sitemaps به ربات ها یاری می نماید تا بدانند چه چیزی را بایستی در خزیدن تارنما خویش قرار دهند.

Sitemap یک فولدر XML میباشد که به طور ذیل میباشد:

این یک لیست قابل قرائت بوسیله ماشین از مجموع صفحه ها یک سایت میباشد. از روش پروتکل Sitemaps، لینک و پیوند what is seo بدین نقشه های وب سایت قادر است در پرونده robots.txt مو جود باشد. پوسته به طور تحت میباشد: “نقشه تارنما:” و درپی آن نشانی اینترنت فولدر XML وجود دارااست. یکسری مثال را میتوانید در پوشه Cloudflare robots.txt در صدر ملاحظه کنید.

در حالی که پروتکل Sitemaps به شما اعتقاد میدهد که ربات های عنکبوتی اینترنت در هنگام جستجوی تارنما چیزی را از دست ندهند، ربات ها همچنان فرایند خزیدن معمول خویش را دنبال می نمایند. نقشه های وب سایت ربات های خزنده را بدون چاره نمی نماید صفحه ها اینترنت را به ترتیب گوناگون حق تقدم بندی نمایند.