ساخت فایل robots.txt

1- برای تشکیل داد پوشه robots.txt به ورقه اساسی‌هاست چک لیست سئو خویش در سی پنل یا این که دایرکت ادمین بروید.
2- بعد بر روی file manager کلیک نمایید.
3- وارد فایل public_html گردید.
4- درین فولدر یک پوشه تازه ساخت‌و‌ساز فرمایید به اسم robots.txt.
5- بر روی فایلی که ساخت و ساز کرده‌اید دو توشه کلیک نمائید تا در کامپیوترتان ذخیره گردد. آن گاه آن را با اپلیکیشن notepad گشوده فرمایید و اوامر ما یحتاج را در آن وارد کرده و تغییرات را ذخیره فرمایید.
6- پوشه را مجدداً درهاست خویش جایگزین پوشه قبل نمائید.
در تک تک فرایند دقت داشته باشید که فولدر robots.txt نسبت به کوچکی و بزرگی حروف حساس میباشد. اسم خویش فولدر می بایست با حروف خرد نوشته گردد. در تایپ کردن اوامر نیز به کوچکی یا این که بزرگی اسم فولدر‌ها اعتنا فرمایید.

باصرفه‌سازی پوشه robots.txt برای seo
از حیث بهینه سازی یک سری گزینه راجع‌به پوشه robots.txt وجود داراست که می بایست به آن ها دقت گردد:
-    فولدر‌هایی که در فرمان disallow قرار می گیرند، در مجموع خزیده نمی شوند. به‌این مفهوم که حتی پیوند‌های باطن این فولدر‌ها نیز تبدیل به نوفالو می شوند. براین اساس در‌حالتی که قصد دارید لینک و پیوند‌های درون ورقه فالو باشند از طریق دیگری به مکان disallow به کار گیری نمائید.
-    به کار گیری از فرمان disallow برای عدم اکران اطلاعاتی مانند داده ها محرمانه یوزرها بی‌منفعت میباشد؛ چراکه ممکن میباشد شما از صفحه های دیگر وبسایت به‌این شیت لینک و پیوند داده باشید و در فیض خزنده‌ها یا این که ربات‌ها از روش آن پیوند‌ها به ورقه نام برده رسیده و آن را ایندکس کنند.
-    معمولاً داده ها پوشه robots.txt در موتورهای کاوش برای یک روز در کش ذخیره میگردد؛ لذا در حالتی که محتوای این پوشه را تغییر تحول دادید و قصد دارید موتورهای کاوش زودتر از این تغییرات با خبر شوند، مایحتاج میباشد فولدر را مجدداً در کنسول گوگل قرار دهید.