ساخت فایل robots.txt

1- برای تشکیل داد پوشه robots.txt به ورقه اساسی هاست چک لیست سئو خویش در سی پنل یا این که دایرکت ادمین بروید.
2- بعد بر روی file manager کلیک نمایید.
3- وارد فایل public_html گردید.
4- درین فولدر یک پوشه تازه ساخت و ساز فرمایید به اسم robots.txt.
5- بر روی فایلی که ساخت و ساز کرده اید دو توشه کلیک نمائید تا در کامپیوترتان ذخیره گردد. آن گاه آن را با اپلیکیشن notepad گشوده فرمایید و اوامر ما یحتاج را در آن وارد کرده و تغییرات را ذخیره فرمایید.
6- پوشه را مجدداً درهاست خویش جایگزین پوشه قبل نمائید.
در تک تک فرایند دقت داشته باشید که فولدر robots.txt نسبت به کوچکی و بزرگی حروف حساس میباشد. اسم خویش فولدر می بایست با حروف خرد نوشته گردد. در تایپ کردن اوامر نیز به کوچکی یا این که بزرگی اسم فولدر ها اعتنا فرمایید.

باصرفه سازی پوشه robots.txt برای seo
از حیث بهینه سازی یک سری گزینه راجع به پوشه robots.txt وجود داراست که می بایست به آن ها دقت گردد:
-    فولدر هایی که در فرمان disallow قرار می گیرند، در مجموع خزیده نمی شوند. به این مفهوم که حتی پیوند های باطن این فولدر ها نیز تبدیل به نوفالو می شوند. براین اساس در حالتی که قصد دارید لینک و پیوند های درون ورقه فالو باشند از طریق دیگری به مکان disallow به کار گیری نمائید.
-    به کار گیری از فرمان disallow برای عدم اکران اطلاعاتی مانند داده ها محرمانه یوزرها بی منفعت میباشد؛ چراکه ممکن میباشد شما از صفحه های دیگر وبسایت به این شیت لینک و پیوند داده باشید و در فیض خزنده ها یا این که ربات ها از روش آن پیوند ها به ورقه نام برده رسیده و آن را ایندکس کنند.
-    معمولاً داده ها پوشه robots.txt در موتورهای کاوش برای یک روز در کش ذخیره میگردد؛ لذا در حالتی که محتوای این پوشه را تغییر تحول دادید و قصد دارید موتورهای کاوش زودتر از این تغییرات با خبر شوند، مایحتاج میباشد فولدر را مجدداً در کنسول گوگل قرار دهید.