در ارتیکل قبلی در مورد  فایل robots.txt توضیحات جامع و مفصلی دادیم.همانطور که میدونید مدیریت‌های محتوی متفاوت فایل‌های robots.txt‌های مختلفی دارند که نسخه بهبود یافته اونها رو میتونید از سر تا سر وب با جست وجو پیدا کنید. در این قسمت سعی کردم برای مدیریت‌های محتوی مشهور مانند  جوملا- وردپرس- وی بولوتین و… فایل‌های robots.txt مناسب و بهینه شده رو جمع اوری کنم و براتون قرار بدم.

نکته : سعی کردم در مورد اون مدیریت محتوی‌هایی که کمی‌اطلاعات دارم دستورات رو به طور کلی بهینه و ویرایش کنم و سعی کردم بهترین و دقیق ترین کد‌ها رو براتون قرار بدم

شما میتوانید با توجه به نیاز خودتون در فایل‌ها تغییرات ایجاد کنید

مشاهده robots.txt سایت ما برای نمونه

• نکته : برای مشاهده و چک کردن سینتکس‌های کد‌های خود از ادرس زیر استفاده کنید

Robots Syntax Checker

• نکته : ادرس نقشه‌های سایت خودتون رو در پایان فایل به جای ادرس نقشه سایت ما قرار بدید

(دانلود فایل‌های robots.txt در ادامه مطلب)

ادامه مطلب…

English Article OF Robot.txt Is At The Bottem OF This Content

توی اینترنت داشتم بین سایت‌های فارسی جست و جو میکردم  که یک توضیح جامع و کاملی برای این مقوله از SEO پیدا کنم. اما متاسفانه نمیدونم چرا هیچ جا یک اموزش و توضیح کامل از Robots.txt وجود نداشت  و همه جا فقط  چند تا فایل اماده قرار داده بودن.

رفتم سراغ وب سایت‌های خارجی و یک Article (مقاله ) خیلی خوب گیر اوردم. تصمیم گرفتم فارسیش کنم و براتون قرار بدم.

لطفا بدون ذکر منبع کپی نکنید.

چرا Robots.txt (دلایل استفاده از Robots.txt):

این که یک موتور جست و جو مرتبا به سایت شما سر بزنه و بات‌ها و اسپایدر‌های اون سایت شما رو ترک کنه یک ایده خوب هست و باعث افزایش رنک سایت شما میشه. اما باید ذکر کنم که یه مشکل کوچیک که این وسط وجود داره اینه که …گاهی اون چیزی که شما میخواید ایندکس نمیشه و همین در اینده نه چندان دور مشکل ساز میشه و اینجاس که فایل Robots.txt لزومش اشکار میشه و…

حالت بارز این موضوع برای سایت‌هایی هست که برای هر پیج خودشون یا هر موضوع خودشون دو نسخه دارند. یکی نسخه ارائه شده در وب سایتشون و دیگری نسخه چاپی که قابل پرینت گرفتن هست. خوب این وسط یک مورد کاملا اشکاره که اگه شما نسخه چاپی رو از دسترس اسپایدر‌های موتور جست وجو خارج نکنید و اون‌ها ایندکس بشن… عملا یک عنوان ایندکس  میشه و صفحه خالی و بدون محتوی برای اسپایدر دسترسی داده میشه و این یعنی کاهش رنک … پس در این مورد عاقلانه ترین کار اینه که قسمت پرنیتی رو از دسترس اسپایدر‌ها خارج کنید.

مورد بعد زمانی اتفاق میوفته که شما میخواید قسمتی از سایت برای کسی دیده نشه. بنا بر این اولین راه جلوگیری از ایندکس شدن در موتور‌های جست و جو میباشد.

• نکته مهم: البته باید همینجا ذکر کنم.اگر چه شما مثلا با زدن ادرس wp-admin برای جلوگیری از ایندکس شدن …از رفتن این قسمت به موتور‌های جست وجو جلوگیری میکنید. اما چون فایل robots.txt در سایت به راحتی قابل دستیابی هست این ادرس خیلی راحت از این قسمت بازیابی میشه .پس بهتره اگر میخواهید  قسمتی به هیچ وجه توسط کسی دیده نشه. بهتره در این فایل ادرسش رو وارد نکنید .

مورد بعدی استفاده از این فایل هنگامی‌اتفاق میوفته که برای شما حفظ پهنای باند  سرورتون مهمه.بعضی از فایل‌های خارجی و یا داخلی سایت مانند تصاویر,فایل‌های جاوا,فایل‌های استایل و… نیازی به پخش شدن در موتور‌های جست و جو ندارند و خارج کردن ان‌ها از دسترس موتور‌های جست و جو کمک بزرگی به افزایش سرعت و کاهش پهنای باند سایت میکنه.

خوب حالا یکی از راه‌هایی که قبلا برای موارد ذکر شده استفاده میشده استفاده از Robots meta tag هست . امابه دلیل این که برخی از موتور‌های جست وجو قابلیت بازیابی این توضیح نیستند. استفاده از Robots.txt بهترین روش میباشد.

فایل Robots.txt چیست ؟

فایل robots.txt فایل متنی (Html نیست) است که در روت سایت شما قرار میگیرد تا به  موتورهای جست و جو اعلام کنید که چه قسمت‌هایی از سایت شما نباید توسط ان‌ها جست و جو و یا ایندکس شوند. این فایل اگرچه برای موتور‌های جست وجو یک فایل الزامی‌برای موتور‌های جست و جو نمیباشد ولی وجود این فایل باعث افزایش و بهبود وضعیت جست وجو گر‌ها در سایت شما میشود.

نکته مهم در این قسمت همانطور که در نکته اولیه ذکر کردم اینه که این فایل چیزی مثل یک فایروال یا پسورد گذار بر روی پوشه‌ها و یا قسمت‌های سایت شما نیست. بلکه بیشتر جنبه ای مانند خواهش دارد. مثل این که (( لطفا وارد این قسمت نشوید)) . و این بدین معنا است که دزد‌ها,هکر‌ها و… به راحتی باز هم مثل قبل به سایت دسترسی دارند. تنها تفاوت این هست که افراد فهمیده وارد قسمت‌های منع شده نمیشوند چرا که به انها موضوع مربوطی در این قسمت‌ها وجود ندارد.

و مورد ذکر شده بالا دلیل اصلی همان نکته ذکر شده در قسمت اول میباشد.

با مشاهده تصویر زیر این قسمت برای شما مشهود تر خواهد بود

تفاوت بین سایت دارای فایل robots و بدون این فایل.

محل قرارگیری فایل robots.txt یکی از مهمترین قسمت‌های این مقوله میباشد. فایل robots.txt باید در روت اصلی سایت قرار بگیرد. چرا که موتور جست و جو در بررسی اولیه فقط و فقط صفحه اصلی سایت را بررسی میکند و اگر فایل مورد نظر را در روت پیدا نکند کل محتوی فایل شما را ایندکس میکند. 

ساختار کلی فایل Robots.txt چیست ؟ ( توضیحات تکمیلی در ادامه مطلب)

ادامه مطلب…