سلام ،
ربات ها فایل robots.txt رو مطالعه می کنند و جاهایی که اجازه وارد شدن و نشدن رو دارند متوجه میشن ، کدی که شما الان استفاده میکنی در خط اول نقشه سایت رو به رباط اطلاع میده و کدهای پایینش هم میگه رباطها اجازه دسترسی به همه نقاط انجمن رو دارند.
حالا این خوبه یا بد ؟
مطمئنا خوب نیست،به عنوان مثال گوگل به عنوان مهمان وارد انجمن شما میشه و بر روی دکمه "ارسال پاسخ" یا "ایجاد موضوع" کلیک کنه ( newthread.php یا newreply.php ) ، در این صورت از اونجایی که به عنوان مهمان وارد میشه نمیتونه موضوع یا پاسخ ارسال کنه و این خطا رو به عنوان ارور 403 ، Access denied ثبت میکنه یعنی به من اجازه دیدن این صفحه داده نشد،این اصلا خوب نیست پس بهتره در فایل robots.txt به گوگل بگیم شما حق ورود به صفحه newthread.php و newreply.php رو نداری،با استفاده از این کدها :
کد:
Disallow: /newreply.php
Disallow: /newthread.php
ضمنا گوگل برای هر موضوع جدید این رو ثبت میکنه ، من این موضوع رو نمیدونستم و نتیجه اش این شد،به این عکس دقت کنید :
دقت کنید برای هر موضوع و پاسخی که موفق نشده یک ارور ثبت کرده :
پس همینطور که دیدی برای جلوگیری از این مشکل باید فایل robots.txt بر روی سایت قرار بگیره .
ضمنا بعضی از پلاگین ها در تنظیمات خودشون گزینه پنهان بودن از موتورهای جستجو رو دارند که شما میتونی بر روی "خیر" تنظیم کنی . فایلی که دوستمون قرار داد استاندارد مای بی بی هست فقط شما باید آدرس نقشه ات رو در اون فایل قرار بدی،به این صورت :
کد:
Sitemap: http://www.musicsazan.ir/sitemap-index.xml
فایل robots.txt رو حذف کنید ، سپس کدهای زیر رو در یک فایل txt با اسم robots ذخیره کنید و در جایی که انجمن نصب شده آپود کنید که شما چون توی روت نصب کردی باید در روت آپلود کنی :
کد:
Sitemap: http://www.musicsazan.ir/sitemap-index.xml
User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Allow: /