مشکل ایدکس شدن محتویات اضافی

[صالح غلامیان]

سلام

دوستان چیکار کنم که گوگل محتویات اضافی مطالب انجمن مثل: ارسال های تازه -برو به آخرین ارسال خوانده نشده-ویرایش پست-آواتار کاربران و... رو ایندکس نکنه بع تصویر زیر نگاه کنید

[emir.yanliz]

از طریق robots.txt اجازه ایندکس اخرین ارسال ها و ... نده

[صالح غلامیان]

داداش بلد نیستم رباط تکست کجا قرار داره چه طوری اینکارو بکنم؟

[emir.yanliz]

داداش وقتی تو تاپیک چند جمله ای نباشه گوگل مال پست بیت هارو میخونه
پس نمیشه کاریش کرد

ولی تو باز برا اینکه روبات ها به صفحه هایی که نمیخوای خونده بشه
از robot.txt استفاده کن



این robot.txt شماست
http://musicsazan.ir/robots.txt

تو روت می تونی ادیتش کنی

اینم یه نمونه

کد:

User-Agent: *
Disallow: /captcha.php
Disallow: /member.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Allow: /

راستی sitemap هایی که گوگل سئو برات درست کرده رو هم بذار بالا این کدا تا بهتر ایندکس بشه مطالبت

[صالح غلامیان]

ممنون داداش تو ربات تکست من فقط اینا هستش

[align=left]

کد:

Sitemap: http://www.musicsazan.ir/sitemap-index.xml

User-agent: *
Allow: /

الان این کدا رو که شما دادین را با اینا جایگزین کنم مشکل حل میشه؟
و یک سوال اینکه اگه اجازه ندم گوگل اون چیزایی که گفتم رو ایندکس کنه برای سئو خوبه ؟یا گوگل قهر میکنه

[صالح غلامیان]

سلام

دوستان من این سوال رو خیلی وقته پرسیدم و هنوز به جواب قطعی نرسیدم.

ببینید الا مثلا من یک پست میزنم و کلی مطلب تو اون پست مینویسم اما گوگل بیشتر به جای اینکه مطالب رو ایندکس کنه میره دکمه هایی نظیر : نقل قول - سپاس - اعتبار کاربر - نام کاربر و.... رو ایندکس میکنه.

اخه ایندکس شدن این چیزا که فایده ای نداره من میخوام کاری کنم رباط گوگل این چیزا رو ایندکس نکنه. الان این کدهایی که آقا امیر گذاشتن رو بزارم مشکل حل میشه

لطفا راهنمایی کنید

با تشکر

[navidahanj]

سلام ،

ربات ها فایل robots.txt رو مطالعه می کنند و جاهایی که اجازه وارد شدن و نشدن رو دارند متوجه میشن ، کدی که شما الان استفاده میکنی در خط اول نقشه سایت رو به رباط اطلاع میده و کدهای پایینش هم میگه رباطها اجازه دسترسی به همه نقاط انجمن رو دارند.

حالا این خوبه یا بد ؟

مطمئنا خوب نیست،به عنوان مثال گوگل به عنوان مهمان وارد انجمن شما میشه و بر روی دکمه "ارسال پاسخ" یا "ایجاد موضوع" کلیک کنه ( newthread.php یا newreply.php ) ، در این صورت از اونجایی که به عنوان مهمان وارد میشه نمیتونه موضوع یا پاسخ ارسال کنه و این خطا رو به عنوان ارور 403 ، Access denied ثبت میکنه یعنی به من اجازه دیدن این صفحه داده نشد،این اصلا خوب نیست پس بهتره در فایل robots.txt به گوگل بگیم شما حق ورود به صفحه newthread.php و newreply.php رو نداری،با استفاده از این کدها :

کد:

Disallow: /newreply.php
Disallow: /newthread.php

ضمنا گوگل برای هر موضوع جدید این رو ثبت میکنه ، من این موضوع رو نمیدونستم و نتیجه اش این شد،به این عکس دقت کنید :

دقت کنید برای هر موضوع و پاسخی که موفق نشده یک ارور ثبت کرده :

پس همینطور که دیدی برای جلوگیری از این مشکل باید فایل robots.txt بر روی سایت قرار بگیره .

ضمنا بعضی از پلاگین ها در تنظیمات خودشون گزینه پنهان بودن از موتورهای جستجو رو دارند که شما میتونی بر روی "خیر" تنظیم کنی . فایلی که دوستمون قرار داد استاندارد مای بی بی هست فقط شما باید آدرس نقشه ات رو در اون فایل قرار بدی،به این صورت :

کد:

Sitemap: http://www.musicsazan.ir/sitemap-index.xml

فایل robots.txt رو حذف کنید ، سپس کدهای زیر رو در یک فایل txt با اسم robots ذخیره کنید و در جایی که انجمن نصب شده آپود کنید که شما چون توی روت نصب کردی باید در روت آپلود کنی :

کد:

Sitemap: http://www.musicsazan.ir/sitemap-index.xml

User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*

Allow: /

[صالح غلامیان]

ممنون دوست من خیلی کمک کردید حالا من این کدها رو در ربات تکست جای گذین کدهای قبلی کنم کافیه دیگه؟
یا باید یک فایل ربات تکست دیگه بسازم و قبلی رو حذف کنم؟

[jan123]

فرقی نداره