مشكل در robots.txt

[talareagahi]

سلام.گوگل برام ايميل داده بشرح زير.ميشه راهنمايي كنيد !!!


http://forum.talareagahi.ir/ Googlebot can't access your site
January 20, 2014

Over the last 24 hours, Googlebot encountered 7 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.

[Amin Yaghubi]

درود

لینک انجمن ؟

[talareagahi]

http://forum.talareagahi.ir/index.php
زنده باشيد

[talareagahi]

يزرگواران كسي هست كه راهنماييم كنه؟

[firstboy000]

چیزی که مسلم هست از فایل روبوت هست.محتوی فایل رو قرار بدید تا چک بشه.

[talareagahi]

ظاهرا اصلا سايتم ربوت تكست نداره چون وقتي به آدرس http://forum.talareagahi.ir/robots.txt ميرم پيغام ميده:
Internal Server Error

The server encountered an internal error or misconfiguration and was unable to complete your request.

Please contact the server administrator, webmaster@forum.talareagahi.ir and inform them of the time the error occurred, and anything you might have done that may have caused the error.

More information about this error may be available in the server error log.

Additionally, a 500 Internal Server Error error was encountered while trying to use an ErrorDocument to handle the request.
------
فايل روبوت رو چه جوري بنويسم و كجا قرار بدم؟

[firstboy000]

فایلتون موجود هست.از ساب دامین نباید وارد میکردید.توی روت هاست هستش.
محتوی فایلتون ایناست اگر اشتباه نکنم.

کد:

User-agent: *
Disallow: /cgi-bin/
Disallow: /coms.php

با این جا بجا کنید

کد:

User-Agent: *
Disallow: /attachment.php
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Allow: /

[talareagahi]

البته محتواي فايلي كه فرموديد هست براي http://www.talareagahi.ir/ هستش .

[firstboy000]

خب بله همونو گفتم.تا جایی هم که اطلاع دارم کل سرویس سایت با یه روبوت کار میکنه.
شما تست کنید اگر دوباره پیغام خطا داشت بگید.
میتونید برای قسمت ساب دامنیتون یدونه دیگه هم ایجاد کنید. و اون نوشته هارو توش بذارید.ببیند مشکل برطرف میشه یا نه.

[talareagahi]

تست رو انجام دادم و كد هايي رو كه فرموده بوديد رو گذاشتم و در گوگل وبمستر Fetch as Google رو انجام دادم ولي متاسفانه باز خطا داد