روش ساخت robots.txt

[alimasumi]

سلام دوستان
چجوری میشه یه robots.txt درست کرد
روشش چیه
متنش چیه

ممنون از همگی

[hamidtbt]

کد:

Sitemap: http://ireshop.net/forum/sitemap-index.xml

User-Agent: *
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendthread.php
Disallow: /forum/task.php
Disallow: /forum/usercp.php
Disallow: /forum/usercp2.php
Disallow: /forum/calendar.php
Disallow: /forum/*action=emailuser*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*year=*
Disallow: /forum/*action=weekview*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*sort=*
Disallow: /forum/*order=*
Disallow: /forum/*mode=*
Disallow: /forum/*datecut=*
Disallow: /forum/admin
Disallow: /forum/image
Disallow: /forum/install
Disallow: /forum/jscripts
Disallow: /forum/calendar
Disallow: /forum/attachment.php
Disallow: /forum/ratethread.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/search.php
Disallow: /forum/newreply.php
Disallow: /forum/private.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/forumdisplay.php
Disallow: /forum/editpost.php
Disallow: /forum/showthread.php
Disallow: /forum/sendthread.php
Disallow: /forum/printthread.php
Disallow: /forum/image
Disallow: /forum/jscripts
Disallow: /forum/calendar
Disallow: /forum/attachment.php
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/private.php
Disallow: /forum/printthread.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/sendthread.php
Disallow: /forum/task.php
Disallow: /forum/usercp.php
Disallow: /forum/usercp2.php
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php

Allow: /

اینو من برای سایت خودم ساختم فقط بجای پوشه فروم پوشه فروم خودت بزن یعنی
سایت من فرومش اینجوری forum.ireshop.net پس تمامی فایل تو پوشه فروم هست اگه برای شما تو رون اصلی هست باید اینجوری باشه

Sitemap: http://ireshop.net/forum/sitemap-index.xml
User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: /admin
Disallow: /image
Disallow: /install
Disallow: /jscripts
Disallow: /calendar
Disallow: /attachment.php
Disallow: /ratethread.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /private.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: display.php
Disallow: /editpost.php
Disallow: /showthread.php
Disallow: /sendthread.php
Disallow: /printthread.php
Disallow: /image
Disallow: /jscripts
Disallow: /calendar
Disallow: /attachment.php
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /private.php
Disallow: /printthread.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /printthread.php
Disallow: /private.php

Allow: /

بجای اینم آدرس سایت را بزن Sitemap: http://ireshop.net/forum/sitemap-index.xml
Sitemap: http://آدرس سایت/sitemap-index.xml

[GroobeZ]

سلام عزیز

شما باید توی قسمت وبمستر گوگل ثبت نام کنید و سایتتون رو ثبت کنید.

بعد در قسمت Site configuration و در قسمت Crawler access میتونید فایل robots.txt رو بسازید و توی هاستتون آپلود کنید.

ثبت نام توی این قسمت از امکانات گوگل کلی اطلاعات از سایت شما جمع اوری میکنه . مثلا تگ ها و کی ورد ها ، لینک های ثبت شده در گوگل و ...

البته یک سری تنظیمات داره که باید انجام بدین.
اینم ادرسش ... البته میتونید با اکانت جی میل خودتون وارد این قسمت بشید و سایتتون رو ثبت کنید.

کد:

https://www.google.com/webmasters

موفق باشید.

[alimasumi]

توی گوگل رفتم و عضوم ولی برای ساختش تنظیمات داره میشه تنظیماتش رو بگید

[hamidtbt]

شما ابتدا به آدرس زیر میری.
https://www.google.com/webmasters
سپس با نام کاربریت وارد گوگل وبمستر میشی از دکمه add a site سایت خود را معرفی میکنی

بعد به یکی از 4 روش زیر

Add a DNS record to your domain's configuration

Link to your Google Analytics account

Upload an HTML file to your server

Add a meta tag to your site's home page

باید فایلی که گوگل میده را اضافی کنی روش سوم راحت و بهترین هست منم روش سوم را توضیح میدم

روش سوم

وقتی روش کلیک کنید زیرش یه پنجره باز میشه که باید فایل موجود را دانلود و سپس در هاستت آپلود کنی

1 Download this HTML verification file. [google1eb7cccc403a43d1.html]

Upload the file to http://your site.com/

Confirm successful upload by visiting http://your site.com/google1eb7cccc403a43d1.html in your browser.

در آخر روی این دکمه باید کلیک کنی
Click verify below
اگر مراحل را درست رفته باشی وارد تنظیمات گوگل وبمستر میشی

بعدش وقتی میری تو قسمت سایت مپ و سپس Crawler access
اونجا طبق گفته های کاربر GroobeZ در ارسال 3 همین تاپیک پیش برو .

[alimasumi]

   

من چیزهای که اینجا باید نوشته بشه رو نیاز دارم
راهنمایی میکنید

[hamidtbt]

دوست عزیز گفتم که باید توی یه فایل robots.txt بسازی توش اینا را ذخیره کنی

کد php:

Sitemap: http://ireshop.net/forum/sitemap-index.xml
User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: /admin
Disallow: /image
Disallow: /install
Disallow: /jscripts
Disallow: /calendar
Disallow: /attachment.php
Disallow: /ratethread.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /search.php
Disallow: /newreply.php
Disallow: /private.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: display.php
Disallow: /editpost.php
Disallow: /showthread.php
Disallow: /sendthread.php
Disallow: /printthread.php
Disallow: /image
Disallow: /jscripts
Disallow: /calendar
Disallow: /attachment.php
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /private.php
Disallow: /printthread.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /printthread.php
Disallow: /private.php

Allow: / 


به عنوان مثال اگه انجمن تو روت اصلی نصب اینجوری میشه Disallow: /private.php اگر تو پوشه ساب دامین نصبه Disallow: /nam poshe/private.php

برای خط اول هم همیطور اگه تو روت نصب اینجور میشه
Sitemap: http://addres site/sitemap-index.xml

اگر تو پوشه یا ساب دامین نصبه اینجوری میشه

Sitemap: http://addres site/name poshe/sitemap-index.xml

[behnam9856]

این فایل به چه دردی میخوره؟ یه توضیح در موردش میدین؟

[hamidtbt]

این توضیحات را از یه سایت دیگه گرفم و برای خودم نیست ولی خیلی کامل هست


اطلاعات كاملي در مورد Robot.txt

|موتورهای جستجو وقتی میخوان سایت ها رو برای پیدا کردن اطلاعات ، فایل و یا هر چیز دیگه ای بگردن اول از همه در ریشه (root) سایت ها به دنبال فایلی به اسم robots.txt میگردن (مثلا http://www.site.com/robots.txt ). این فایل به روبوت میگه روبوت کدوم فایل یا دایرکتوریها رو نباید بگرده. به این سیستم محدود سازی در اصلاح The Robots Exclusion Standard میگن.



نکته : روبوت یا روبات یا spider یا robot یا bot که اینجا بهش اشاره می کنم اونی نیست که تو خبر علمی تلوزیون میبینید و دست و پا داره و ... این روبوت ها برنامه هایی هستن که هوشمندانه کار جستجو رو انجام میدن و موجودیت فیزیکی ندارن.



قالب (format) این فایل مخصوصه و قواعد خاص خودش رو داره. این فایل شامل رکوردهایی میشه که هر رکورد شامل دو فیلده : یه خط به اسم User-agent و یک یا چند خط Disallow. که قالبش اینجوریه:



<filed> “:” <value>



این فایل باید در حالت Unix line ender درست شده باشه(این حالت هیچ کاراکتر نامرئی و کنترلی ته هر خط و اینور و اونور فایل ایجاد نمیذاره ، بهتره اگر خواستید این فایل رو بسازید با یه برنامه ساده که فقط کارش ویرایش متن هستش مثل notepad این کارو کنید).





خط User-agent مشخص کننده روبوتی هستش که باید محدودیت ها رو زمان جستجو درنظر بگیره:







اگر روبوت خاصی رو برای ایجاد محدودیت در نظرنداشتیم و خواستیم همه روبوت ها رو در جستجوی سایت محدود کنیم بجای نوشتن اسم روبوت از “*” استفاده می کنیم ، یعنی:







نکته کنکوری : اگر اسم این روبوت ها رو نداشتید کافیه به فایل log سایتتون یه نگاهی بندازید و درخواست هایی که فایل robots.txt رو میخواستن چک کنید. بیشتر موتورهای جستجو اسم های کوتاه و تابلویی برای روبوت هاشون میذارن.





دومین قسمت رکورد شامل Disallow هستش. این خط ها شامل اسم فایل ها و/یا دایرکتوریهایی هستن که روبوت حق گشتن اونها رو نداره. برای مثال ، خط زیر به روبوت میگه که حق گشتن فایل email.htm رو نداره.







با این دستور میشه جستجوی دایرکتوری ها رو هم محدود کرد:









که خط بالا به روبوت جستجوگر میگه حق گشتن دایرکتوری cgi-bin رو نداره.

نکته: در این خطوط میتونید از wildcardها استفاده کنید. مثلا با نوشتن Dissallow : /b*b/ روبوت دایرکتوریهایی که حرف اول و آخرشون b هستش (مثلا bob ، barb ، bxxb) رو نمیگرده. در ضمن میتونید قسمتی از نام فایل و یا دایرکتوری رو بنویسید ، مثلا با نوشتن Disallow : /bob روبوت فایل و دایرکتوریهایی مثل bob.htm ، /bob/index.htm ، /bobdirectory رو نمیگرده.



اگر خط Disallow رو خالی بذارید ، روبوت فرض میکنه که حق گشتن تمامی فایل ها و دایرکتوریها رو داره. در ضمن هر خط Disallow رو باید برای هر روبوتی که میخواهید محدود کنید به کار ببرید. اگر فایل خالی robots.txt رو خالی بذارید یا اصلا نداشته باشید باعث میشه که روبوت محدودیت جستجو نداشته باشه و همه دایرکتوری و فایل ها رو بگرده.



فضاهای خالی و commentها:

هر خطی که در فایل robots.txt با حرف # شروع بشه یا دارای این حرف باشه باعث میشه روبوت به بقیه اون خط توجهی نکنه و اون متن حالت توضیحی پیدا کنه. مثلا:



# in file baraye mahdood kardane robot ha mibashad

Dissallow : bob #tozihat



نکته : بعضی از روبوت ها بخوبی نمی تونن توضیحات رو از دستورها جدا کنن و ممکنه برداشت های متفاوت و غلطی بکنن مثلا در مورد خط دوم ممکنه روبوت خیال کنه که نباید فایل ها و دایرکتوریهایی که شامل bob#tozihat هستن رو بگرده و در زمان جستجو فایلها و دایرکتوریهایی که شامل کلمه bob هستن رو بگرده.

فضاهای خالی در اول خطوط مجاز هستش ، ولی ضروری نیست. یعنی دو خط زیر هیچ فرقی برای روبوت فرقی ندارن:





Disallow : bob



توسعه استاندارد فایل های روبوت:

تو استاندارهای جدیدی که برای این فایل داره وضع میشه کلمات کلیدی و دستورات دیگه هم داره گذاشته میشه (مثل Allow) که این فایل رو مهمتر و کارآمد تر میکنه.



مثال ها:

دو خط زیر باعث میشن که تمام روبوت ها بدون محدودیت بتونن کل فایلها و دایرکتوریهای سایت رو بگردن :





Disallow :



دو خط زیر هم باعث میشن که روبوت ها نتونن فایلها و دایرکتوریها رو جستجو کنن :





Disallow : /



سه خط زیر باعث میشن که روبوت ها نتونن دایرکتوری های cgi-bin و images رو بگردن :





Disallow : /cgi-bin/

Disallow : /images/



دو خط زیر باعث میشه روبات Roverdog اجازه جستجوی فایلها و دایرکتوریها رو نداشته باشه:





Disallow : /



دو خط زیر باعث میشن که روبوت googlebot نتونه فایل (صفحه) cheese.htm رو بگرده:





Disallow : cheese.htm



نکته : بهترین مثالها رو میتونید از فایل های روبوت سایت های بزرگ و معروف مثل cnn ، yahoo ، msn و ... بدست بیارید.



نکته های کنکوری نفوذ:

اگرچه این فایل از دید افراد معمولی و صاحبان سایت ها برای در امان نگه داشتن اطلاعاتشون از دست افراد معمولی و هکرها خوبه ، ولی همینطور که فایل robots.txt باعث میشه روبات ها اجازه دسترسی به فایلها و دایرکتوری های خاص رو نداشته باشن ، باعث میشه تا روبوتها و spider های خاص (مخصوص هکرها) بیشتر از بقیه سایت همون دایرکتوری های محدود شده رو بگردن و همچنین مثلا اگر هکری بخواد یه سایت با آدرس:

http://www.victim.com



رو هک کنه ، قبل از هکر کاری و در مرحله footprinting یه نگاه کوچیکی هم به فایل robots.txt در آدرس :

http://www.victim.com/robots.txt



و فایلها و دایرکتوریهایی که محدود شدن رو بیشتر بگرده و متوجه اون چیزی که نباید بدونه بشه. یادمه یه سایت به همین سادگی هک شد ، یه نگاه به فایل robots.txt و دیدن این خط:







بعدش هم که ... ، خدا بده برکت

نه اکسپلویت و نه آسیب پذیری ، فقط یه آسیب پذیری بود اون هم تو مغز مسئول و ادمین سایت


http://root4.persianblog.com User-agent: User-agent : googlebot User-agent: * Disallow: Disallow : email.htm Disallow : /cgi-bin/ Disallow : bob User-agent : * User-agent: * User-agent: * User-agent : Roverdog User-agent: googlebot Disallow : ftp-pass.txt

---

که البته این به این معنی نیست که روبوتی با دیدن این فایل نتونه به فلان شاخه دسترسی نداشته باشه ...

بیشتر یک نوع باید و نباید اخلاقی محسوب میشه و به سادگی میشه زیر پا گذاشتش.

اطلاعات بیشتر : http://www.searchengineworld.com/rob...s_tutorial.htm

http://www.robotstxt.org/wc/exclusion-admin.htm

[Moh@mm@d]

شما ابتدا به آدرس زیر میری.
https://www.google.com/webmasters
سپس با نام کاربریت وارد گوگل وبمستر میشی از دکمه add a site سایت خود را معرفی میکنی

بعد به یکی از 4 روش زیر

Add a DNS record to your domain's configuration

Link to your Google Analytics account

Upload an HTML file to your server

Add a meta tag to your site's home page

باید فایلی که گوگل میده را اضافی کنی روش سوم راحت و بهترین هست منم روش سوم را توضیح میدم

روش سوم

وقتی روش کلیک کنید زیرش یه پنجره باز میشه که باید فایل موجود را دانلود و سپس در هاستت آپلود کنی

1 Download this HTML verification file. [google1eb7cccc403a43d1.html]

Upload the file to http://your site.com/

Confirm successful upload by visiting http://your site.com/google1eb7cccc403a43d1.html in your browser.

در آخر روی این دکمه باید کلیک کنی
Click verify below
اگر مراحل را درست رفته باشی وارد تنظیمات گوگل وبمستر میشی

بعدش وقتی میری تو قسمت سایت مپ و سپس Crawler access
اونجا طبق گفته های کاربر GroobeZ در ارسال 3 همین تاپیک پیش برو .

همچین مشخصاتی در گوگل وبمسترز وجود نداشت !
حالا اگر که من این رو درست نکنم ، کمتر انجمن جستجو می شه ؟