robots.txt

[hakimalireza]

درود
مدیران زحمت بکشند اگر آموزش به درد بخور بود به بخش آموزش منتقل کنند.
بعد از اینکه دیدم در سایت خبری از مباحث مربوط به "robots.txt" نیست خودم دست به کار شدم و فایل رو درستش کردم.
اهمیت این فایل بسیار مهمه و حتی خود آموزش گوگل یکی از مباحث مهم رو به این بخش اختصاص داره. این فایل روبات به حساب نمیاد اما یکی از کاتولیزور های جستوجو محسوب میشه و به عنوان گیت ورودی سایت شما برای موتور جستوجو گر به حساب میاد و باعث میشه موتور های جستوجو با راهنمایی بیشتری از سوی شما سایت شما رو تحلیل کنند.
1- فایل زیر رو دانلود و بروی رایانه ی خود بریزید
2- بعد از اینکه فایل رو دانلود کردید فایل رو با برنامه "WordPad" باز کنید (توصیه میشه با "NotePad" کار نکنید)
3- آخرین خط برنامه رو در نظر بگیرید، دو حالت برای شما اتفاق می افتد که:
1-3- شما از پلاگین فوق العاده google seo استفاده می کنند و تنظیمات بخش آدرس در قسمت "Google Seo Sitemap" رو تغییر ندادن فقط به جای yoursite.com آدرس سایت خودشون رو قرار بدن
2-3- شما از پلاگین گوگل سئو استفاده نمی کنید (که قطعاً به ضرر شماست) و یا تنظیمات مربوط به آدرس در قسمت "Google Seo Sitemap" رو تغییر دادین باید قسمت روبروی " :Sitemap" رو پاک کنید و آدرس کامل نقشه سایت (Sitemap) رو قرار بدین (شروع با //:http)
در هر صورت روبروی عبارت " :Sitemap" باید آدرس نقشه سایت قرار بگیرد
4- فایل رو در روت هاستتون قرار بدید و دسترسی اون رو باز بگذارید (مثلاً 644 (بستگی به سرور شما دارد))
5- برای اطمینان یکبار به آدرس سایت خود رفته و در انتعای آدرس عبارت "robots.txt/" رو وارد کنید در این صورت باید فایل تکست روبات را مشاهده کنید مانند http://www.shamsipour.ir/robots.txt
به یاد داشته باشید اسم فایل حتماً باید robots.txt باشد تا عمل کند.


robots.txt - 1.5 Kb

با سپاس
یا علی

[samal]

درود
مدیران زحمت بکشند اگر آموزش به درد بخور بود به بخش آموزش منتقل کنند.
بعد از اینکه دیدم در سایت خبری از مباحث مربوط به "robots.txt" نیست خودم دست به کار شدم و فایل رو درستش کردم.
اهمیت این فایل بسیار مهمه و حتی خود آموزش گوگل یکی از مباحث مهم رو به این بخش اختصاص داره. این فایل روبات به حساب نمیاد اما یکی از کاتولیزور های جستوجو محسوب میشه و به عنوان گیت ورودی سایت شما برای موتور جستوجو گر به حساب میاد و باعث میشه موتور های جستوجو با راهنمایی بیشتری از سوی شما سایت شما رو تحلیل کنند.
1- فایل زیر رو دانلود و بروی رایانه ی خود بریزید
2- بعد از اینکه فایل رو دانلود کردید فایل رو با برنامه "WordPad" باز کنید (توصیه میشه با "NotePad" کار نکنید)
3- آخرین خط برنامه رو در نظر بگیرید، دو حالت برای شما اتفاق می افتد که:
1-3- شما از پلاگین فوق العاده google seo استفاده می کنند و تنظیمات بخش آدرس در قسمت "Google Seo Sitemap" رو تغییر ندادن فقط به جای yoursite.com آدرس سایت خودشون رو قرار بدن
2-3- شما از پلاگین گوگل سئو استفاده نمی کنید (که قطعاً به ضرر شماست) و یا تنظیمات مربوط به آدرس در قسمت "Google Seo Sitemap" رو تغییر دادین باید قسمت روبروی " :Sitemap" رو پاک کنید و آدرس کامل نقشه سایت (Sitemap) رو قرار بدین (شروع با //:http)
در هر صورت روبروی عبارت " :Sitemap" باید آدرس نقشه سایت قرار بگیرد
4- فایل رو در روت هاستتون قرار بدید و دسترسی اون رو باز بگذارید (مثلاً 644 (بستگی به سرور شما دارد))
5- برای اطمینان یکبار به آدرس سایت خود رفته و در انتعای آدرس عبارت "robots.txt/" رو وارد کنید در این صورت باید فایل تکست روبات را مشاهده کنید مانند http://www.shamsipour.ir/robots.txt
به یاد داشته باشید اسم فایل حتماً باید robot.tx باشد تا عمل کند.


robots.txt - 1.5 Kb

با سپاس
یا علی

سلام
دستتون درد نکنه ولی چرا سایت های مرجع خیلی از این کار استقبال نکردمد مثلا همین مای بی بی ایران همچین فایلی نداره
مرجع انگلیسی هم فقط یه خط داره
User-agent: *
Disallow: /download/

من خودم این فایل را مدتی اضافه کردم در گوگل صفحات سایتم دیرتر ایندکس میشد
ممنون میشم دوستان راهنمایی کنند
با س÷اس

[lab]

سلام
دستتون درد نکنه ولی چرا سایت های مرجع خیلی از این کار استقبال نکردمد مثلا همین مای بی بی ایران همچین فایلی نداره
مرجع انگلیسی هم فقط یه خط داره
User-agent: *
Disallow: /download/

من خودم این فایل را مدتی اضافه کردم در گوگل صفحات سایتم دیرتر ایندکس میشد
ممنون میشم دوستان راهنمایی کنند
با س÷اس

اکثر سایت ها توجه نمیکنن به دلایل زیادی:بعضی ها نمیدونن،ولی اکثرا میزارن گوگل یا موتور جستجو خودش به همه جای سایت سرک بکشه و خود به خود وقتی دسترسی نداشته باشه خوب معلومه دیگه مثلا گوگل تو mybb به صورت پیشفرض به عنوان مهمان شناخته میشه و خوب مهمان هم نمیتونه پست بده،ایمیل بفرسته و امتیاز بده،تو بعضی از دستورات بالایی جستجوگر منع شد از این کارها(صفحه سفید robots.txt یا نداشتن ان به این معنیه که موتور جستجوگر همه جاها رو ایندکس کنه )

در مورد سایت مرجع انگلیسی و فایل robot اونها هم همونطور که معلومه کاملا درست به کار برده همونجوری که ادمینش خواسته(همه موتو رها از download منع شدند) منطقیه

[gnt]

آره اما مثلا اگه یه سایتی باگ mysql داشته باشه با یه موتور جستجو راحت میشه اونو پیدا کرد و بهش نفوز کرد اگه جلئیه سرچ برای یه سری صفحات رو گرفت خیلی خوب میشه
خداروشکر تصویر امنیتی مای بیبی که من ندیدم رباتی هکش کنه اما تو vb هرکی بخواد (نمی دونم چه جوری) اسپمر میندازه ظرف 5 دقیقه کل هاست رو پر میکنه

[hakimalireza]

آره اما مثلا اگه یه سایتی باگ mysql داشته باشه با یه موتور جستجو راحت میشه اونو پیدا کرد و بهش نفوز کرد اگه جلئیه سرچ برای یه سری صفحات رو گرفت خیلی خوب میشه
خداروشکر تصویر امنیتی مای بیبی که من ندیدم رباتی هکش کنه اما تو vb هرکی بخواد (نمی دونم چه جوری) اسپمر میندازه ظرف 5 دقیقه کل هاست رو پر میکنه

دوست عزیز حتماً به این پست که ساخته ی منه سر بزن حتماً حتماً پشیمون نمیشی. اون موقع متوجه میشی که captcha مای بی بی مشکل داره
http://community.mybbiran.com/thread-11615.html
با سپاس
یا علی

[mohana]

دوست عزیز فایلی که گذاشتید از آپلود سنتر حذف شده.

[Amin Yaghubi]

میتونید از آدرس زیر کد هارو بردارید

http://1mobilez.ir/robots.txt