+- مرجع پارسی MyBB (https://community.mybbiran.com)
+-- انجمن: ارتباط با شما (https://community.mybbiran.com/forum-44.html)
+--- انجمن: گفت و گوی آزاد (https://community.mybbiran.com/forum-58.html)
+---- انجمن: سایر (https://community.mybbiran.com/forum-60.html)
+---- موضوع: بررسی Robots.txt و یک نمونه ی Robots.txt خوب و سئو برای وردپرس (/thread-2804.html)
بررسی Robots.txt و یک نمونه ی Robots.txt خوب و سئو برای وردپرس - amin20100 - ۱۳۸۹/۷/۶
خیلی ها با فایل robots.txt مشکل دارن اینجا من یه مقاله ی کامل گذاشتم که میتونید برید ببینید این مقاله فقط برای وردپرسی ها نیست و برای همه ی سیستم های مدیریت محتوا کاربرد داره
http://www.javancloob.com/showthread.php?tid=10&pid=12#pid12