Форум » Seo » Вопросы по раскрутке » Robots.txt |
Robots.txt |
off-line Добавлено: 2012-Июл-22 - 12:34 | Сообщение #21
У меня вот какой робот:
Quote User-agent: Yandex Disallow: /admin Disallow: /img Host: alokino.ru/ User-agent: Googlebot Disallow: /admin Disallow: /img Host: alokino.ru/ User-agent: * Crawl-delay: 30 Disallow: /admin Disallow: /img Sitemap: http://alokino.ru/sitemap.xml |
off-line Добавлено: 2012-Июл-22 - 12:35 | Сообщение #22
User-agent: Yandex
Allow: /a/ Allow: /stat/ Allow: /index/1 Allow: /index/2 Allow: /index/3 Allow: /index/5 Allow: /index/7 Allow: /index/8 Allow: /index/9 Allow: /panel/ Allow: /admin/ Allow: /secure/ Allow: /informer/ Allow: /mchat Allow: /search Allow: /shop/order/ Sitemap: http://alokino.ru/sitemap.xml Sitemap: http://alokino.ru/sitemap-forum.xml Sitemap: http://alokino.ru/sitemap-shop.xml Добавлено (22.07.2012, 12:35:37) |
off-line Добавлено: 2012-Июл-22 - 12:46 | Сообщение #23
Quote Allow: /stat/ Allow: /panel/ Allow: /admin/ Allow: /mchat Allow: /shop/order/ Sitemap: http://alokino.ru/sitemap-shop.xml Это то зачем в индексе? Вообще ненужный мусор вредит текстовой уникальности сайта. Добавлено (22.07.2012, 12:41:15) Добавлено (22.07.2012, 12:46:41) Сообщение отредактировал MonaX - Воскресенье, 2012-Июл-22, 12:40
|
| |||