Защищено: robots.txt

Осознал, что сим файлом на сайте business-seminars.org придется обзавестись.

Источник: размышления над блогом Ласто

Причина: можно “ручками” собирать “бизнес-семинары Красноярск”, “ипотека Омск”, “кредиты Казань” - но офигеешь и состаришься.
Значит, запускаем Гуглового референта - то что надо, мастер Ласто навалял его недавно, тенденциии носятся в воздухе.
НО!.. В том же ластоблоге написано, что Яндекс тупо-нагло банит сайты, если контент на них генерится подобными программулями. (Правда, если новости берутся с Яндекса, тогда он добрый, но это хилый источник новостей.)

Надо всем угодить. “Фасад” сайта делаю ручками, скармливаю Яндексу,
Оуоль-референт в отдельной папке, открыт для Гугля, запрещен для роботов Яндекса. Вот это и надо прописать в robots.txt. Элементарно.

Естессно, плоды работы референта можно скопировать в основную часть сайта в виде статичных файлов. Архив. Свежесть новостей меня не колышет.
Ручками скопировать. Думаю, не надорвусь, впрочем, жизнь покажет, каковы трудозатраты, но явно легче, чем самому шерстить по куче кейвордов и фраз.

P.S. Кроме новостей, можно и ручками понадергать из серпа … интересно, аэто можно автоматизировать? Вряд ли, только человек видит черные доры, а автоссылки на них с моего сайта чреваты.

Про robots.txt

http://www.seo.su/articles.php?id=89
С повторами, но всё есть.

http://robotstxt.org.ru/ChaVo
Водянистый.

http://www.google.ru/support/webmasters/bin/topic.py?topic=8475
Вникнуть после освоения азов

Оставьте свой отзыв!

Вам нужно войти, чтобы оставить комментарий.