Советую прочитать до конца

Яндекс опасен и он знает это!

У Вас есть сайт для людей (СДЛ), он у Вас белый и пушистый, на нем нет дорвеев и клоакинга, весь контент только оригинальный, на нем нет продажных ссылок, он не нарушает авторские права, его тематика далека от темы "сайта для взрослых" и он, вообще, никак не нарушает российское законодательство. И Вы абсолютно уверены, что ему не грозит бан со стороны поисковых систем. А зря Вы так уверены! Вашему сайту грозит бан от Яндекса!

В это трудно поверить, но это так. Действительно Yandex иногда банит нормальные сайты не нарушающие его лицензионное соглашение. Сразу скажу, что делает он это не по злому умыслу, а из-за своих глюков, багов и других недоработок. В большинстве случаев эти ошибки быстро исправляются и после очередного апа сайт снова появляется в индексе Яндекса.

Но есть в истории Яндекса два примера, когда ошибка не исправлялась долгое время и Yandex упорствовал в своей неправоте. Я говорю здесь, на всякий случай, в прошедшем времени, потому что в тот момент, когда Вы будете читать эти строки, возможно, эти проблемы уже будут решены. Даже в тот момент, когда я писал эту статью, я не знал, решены эти проблемы или они остались. Проверка таких вещей на своей шкуре обходится слишком дорого. Поэтому я опишу здесь эти две проблемы с поисковой системой Yandex так, как с ней столкнулись многие вэбмастера и дам рецепты решения этих проблем.

"Береженного бог бережет". Лучше знать о возможных неприятностях со стороны Яндекса и заранее подстраховаться, чтобы не наступать на те самые грабли, на которые наступило уже огромное количество вэбмастеров.

Зеркало с www

Первая проблема связана с написанием трех букв www перед доменным именем сайта.

Все знают, что для того, чтобы зайти на какой-нибудь сайт в браузере надо набрать доменное имя сайта, причем есть два варианта доменного имени. Одно с www, другое без www. Сейчас уже мало кто помнит, зачем нужна такая избыточность, зачем нужен второй вариант с www, когда можно доменные имена сайтов набирать без www.

На самом деле, доменное имя с www это поддомен основного домена. Если у Вас есть сайт, скажем, с именем site.ru, то у него могут быть сайты, расположенные в поддоменах, скажем, в таких subdomain1.site.ru, subdomain2.site.ru и др. Сайты в поддоменах и в основном домене это разные сайты. Но есть один поддомен с зарезервированным именем www.site.ru, сайт которого является зеркалом сайта, который сидит в основном домене site.ru. Точнее говоря это сам вэбмастер может решить, какой из этих сайтов будет главным, а какой зеркалом.

Кроме того, аналогичные поддомены образуются и у обычных поддоменов. Так, по умолчанию, считается, что сайты с именами subdomain.site.ru и www.subdomain.site.ru одинаковы.

По умолчанию, на большинстве хостингов при каких-то изменениях на сайте site.ru автоматически меняется и сайт www.site.ru и, наоборот. Но в принципе, многие хостинги допускают существование разных сайтов по этим двум адресам. Или допускают сделать отсутствие сайта в поддомене с www или, наоборот, без www. Например, в момент написания этой статьи у сайта otvet.mail.ru не существует зеркала с www. По адресу www.otvet.mail.ru вообще нет никакого сайта. Также в момент написания этой статьи, сайт Федеральной Налоговой службы, наоборот, открывается, если его набрать только с www, как www.nalog.ru. Если в браузере набрать его просто как nalog.ru, то зайти на этот сайт невозможно. (Лучше с такими вещами не экспериментировать, чтобы Вас не считали идиотом. Мои знакомые целый год не догадывались как им зайти на сайт налоговой. А когда узнали, то страшно обругали всю налоговую.)

Но, по умолчанию, считается, что сайты с www и без www одинаковы. И так считают все поисковые системы. Все, кроме Яндекса. Ибо наша страна всегда идет своим собственным путем. Yandex считает, что, по умолчанию, это разные сайты.

В результате, с Яндексом возникает порой следующая ситуация. Робот Яндекса вдруг обнаруживает, что на сайте site.ru находится неоригинальный контент, там копия сайта www.site.ru. Поэтому сайт site.ru надо выкинуть из индекса, чтобы не дублировать дважды информацию в выдаче поисковика. Если одновременно с этим тот же самый робот Яндекса (или его другой робот) обнаружит, что на сайте www.site.ru тоже неоригинальная информация, а точная копия сайта site.ru, то одновременно будет принято решение и о том, чтобы выкинуть из индекса и сайт www.site.ru. В результате, в бан Яндекса попадает и сайт с www и сайт без www.

Если в такой ситуации Вы напишите письмо в Yandex роботу Платону, то получите автоматический ответ, что на сайте site.ru находится неоригинальный контент. Это, если Вы спросите в чем причина бана сайта site.ru. Если Вы спросите, в чем причина бана сайта www.site.ru, то Вы тоже получите ответ, что на сайте www.site.ru неоригинальный контент.

Однако, если Вы будете все страницы своего сайта проверять на наличие копий по сайтам поиска плагиата, то нигде не найдете плагиата (кроме своего же сайта с www или без www).

Чтобы не попасть в такую неприятную ситуацию, надо в файле robots.txt обязательно в директивах для Яндекса указать основной домен.
User-agent: Yandex
Host: www.site.ru
если Вы хотите, чтобы основным сайтом Яндекс считал сайт с www.
Или
User-agent: Yandex
Host: site.ru
если Вы хотите, чтобы основным сайтом Яндекс считал сайт без www.

Здесь первая строка User-agent: Yandex указывает на то, что все следующие директивы до пустой строки относятся только к поисковой системе Yandex. Если в Вашем файле robots.txt уже есть такая строка, то повторять ее два раза не надо. Просто вставьте под ней строку с нужной директивой Host.

Такое явное указание имени основного сайта в файле robots.txt не дает роботам Яндекса запутаться. Они явно увидят, на каком сайте первичный контент, а на каком зеркало.

Если Ваш нормальный сайт попал в бан по описанным здесь признакам, то сначала надо переделать файл robots.txt на сайте, а затем неоднократно писать в Yandex письма с объяснением ситуации, что контент уникальный и сервисы поиска плагиата не находят кипий страниц Вашего сайта. Ваша настойчивость приведет к тому, что Ваш сайт проверят вручную и ответят Вам тоже живые люди (а не автоответчик), что сайт появится в индексе после очередного апа. И в течение месяца Ваш сайт действительно вернется в индекс Яндекса.

Если это не произойдет, то значит причина бана не в этом или не только в этом. То есть Ваш сайт на самом деле не такой белый и пушистый, как Вам кажется.

Бесплатный сайт

Следующая проблема с Яндексом связана с тем, что Yandex порой некорректно определяет сайт с оригинальным контентом. Поисковик Гугл очень хорошо знает на каком сайте первым появился какой-то определенный контент, а на каких сайтах этот же контент появился позже. Сайт с первичным контентом пользуется преимуществом в выдаче поисковика по характерным фразам из данного контента (при прочих равных условиях). Проще говоря, если на сайте неоригинальный контент, то сайт подвергается относительной пессимизации в выдаче. Пессимизация идет относительно того сайта, где располагается оригинальный контент. Вот почему не следует тупо копировать чужие материалы на свой собственный сайт.

Но в отличие от Гугла, Yandex при определении сайта с оригинальным контентом почему-то пытается решать этот вопрос не по времени появления материалов на сайте, а по тому, что из себя представляет сам сайт. Если на каком-то плохом (с точки зрения Яндекса) сайте появляется какая-нибудь оригинальная статья, а затем, спустя какое-то время копия этой статьи появляется на хорошем (с точки зрения Яндекса) сайте, то Yandex на полном серьезе может посчитать, что оригинальная статья находится на "хорошем" сайте, а копия на "плохом". Дескать, не доглядел с самого начала.

В результате, "хороший" сайт может отправить "плохой" сайт если не в бан, то по крайней мере в пессимизацию выдачи Яндекса по поисковому запросу. Все что для этого нужно, это полностью скопировать весь "плохой" сайт на "хороший".

С точки зрения Яндекса более "плохими" сайтами являются сайты, находящиеся в бане у Яндекса, более молодые сайты, сайты на бесплатных хостингах с бесплатными доменами третьего уровня, сайты с разного рода нарушениями лицензионного соглашения, то есть пессимизируемые в выдаче.

Особую опасность для Вас представляют Ваши сайты на бесплатном хостинге с бесплатным доменом третьего уровня, особенно, если такой сайт у Вас недавно.

Вот что может случиться с таким сайтом. Вэбмастер более старого сайта на платном хостинге с доменом второго уровня может скопировать себе все оригинальные материалы с Вашего сайта. При этом Yandex посчитает, что это, наоборот, Вы скопировали с "хорошего" сайта материалы на свой сайт. Значит Ваш сайт не представляет никакой особой ценности и его можно спокойно пессимизировать в выдаче или даже целиком отправить в бан, чтобы зря не дублировать информацию в индексе Яндекса.

Вероятность такого события очень сильно увеличивается, если, например, Ваш бесплатный сайт имеет доменное имя, типа site.narod.ru или site.ucoz.ru, а чужой сайт имеет имя site.ru, причем сайт site.ru появился раньше Вашего бесплатного сайта. В таких случаях Yandex может выдать особую дикость. Например, были случаи, когда сайт с именем, типа site.narod.ru в один прекрасный день вылетал из престижного каталога Яндекса, а на его месте аккуратно оказывался сайт site.ru, который был точной копией сайта site.narod.ru. Когда возмущенный владелец бесплатного сайта писал письмо в службу поддержки Яндекса, то в ответ получал убийственное письмо, в котором говорилось о том, что миграция сайтов с бесплатных хостингов на платные и с доменов третьего уровня на второй является естественным процессом. Ну то есть ему как бы вежливо намекали, что считают его владельцем сайта site.ru и что подозревают его в том, что он хочет запихать в их каталог сразу два своих одинаковых сайта. Ну, конечно, после долгих разбирательств правда восторжествовала. Но сам факт таких событий очень красноречив.

Чтобы не попасть в такую ситуацию рецепт только один. Никогда не держите на бесплатных хостингах в бесплатных доменах третьего уровня свои очень важные сайты, которые требуют раскрутки. Используйте бесплатные сайты только для всякой ерунды и экспериментов. Для сайтов, которыми Вы дорожите, есть платные хостинги и домены второго уровня. Их цена за год меньше, чем цена коммунальных услуг за месяц. А скупой платит дважды.

http://king.nanoquant.ru/danger.html