Знаете ли вы, что такое клоакинг и как его сделать? Если нет — эта статья для вас. Клоакинг напрямую связан с дорвеями и, уверяю вас, это интересно.
Что такое клоакинг?
Клоакинг (от англ. «прикрытие, мантия») — метод черной поисковой оптимизации, суть которого заключается в показе разных вариантов одной страницы для пользователя и поисковой системы.
Широкое распространение клоакинг получил 5-10 лет назад, когда поисковые алгоритмы были менее совершенными чем сейчас.
Причина появления такого метода простая. Перед владельцами сайтов постоянно стоит проблема баланса между качеством и читабельностью контента для пользователя и его оптимизацией для поисковых систем. Иными словами, чтобы текстовый контент не только был хорош сам по себе и содержанию, но и давал бесплатный органический трафик из поисковых систем (см. также — что такое трафик).
Было время, да и сейчас оно не прошло для тех людей, кто имеет соответствующие навыки — когда проще было генерировать особым образом контент для поисковых систем, а пользователям показывать другую страницу, с целью монетизации трафика.
Таким образом были разделены две важнейшие составные части сайтов — добыча трафика и его монетизация. Причем разделены максимально эффективно, потому что поисковым системам показывался самый «вкусный» контент, а пользователям — самые «вкусные» лендинги и промо страницы.
«Страница для пользователя» при этом оформляется произвольным образом (в зависимости от цели использования клоакинга может даже быть фишинговой или мошеннической). «Страница для поисковых роботов» — полностью соответствует требованиям поисковой оптимизации и даже манипулирует ими, искусственно изменяя некоторые величины подгоняя их под точные значения.
Использование клоакинга в дорвеях убивает сразу двух зайцев. Даже трех — потому что не только контент генерируется для поисковиков в промышленных масштабах нажатием одной кнопки по заранее выставленным настройкам, но и клоакинг подставляется автоматически.
В основном использование клоакинга и работает на автоматизированной основе в дорвеях. Прописывать клоакинг вручную слишком дорогостоящее удовольствие, да и эффективность не та — все-таки дорвей это расходный материал, а если забанят белый сайт с клоакингом — как его потом из бана вытаскивать? Поэтому сфера его применения очень ограничена.
Но с развитием веб-технологий, появился и вполне «белый» клоакинг. Подробнее о видах клоакинга ниже:
- Черный (используется в дорвеях) — я подробно описал его выше: поисковикам показываются одни данные, пользователям — другие.
- Серый — используется на обычных сайтах для редиректа в случае полного или частичного дублирования контента, который мы бы не хотели допускать к индексированию поисковиками и тем более получать ссылки с других сайтов на эти дубли.
- Белый — используется в настоящее время многими сайтами, переадресовывающими пользователей на локальные (географически) или мобильные версии сайта с заботой об удобстве пользователей.
Если сайты перегибают с допустимыми приемами клоакинга — крупнейшие поисковики вправе счесть такие действия нарушением поисковой лицензии, приемом недобросовестной раскрутки сайта и пессимизировать такой сайт. Вплоть до бана.
Как самому сделать клоакинг на сайте?
Теперь о технической стороне вопроса.
Клоакинг сделать несложно. Поскольку браузеры пользователей вместе с каждым посетителем передают такие данные как User-Agent, IP-адрес, то достаточно иметь такую базу чтобы «фильтровать» нужных посетителей. Поисковые роботы тоже имеют свой User-Agent и подписываются им, например: Googlebot, Yandex/1.01.001 и др.
Фильтрация работает следующим образом — читаем юзер-агенты и айпи-адреса входящих посещений. Если юзер-агент робота — подсовываем ему определенную страницу или ничего не подсовываем, ведь роботы видят просто код страницы и не могут определить ее качество (как пользователь или асессор). Если юзер-агент пользователя — показываем ему фрейм, перекрывающий контент страницы для поискового робота — пользователь не увидит код страницы, созданный для ПС.
Используются все три метода фильтрации:
- По User-agent;
- По IP;
- Комбинированный — по user-agent и IP.
В любом случае, для настройки клоакинга у вебмастера должна быть база IP и User-agent. Такие базы продаются, также они заранее встроены в скрипты распределения трафика (TDS).
Примеры клоакинга
Обычно использование клоакинга можно встретить преимущественно в дорвеях.
Но, даже некоторые крупные интернет- и медиа-гиганты не чураются довольно наглого по меркам «усложнения жизни посетителей» клоакинга.
Например, Forbes.com перед посещением главной страницы показывает обязательную рекламу, а если у вас установлен скрипт блокировщика рекламы — вас вообще не пустят на сайт, пока не выключите блокировщик или не купите подписку.
Так и живем — что дозволено Цезарю, не дозволено быку.
Заключение
На дворе 2016 год. Поисковики «дожили» до того, что им дешевле нанять асессоров на аутсорсе (Яндекс.Толока) чем совершенствовать алгоритмы по определению клоакинга. Допустим, ручная проверка асессором стоит 50 копеек, а разработка такого алгоритма — несколько миллионов долларов.
Так поисковики и пресекают клоакинг — неумелый существующими автоматическими алгоритмами роботов, умелый — при помощи асессоров, работающих за еду.
Действия поисковиков понятны — они хотят сделать так, чтобы мошенничества в интернете стало меньше и люди чаще пользовались поисковиками с чистой выдачей.
