Павел Ломакин
Определение и суть
С кликивание или кликфрод – это намеренные многократные нажатия на рекламные объявления конкурентов с целью истощения их бюджета. Иными словами, если конкурент решит вам напакостить – он может просто перейти много-много раз по вашему объявлению, чтобы вы получили неплохой минус из бюджета… Или не может?
Как это делается?
Н а самом деле, с одного ip-адреса учитывается только один клик в сутки, так что злобный недобросовестный соперник со своего домашнего компьютера не может накликать объявление. Конечно, он может попросить своих друзей, знакомых и дальних родственников, но даже все вместе они не сольют рекламный бюджет разом. К тому же, это достаточно трудоёмко.
Е сли с домашнего компьютера и при помощи союзников скликать объявление нельзя, то как тогда можно? Существуют специальные сервисы, биржи фрилансеров и другие «тёмные местечки» где обитают любители кликфрода. Помимо «живых» ручных методов есть вариации с ботами. То есть злоумышленник в любом случае тратит свои средства на то, чтобы лишить вас ваших.
Н е забывайте и о геотаргетинге. Скорее всего, на ваших объявлениях он тоже настроен, а, значит, конкурент или его помощники должны находиться в соответствующем регионе чтобы иметь возможность уводить ваш бюджет. Иначе реклама попросту не будет показана. По этой причине кликфорду сильнее всего подвержена реклама с таргетингом на всю страну, а так же столичные объявления.
Отношение рекламных платформ к кликфроду
К азалось бы – Яндексу или Google такое явление должно быть по нраву, ведь так реклама проходит быстрее, соответственно быстрее отрабатывает свой бюджет. Но крупные корпорации не могут позволить себе портить репутацию, поощряя злоумышленников. Представители компаний неоднократно обозначали нацеленность на долгосрочное сотрудничество и готовность бороться с недобросовестными методами конкуренции.
К стати, в одном из обращений представителей Google мельком была упомянута информация о том, что скликиванию подвержено примерно 15% всех объявлений. Поэтому если в расчётах вы любите точность – при учёте цены клика делайте поправку на кликфрод в размере этих самых 15%.
У вы, Яндекс и Google по понятным причинам не в состоянии отслеживать маленькие объемы скликивания. Десяток «левых» кликов в день – это не те масштабы, которые могут уловить алгоритмы поисковиков.
Как защититься от скликивания?
С амая главная приятная новость заключается в том, что рекламодатели априори находятся под защитой. В системе работают роботы, которые постоянно анализируют статистику на предмет подозрительных кликов. Если факт кликфорда зафиксирован, рекламная площадка вернёт вам деньги за недобросовестные переходы. В этом случае на почту вы получите уведомление о пополнении счёта. Скорее всего, возврат будет для вас сюрпризом, так как большинство рекламодателей попросту не замечают подозрительных действий.
Е сли же вас интересуют активные методы предотвращения диверсий – увы, их нет. Вернее есть, но всего один и очень обширный. В случае, когда вы заподозрили что по объявлению в большом количестве проходят нецелевые клики – можно написать об этом в поддержку Директ или AdWords. Тогда специалисты компании проведут проверку и в случае обнаружения факта скликивания – посчитают ваш убыток и возместят его.
В стаёт логичный вопрос: как распознать кликфрод? К сожалению, с недавних пор Яндекс не предоставляет информацию об ip-адресах, с которых был осуществлён переход по объявлению. Когда была такая возможность – конечно, любые подозрительные действия проверялись моментально. Сейчас же придётся обращаться к статистике. Резкое увеличение крайне коротких «одностраничных» сессий – верный признак того, что где-то здесь нечисто.
Скликивание на сайтах-партнёрах
С корее всего, вы в курсе, что от показа объявления на параллельных площадках, владелец ресурса получает процент с прибыли. Выходит, он как никто другой заинтересован в кликфорде. На этот случай также работают определяющие алгоритмы. Помимо всего прочего, если вы заметили подозрительный траффик с конкретного сайта – просто отключите показ объявления на нём. В настройках кампании вы можете составить список из нежелательных площадок длиной до тысячи пунктов.
Имеет ли это смысл?
З абавно, что скликивание является инструментом с очень сомнительной эффективностью, но на него всё ещё продолжают тратить деньги. Повышая количество кликов конкурента, злоумышленник повышает и CTR объявления. Увеличение индекса CTR, в свою очередь, приводит к снижению цен на переход, и, как следствие, экономию конкурента и увеличение количества показов. Кто кому роет яму – непонятно.
Заключение
К ликфрод – это достаточно сомнительный метод конкуренции. Если прямо – его вполне можно приравнять к киберпреступлению. Метод, при этом, абсолютно несостоятелен: платформы оказывают всяческую помощь в борьбе с нечестными переходами. Временные и финансовые затраты получаются настолько большими, что куда рациональнее будет потратить эти ресурсы на развитие в счёт собственных кампаний, нежели пытаться бороться с сотней конкурентов. Поэтому для грамотной борьбы с потенциальными недобросовестными конкурентами нужно лишь внимательно следить за статистикой и в случае подозрений обращаться в поддержку.
За последние полгода нам удалось победить «скликивание» нашей контекстной рекламы с бюджетом в 1 миллион рублей в месяц.
Ключом победы над фродом стал поминутный мониторинг трафика с уведомлениями об аномальных изменениях и отключением проблемных объявлений по API, и ряд отчётов, которые отражают ситуацию в реальном времени.
Рисунок 1. Диаграмма количества посетителей по ключевым словам по декаминутам
Как узнать, что вас атакуют?
Одним из первых признаков «скликивания» рекламы будет увеличение процента возвращаемых средств за фрод в Директе и AdWords.В AdWords отображение уровня «недействительных кликов» можно включить на вкладке «столбцы»:
Рисунок 2. Настроенные столбцы с уровнем «недействительных кликов» в AdWords
В нашем случае, при среднем уровне «недействительных кликов » в Директе ≈ 10%, Яндексе вдруг стал возвращать 40% рекламного бюджета, а через месяц и вовсе 54%.
Следующий признак фрода – это необоснованный рост количества переходов и сильные изменения поведенческих показателей по ряду групп объявлений.
Мы заметили, что по ряду ключевых слов, по которым никогда не было больше 200 посетителей в день, вдруг появились всплески до 3 000 посетителей. По факту, бюджет, в дни подобных активностей, мог уйти на одну рекламную кампанию, если её вовремя не останавливали.
Рисунок 3. Необоснованный рост трафика по определенной группе объявлений в Директ
Яндекс и Google не защищают от фрода
Достаточно прочесть обсуждение уровня фрода в контекстной рекламе в официальном Клубе Директа, чтобы убедиться: многие рекламодатели теряют из-за фрода деньги.Google официально признаёт ошибки своей системы защиты и предоставляет рекламодателям «Refund Claims» (возврат израсходованного бюджета). По статистике сервиса ClickSease, Google Ads в среднем возвращает 12% рекламного бюджета.
Как вернуть часть денег за «склик» через AdWords
Ищем паттерны во фроде через сервисы защиты
Для того, чтобы иметь представление о том, как именно нас атакуют, и вручную отследить закономерности в мошенническом трафике, мы подключили российский сервис защиты от фрода ClickFrog . Продукт это давно всем известный, популярный в среде CPA и так далее.ClickFrog быстро доказал полную недееспособность:
- в день выделял не более 40 подозрительных IP адресов, при трафике с Директа в 3 000 тысячи переходов в день, и, признаваемых даже, Яндексом 1300 „левых“ кликов в день;
- основной инструмент защиты сервиса – это блокировка по IP адресу, команда о которой по API отправляется в Я.Директ, однако как только черный список в 25 IP адресов заполняется, необходимо вручную удалять последние несколько IP в каждой рекламной кампании и ждать очередного заполнения списка, и так по кругу.
ClickSease оказался полезнее: он начал вылавливать по 300-400 уникальных мошеннических IP в день. По каждому заблокированному IP сервис отдает статистику:
- интернет-провайдер;
- площадка с которой совершился переход;
- операционная система;
- уникальный ID устройства;
- время первого и последнего перехода;
- регион.
- в 81% случаев устройство симулирует мобильную ОС: Android или iOS;
- в 59% случаев геолокация IP адреса относится не к Москве, при фроде направленном на Москву.
Ищем паттерны во фроде вручную
Однако даже таких очевидных паттернов оказалось мало для снижения вреда от фрода, да и отключать рекламу на мобильных не хотелось. Сервисы обычно способны только дать идеи по выявлению схожих паттернов во фроде, а дальше необходимо обнаружить фрод в Метрике (в случае атаки на Директ) и выделить его в отдельных сегмент Яндекс Аудиторий для последующего анализа и блокировки.
Рисунок 5. Пример анализа трафика по возрастным группам в Метрике для поиска паттернов фрода
Срезы трафика, которые помогут определить паттерны фрода:
- динамика аудитории по возрастным группам;
- динамика долгосрочных интересов пользователей;
- динамика устройств и ОС.
- определяем сегмент аудитории «зараженный» фродом;
- выставляем корректировку ставок -100% для выбранного сегмента;
- отслеживаем изменение показателей: конверсия, время на сайте, глубина просмотра, показатель отказов.
А) вам удалось найти очевидный паттерн фрода, относящийся к полу, возрасту или мобильности:
- выставляем корректировку ставки -50% или -100% для выбранного сегмента;
- отслеживаем изменение ключевых показателей.
- выделяем фродовый трафик в отдельный сегмент Яндекс.Аудиторий (например, вы точно знали, что с 1 по 20 октября не могло быть 5 000 переходов по группе объявлений, по которой всегда было не больше 30 посещений в день)
- через look-alike Яндекса cоздаем сегмент похожих на наш фрод пользователей;
- выставляем корректировку ставок -100% для созданного вручную сегмента аудитории;
- аккуратно тестируем понижение ставок в рекламе для созданных Яндексом сегментов.
Строим диаграммы, которые показывают фрод
Фрод всегда порождает очевидные очаги и пики , будь то заумный софт с имитацией поведения настоящего пользователя или группа фрилансеров, выполняющих техническое задание.
Рисунок 6. Диаграмма количества посетителей по ключевым словам по декаминутам
Фрод происходит неравномерно по нескольким причинам:
- чтобы сделать атаку «сглажено» нужно владеть конфиденциальной информацией и знать кто, когда и сколько переходов совершает по вашей рекламе;
- софт действует рывками, и на минутном, 10 минутном, а иногда и на часовом графике, его действия будут бросаться в глаза;
- даже если против вас работают «школьники» с досок объявлений, то и они действуют по определенному заданию с алгоритмом, и аномалии, порожденные ими легко будет отследить.
Для визуализации лучше всего подойдёт Google Data Studio , поскольку корректно собирать данные, разбитые по времени на 1 и 10 минут, способен только Analytics, а Метрика, при построении отчетов по декаминутам, отдаёт некорректные показатели.
Как строить диаграммы по 10 минутам, а не по часу, в Google Data Studio
По умолчанию, в Analytics или Data Studio нельзя строить графики поминутно или по 10 минутам, однако это можно сделать следующим образом в Дата Студии:
Шаг 1. Открываем редактирование полей
Шаг 2. Создаем копии следующих полей: Год, Месяц года, День месяца, Час, Минута, и называем их, например, Год (число), Месяц года (число) и так далее. Также в скопированных полях необходимо изменить Тип с формата времени и даты на „число“ как показано на рисунке.
Шаг 2. Изменяем тип скопированного поля с «даты» на «число»
Шаг 3. Создаем новое поле, в котором прописываем следующую формулу: Год (число)*10000000+Месяц года (число)*100000+День месяца (число)*1000+Час (число)*10+FLOOR(Минута (число)/10)
Шаг 3. Создаём вычисляемое поле «Время по 10 минут»
Шаг 4. Сохраняем созданное поле, затем возвращаемся к списку всех полей и находим наше новое поле «Время по 10 минут (декаминут)». Необходимо изменить его тип с «Число» на «Дата и время» как показано на рисунке, а затем обратно присвоить этому полю тип «Число».
Шаг 4. Создаём вычисляемое поле „Время по 10 минут“
Шаг 5. Создаем «Комбинированную диаграмму» и ставим как параметр наше новое поле «Время по 10 минут», как показано на рисунке. Готово.
Шаг 5. Создаём «комбинированную диаграмму»
Настраиваем уведомления на очаги фрода
Чтобы не следить за всеми случаями фрода вручную, я сделал отчёт в Google Таблицах, который обновляет данные каждую минуту и уведомляет о начале фрода.Google Таблицы поддерживают Core Reporting API , обращаться к которому можно через «Редактор скриптов» в Таблицах.
Шаг 1. Заходим в редактор скриптов для обращения к Analytics
Рисунок 7. Редактор скриптов для обращения к Analytics Core Reporting API через Гугл Таблицы
Шаг 2. Прописываем API запрос к Analytics, чтобы получать данные о нужных показателях (например, о количестве пользователей, перешедших по платной рекламе, в каждую минуту суток, как в нашем случае).
Код Google Script для запроса любых данных из Analytics в Google Таблицы
function runDemo() {
try {
var firstProfile = getFirstProfile();
var results = getReportDataForProfile(firstProfile);
outputToSpreadsheet(results);
} catch(error) {
Browser.msgBox(error.message);
}
}
function getFirstProfile() {
var accounts = Analytics.Management.Accounts.list();
if (accounts.getItems()) {
var firstAccountId = accounts.getItems().getId();
var webProperties = Analytics.Management.Webproperties.list(firstAccountId);
if (webProperties.getItems()) {
var firstWebPropertyId = webProperties.getItems().getId();
var profiles = Analytics.Management.Profiles.list(firstAccountId, firstWebPropertyId);
if (profiles.getItems()) {
var firstProfile = profiles.getItems();
return firstProfile;
} else {
throw new Error("No views (profiles) found.");
}
} else {
throw new Error("No webproperties found.");
}
} else {
throw new Error("No accounts found.");
}
}
function getReportDataForProfile(firstProfile) {
var profileId = firstProfile.getId();
var tableId = "ga:" + profileId;
var startDate = "today"; //например getLastNdays(14) равняется 2 weeks (a fortnight) ago.
var endDate = "today"; //getLastNdays(0) равняется Today.
var optArgs = {
"dimensions": "ga:date,ga:hour,ga:minute,ga:sourceMedium", // Comma separated list of dimensions.
"sort": "ga:date,ga:hour,ga:minute", // Sort by sessions descending, then keyword.
//"segment": "dynamic::ga:isMobile==Yes", // Process only mobile traffic.
"filters": "ga:sourceMedium==yandex / cpc",
"start-index": "1",
"max-results": "10000" // Display the first 250 results.
};
// Make a request to the API.
var results = Analytics.Data.Ga.get(tableId, // Table id (format ga:xxxxxx).
startDate, // Start-date (format yyyy-MM-dd).
endDate, // End-date (format yyyy-MM-dd).
"ga:users", // Comma seperated list of metrics.
optArgs);
if (results.getRows()) {
return results;
} else {
throw new Error("No views (profiles) found");
}
}
function getLastNdays(nDaysAgo) {
var today = new Date();
var before = new Date();
before.setDate(today.getDate() - nDaysAgo);
return Utilities.formatDate(before, "GMT", "yyyy-MM-dd");
}
function outputToSpreadsheet(results) {
var sheets = SpreadsheetApp.getActiveSpreadsheet();
var sheet = sheets.getSheetByName("coeff1");
var range = sheet.getRange("A:E");
range.clear();
// Print the headers.
var headerNames = ;
for (var i = 0, header; header = results.getColumnHeaders()[i]; ++i) {
headerNames.push(header.getName());
}
sheet.getRange(1, 1, 1, headerNames.length)
.setValues();
// Print the rows of data.
sheet.getRange(2, 1, results.getRows().length, headerNames.length)
.setValues(results.getRows());
}
Шаг 3. Задаем триггер на обновление данных каждую минуту:
Рисунок 8. Запрашиваем свежие данные каждую минуту для оперативного реагирования на фрод
Шаг 4. Создаем сводную таблицу из листа, обновляемого нужными данными раз в минуту, и анализируем эти показатели для настройки триггеров для уведомлений на электронную почту или же отключения групп объявлений по API Я.Директа или AdWords.
Рисунок 9. Пример настройки формул для уведомлений об аномалиях
Пример моего кода Google Script для отправки уведомлений на электронную почту
function myFunction() {
var ss = SpreadsheetApp.getActiveSpreadsheet();
var sheet = ss.getSheetByName("notification");
var range = sheet.getRange("D2:E4");
// The row and column here are relative to the range
// getCell(1,1) in this code returns the cell at B2, B2
var cell = range.getCell(1, 2);
Logger.log(cell.getValue());
if (cell.getValue() !== "no") {
MailApp.sendEmail("[email protected]", "Fraud notification "+cell.getValue(), "Check me "+range.getCell(1, 1).getValue());
}
else {
}
var cell2 = range.getCell(2, 2);
Logger.log(cell2.getValue());
if (cell2.getValue() !== "no") {
MailApp.sendEmail("[email protected]", "Fraud notification "+cell2.getValue(), "Check me "+range.getCell(2, 1).getValue());
}
else {
}
var cell3 = range.getCell(3, 2);
Logger.log(cell3.getValue());
if (cell3.getValue() !== "no") {
MailApp.sendEmail("[email protected]", "Fraud notification "+cell3.getValue(), "Check me "+range.getCell(3, 1).getValue());
}
else {
}
}
Итоги: как победить скликивание
Противодействие клик фроду можно подразделить на три группы:А) Упреждающие действия:
- отключение «загрязненных площадок»;
- отключение показа рекламы для аудитории с фродовыми для вас признаками, например, для людей на планшетах из Санкт-Петербурга (более сложные параметры для блокировки можно использовать через списки AdWords и сегменты Метрики);
- корректировка ставок для сегментов аудитории, похожих на сегменты фрода («look-alike» сегменты создаются в Я. Аудиториях и списках Google);
- блокировка фрода по маскам IP сетей (доступно только в AdWords).
- отправка жалоб о возврате бюджета в AdWords и Директ;
- расследование «кто заказал атаку на вас»;
- группировка подозрительных и часто атакуемых групп объявлений в единую рекламную кампанию;
- «ловушки» для простейших ботов, а именно скрытые кнопки на сайте, которые видны только боту и при нажатии на которые он попадает в список.
- блокировка по IP адресам;
- оперативное отключение очагов скликивания: ключевых слов, групп объявлений, рекламных кампаний, сегментов аудитории.
Рисунок 10. Способы защиты от click fraud
Добавить метки
Скликиванием (или кликфродом, от английского click fraud ) называются намеренные переходы по рекламным объявлениям, чаще всего направленные на бессмысленное расходование бюджета рекламодателя. Это очень распространенное явление, значительно снижающее и причиняющее существенный ущерб многим организациям. К счастью, у всех крупных рекламных систем существуют достаточно мощная защита от скликивания.
Как обнаружить скликивание?
Плохо замаскированный кликфрод обычно имеет следующие признаки:
- резкий беспричинный рост трафика по определенной кампании;
- много переходов с одного IP-адреса или адресов одного диапазона.
Скликивание наносит значительный вред имиджу рекламных систем, поэтому каждый игрок данного рынка имеет собственные защитные алгоритмы, позволяющие выявить и отфильтровать недействительные клики.
Кто занимается скликиванием?
Кликфрод во всех случаях считается мошенничеством, однако может осуществляться в интересах разных игроков:
- Конкуренты. Их цель – израсходовать рекламный бюджет.
- Владельцы площадок, стремящиеся увеличить свой заработок.
- Рекламодатели могут намеренно скликивать собственные объявления, чтобы повысить CTR.
- Кликеры. Это проплаченные посетители, нанятые кем-либо из перечисленных выше интересантов.
- «Вредители». Просто хотят навредить.
По способу реализации кликфрод можно разделить на два вида:
- Ручной. Злоумышленник может заниматься им самостоятельно либо нанимать удаленных сотрудников за небольшую оплату. Производительность скликивания при этом достаточно низка, поэтому существенного вреда такой подход не наносит.
- Автоматизированный. Данный способ может нанести существенно больший вред, поскольку автоматический софт работает достаточно эффективно, используя многочисленные прокси-серверы.
Защита от скликивания
Простейшие случаи плохо замаскированного кликфрода можно определить при помощи систем веб-аналитики и серверных лог-файлов, в которых фиксируются все действия посетителей, а также источники трафика.
Определение ручного скликивания:
- Нередко злоумышленники работают с одного IP-адреса, даже не пытаясь его изменить. Поэтому, анализируя рекламный трафик, следует обратить внимание на значительные количества повторяющихся IP.
- Обратите внимание на глубину просмотра и длительность сессий, вызвавших у вас подозрения. Обычно мошенники сразу же закрывают страницу.
Определение автоматического скликивания:
- Здесь также следует обратить внимание на повторяющиеся IP. Кроме того, нередко используются целые подсети, что можно заметить по похожим IP-адресам, у которых меняется только последнее число.
- Обратите внимание на географическое расположение подозрительных посетителей. При определенных условиях оно может не совпадать с настройками геотаргетинга рекламной кампании.
- Обращайте внимание на любые аномалии. Автоматические скрипты часто создают большие массивы однотипных записей в лог-файлах. Это может быть одинаковый user-agent, однотипное поведение, периодичность выполнения действий или всплеск деятельности в определенное время суток.
Защитные меры в Яндекс.Директ
Технология защиты от скликивания включает в себя несколько уровней автоматической и ручной фильтрации. Каждый переход по рекламному объявлению подвергается автоматическому анализу с учетом более чем двадцати параметров. Данные параметры запрограммированы разработчиками изначально, но умный алгоритм пересчитывает их влияние, индивидуально подстраиваясь под каждую рекламную кампанию.
Если анализатор определил переход как недействительный, он не заносится в отчет и средства из рекламного бюджета не списываются. При этом ведётся дополнительная статистика неучтенных кликов, позволяющая своевременно замечать подозрительную активность со стороны конкурентов и других недоброжелателей. В эту статистику попадают также случайные и повторяющиеся клики, поэтому небольшое количество недействительных переходов будет присутствовать всегда.
- Запрещенные площадки. Здесь можно заблокировать до 1000 площадок (отключить показ рекламы в поиске Яндекса и Mail.Ru нельзя).
- Блокировка конкретных IP-адресов. Здесь вы можете напрямую указать конкретные IP, которые показались вам подозрительными при анализе серверных логов. Размер списка ограничен 25 записями.
Меры защиты AdWords
- случайного или повторного клика;
- скликивания от конкурентов;
- клика от владельца площадки, на которой отобразилось объявление;
- автоматического клика;
- попыток повлиять на CTR.
Алгоритмы AdWords фильтруют переходы в несколько этапов, учитывая IP-адрес, специфику площадки, время и другие факторы. Случайные и повторные клики отсеиваются сразу же.
- Автоматическая фильтрация.
В реальном времени отфильтровываются все заведомо недействительные переходы. Для данного этапа характерны такие особенности как:
- первичный анализ всего потока кликов по рекламным объявлениям;
- отклонение недействительных переходов ещё до списания средств;
- фильтрация по известным источникам недействительных кликов;
- отсеивается основная часть кликфрода.
- Автономный анализ.
На данном этапе происходит более аккуратная и тщательная чистка рекламного трафика от неочевидного скликивания. Характерные особенности этапа:
- автоматический постанализ и ручной анализ;
- фильтруются преимущественно клики в рекламной сети AdSense;
- отклоненных кликов мало (по сравнению с предыдущим этапом);
- выявленные на данном этапе нарушения могут повлечь санкции.
- Расследования.
В особых случаях могут проводиться расследования, поскольку любые манипуляции с недействительными кликами могут быть классифицированы как финансовое мошенничество. Особенности данного этапа:
- расследования проводят редко;
- отношение Google к расследованиям очень серьезное;
- количество нарушений, выявленных на данном этапе, минимально;
- практически всегда выявленные нарушения влекут за собой санкции.
Все недействительные клики автоматически удаляются из основных отчетов, никак не влияют на рекламный бюджет и CTR. Но в определенных случаях может возникнуть необходимость проанализировать подозрительную активность, поэтому в интерфейсе AdSense предусмотрена возможность посмотреть статистику и по недействительным кликам.
Скликивания – одна из самых серьезных проблем в сфере интернет-рекламы, поэтому бороться с ним следует всеми доступными способами. Это необходимо делать как самостоятельно, внося запрещенные IP в блок-листы (или даже блокируя им доступ на своем сервере), так и посредством жалоб в службы поддержки рекламных сетей.