Как проверить тезис

Агентство говорит одно, коллега другое, докладчик на конференции третье. Кому верить?

Все трое говорят уверенно. Бюджет при этом хочется вложить в то, что сработает именно у вас. Страница разбирает, как за семь вопросов понять, чем подкреплён тезис, и что делать, когда подкрепить его нечем.

Открыть первый урок →

Как оценивают уверенный тезис

Подрядчик показывает кейс с ростом конверсии на 40%. Вот что обычно смотрят и что спрашивают по фильтру курса.

Как обычно

Оценивают, кто говорит и как

Верят опыту и имени: крупное агентство, докладчик с большой сцены, логотипы клиентов на слайде. Убеждают точное число вроде «+40% к конверсии», история «сделали и выросли» и довод «лидеры рынка так делают».

Как в курсе

Спрашивают, на чём держится вывод

Кто измерил? С чем сравнивали? Повторил ли кто-то независимый? Где те, кто сделал так же и провалился? Какой у эффекта диапазон? Подходит ли это вашей категории? Продаёт ли источник то, что утверждает? Это жёлтый флаг, в счёт он не идёт. Красных флагов ноль или один: опираться, помня про контекст. Два: проверить у себя. Три и больше: только гипотеза для теста.

У правила 60/40 Бине и Филда один красный флаг: кейсы поданы на премию. Жёлтый: база ассоциации рекламных агентств. Итог — «осторожно», проверять на своей категории.Урок 12.3; Бине и Филд, база IPA, 2013

Почему уверенному тезису верят

Повторённое утверждение кажется правдивее даже тому, кто знает верный ответ

В опыте Фазио (2015) повтор сдвигал оценку ложного утверждения вверх, хотя до уверенности в нём не доводил. Знакомость мозг принимает за признак истины. Поэтому тезис, который звучит отовсюду, кажется вернее даже тем, кто сначала спорил.

Что вы получите

Что вы сможете проверить сами

Разобрать любой тезис за семь вопросов

Пост, презентация подрядчика, кейс конкурента, вывод своей команды. Вопросы одни и те же, считаются красные флаги. По их числу видно, опираться на тезис, проверить у себя или отложить.

Модули 12, 1

Узнавать зомби-эффекты

Силовые позы, истощение силы воли, социальный прайминг, «правило 7 касаний». Что не выдержало повторной проверки, но живёт в книгах и тренингах, и на что опереть решения, которые на них строили.

Модули 1, 12

Проверить обещание на своих данных

Когда подрядчик говорит «по нашим данным», спросить выборку, период и контрольную группу. Когда тезис выглядит здраво, но проверки нет, поставить тест с контрольной группой на части аудитории.

Модули 8, 12

Как это выглядит в уроке

Семь вопросов к любому утверждению

Источник, метод, воспроизведение, выжившие, размер эффекта, границы, выгода источника. В уроке через них проходит предложение подрядчика: ИИ-атрибуция «с точностью 95%», рост конверсии на 40% и скидка до пятницы. Красных флагов шесть.

модуль 12 · урок 12.3 · Критическая гигиена

Признаки шарлатанства — один фильтр утверждений

Если человек заранее знаком со слабыми версиями ложных аргументов и их разбором, он устойчивее к ним при встрече в реальной жизни.Макгуайр, 1961; Банас и Рейнс, мета-анализ 2010

Надёжность выводаСильная14 мин

Откуда это

Исследования за этой страницей

Утверждения, которые участники слышали повторно, казались им правдивее, причём и верные, и ложные. Мета-анализ десятков исследований подтвердил устойчивость эффекта.Хэшер, Голдстейн и Топпино, 1977; Дешен и коллеги, 2010

Одинаковые по смыслу утверждения, напечатанные контрастно, участники оценивали как более правдивые. Разница была только в том, насколько легко их прочитать.Ребер и Шварц, 1999

В 2012 году Канеман сам предложил перепроверить исследования социального прайминга. Громкие эффекты не воспроизвелись. Опыт с медленной походкой срабатывал, только когда экспериментаторы знали гипотезу.Письмо Канемана, 2012; Дуайен и коллеги, 2012

36%повторов дали значимый результат, когда 270 соавторов заново провели 100 исследований из трёх ведущих психологических журналов 2008 года

Одно исследование читают как гипотезу

Эффекты в повторах оказались в среднем примерно вдвое меньше исходных. Незначимый повтор говорит, что эффект слабый или не установлен, поэтому вывод осторожный: пока яркий одиночный результат не повторили по современному протоколу, это гипотеза. Книги и конференции по маркетингу отстают от такого пересмотра на 10–20 лет, это ориентир без замера.

НадёжностьСильнаядля темы кризиса воспроизводимости; срок отставания — ориентир

Где это в курсе

Модули по теме

01Когнитивная базаиллюзорная правда, беглость, кризис воспроизводимости и зомби-эффекты
08Измерение и причинно-следственный анализприращение и тесты с контрольной группой
12Критическая гигиенамифы и слабые рамки, фильтр утверждений, признаки шарлатанства

Вся программа

Алексей Пряхин

13+ лет в маркетинге: перформанс, продукт, бренд. Раньше — Яндекс Маркет, Касперский, Профи.ру, сейчас директор по маркетингу.

Частые вопросы

Это не превратится в занудство про статистику?

Нет. Семь вопросов фильтра сформулированы обычными словами: кто измерил, с чем сравнивали, повторил ли кто-то ещё, подходит ли это вашей категории. Их задают на встрече без расчётов. Статистика понадобится, когда захотите проверить тезис тестом на своих данных; этому посвящён модуль про измерение.

Как это поможет в разговоре с агентством?

Агентство приносит кейс или отчёт с ростом. С фильтром видно, что спросить: с чем сравнивали, какой у эффекта диапазон, сколько клиентов из списка платят спустя год. Если ответов нет, решение можно отложить и предложить тест с контрольной группой на части аудитории.

А как же интуиция и опыт?

Опыт практика — хороший источник гипотез, и проверяют его тем же фильтром. То, что сработало в прошлой компании, могло зависеть от категории, стадии и команды. Для крупных решений нужны сильные свидетельства, для небольших тестов планка ниже.

Первый урок открыт без регистрации

В нём разобраны «правило 7 касаний» и «Канеман доказал, что 95% решений эмоциональные». Ещё три урока и библиотека разборов кейсов — после регистрации, без карты.

Открыть первый урок →На главную