Лох-несское чудовище

Обратная связь по ошибкам

Как рассматриваемая система (утверждение, метод или область) реагирует на данные, прямо противоречащие её предсказаниям или исходным предпосылкам?

• 0 · 0.00Она корректирует свои параметры, сужает область применения или отвергает опровергнутую гипотезу при регулярном появлении аномалий.10,71%
• 1 · 0.85Она выдвигает непроверяемые объяснения ad hoc, единственная цель которых — защитить базовое утверждение от опровержения.49,47%
• 2 · 1.00Она трактует любое противоречащее свидетельство как доказательство намеренного заговора, манипуляции данными или сокрытия фактов внешними институтами.20,34%
• 3 · 0.95Она списывает отсутствие результата на неверный настрой, недостаток веры или слабую вовлечённость адресата.1,05%
• 4 · 0.80Она избегает столкновения с ошибками, формулируя предсказания настолько размыто, что любой исход можно задним числом объявить успехом.18,43%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Причинный механизм

Какой механизм постулирует утверждение или метод для передачи воздействия от причины к следствию?

• 0 · 0.00Измеримый физический, химический или информационный носитель, согласующийся с известными законами сохранения и масштабами взаимодействий.86,40%
• 1 · 0.10Исключительно изменения во внутренних установках человека, уровне стресса, внимании или поведении (ожидание, плацебо, ноцебо, самоисполняющееся пророчество), без участия внешних сил.6,01%
• 2 · 1.00Неизмеримые поля, энергии или память вещества, не дающие никакого эффекта при контролируемых инструментальных измерениях.4,05%
• 3 · 1.00Прямое воздействие со стороны объектов или явлений совершенно иного масштаба при отсутствии физического вектора передачи достаточной силы.2,03%
• 4 · 1.00Магический изоморфизм: сходство формы, имени, символа или даты воспринимается как реальная физическая причинно-следственная связь.1,51%

Применимо: 17% (Не применимо: 83%)

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Тест на ослепление

Что происходит с заявленным эффектом или истинностью утверждения, когда испытуемый полностью ослеплён относительно факта и характера воздействия (контроль ожиданий)?

• 0 · 0.00Эффект сохраняет статистически значимую силу независимо от знаний, убеждений и ожиданий испытуемого и исследователя.11,56%
• 1 · 1.00Эффект снижается до уровня случайного шума, если испытуемый не знает о применении метода или получает имитацию (пустышку).32,60%
• 2 · 0.35Эффект частично сохраняется только на уровне поведенческих, эргономических или эмоциональных переменных, но исчезает для заявленных физических изменений.2,38%
• 3 · 1.00Система заранее отвергает контролируемое ослепление как неприемлемое или разрушительное для самого явления и отказывается от отделения эффекта от шума.50,83%
• 4 · 0.05Утверждение описывает феномен, где вера испытуемого выступает единственным причинным фактором, поэтому без неё феномен перестаёт существовать по определению.2,63%

Применимо: 16% (Не применимо: 85%)

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Фальсифицируемость

Какие возможные состояния реальности система категорически исключает (какие наблюдения заставили бы её признать свою ложность)?

• 0 · 0.00Она точно определяет измеримые результаты и пороговые значения, наблюдение которых окончательно опровергает утверждение.13,42%
• 1 · 1.00Она не исключает ни одного состояния: как исход А, так и не-А трактуются как подтверждение модели.34,29%
• 2 · 0.90Она допускает опровержение лишь теоретически, выдвигая заведомо технически или логически невыполнимые требования к измерениям.50,90%
• 3 · 0.25Она состоит исключительно из оценочных, метафорических или экзистенциальных суждений, в которых по определению нет места фальсификации.1,39%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Семантическая точность

Как абстрактные концепции системы связаны с нижними ступенями лестницы абстракции (конкретными измерениями и действиями)?

• 0 · 0.00Каждое теоретическое понятие имеет однозначное операциональное определение, единицу измерения и протокол, позволяющий независимое воспроизведение.31,00%
• 1 · 0.80Понятия намеренно размыты (эффект Барнума), что позволяет аудитории привязать общее описание к собственному личному опыту.46,01%
• 2 · 1.00Она заимствует строгие научные термины (квантовый, частота, энергия, детокс, гравитация), оторванные от их математических определений, и использует их как метафоры.4,99%
• 3 · 0.90Она подменяет смыслы (приём motte-and-bailey): обещает буквальный физический эффект в рекламе, но при критике отступает к символической или психологической трактовке.18,01%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Бритва Оккама

Что остаётся от прогностической или практической ценности системы после применения бритвы Оккама (полного отсечения её специфического непроверяемого понятийного аппарата)?

• 0 · 0.00Устранение понятийного аппарата уничтожает способность предсказывать и воспроизводить явления, так как каждый элемент соотносится с реальными переменными системы.1,83%
• 1 · 0.40После удаления эзотерической или идеологической надстройки остаётся набор простых правил эргономики, гигиены, психологии или здравого смысла, работающих точно так же и без неё.6,30%
• 2 · 0.95После устранения специфических концепций и ритуалов система теряет всякое содержание и сводится к чистому плацебо или случайному угадыванию.58,10%
• 3 · 1.00Система сводится лишь к отрицанию существующего знания и не предлагает собственной модели, способной генерировать проверяемые практические прогнозы.33,76%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Сеть измерений

Как утверждение согласуется с независимыми, взаимно проверяемыми системами измерений из смежных областей?

• 0 · 0.00Оно полностью согласуется с данными из независимых областей (сходимость доказательств); любые расхождения объясняются известными пределами точности приборов.26,32%
• 1 · 0.95Его принятие потребовало бы признать недействительными фундаментальные, многократно подтверждённые законы сразу во множестве независимых научных дисциплин.45,29%
• 2 · 1.00Его принятие потребовало бы предположить, что тысячи независимых институтов, спутников, лабораторий и исследователей из соперничающих стран десятилетиями фабрикуют единую ложь.22,69%
• 3 · 0.15Оно касается субъективной веры и её влияния на поведение индивида, поэтому не противоречит психологии до тех пор, пока не претендует на физическую истинность этой веры.5,70%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Независимость от оператора

Зависит ли результат применения метода или измерения от личности, уровня посвящения или личных убеждений того, кто его выполняет?

• 0 · 0.00Результат инвариантен к оператору: любой исследователь (включая скептика), соблюдающий тот же протокол в тех же условиях, получает сходящееся распределение результатов.39,00%
• 1 · 0.85Получение результата требует особого дара, субъективной интуиции или изменённого состояния сознания оператора, которые невозможно свести к воспроизводимому алгоритму.26,27%
• 2 · 1.00Присутствие скептически настроенного наблюдателя или регистрирующей аппаратуры объявляется фактором, блокирующим действие метода.13,16%
• 3 · 0.90Разные операторы одной и той же системы, анализируя один и тот же случай в одно и то же время, дают взаимоисключающие диагнозы или прогнозы.21,57%

Применимо: 27% (Не применимо: 73%)

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Эволюция модели

Какова динамика развития области или утверждения во времени с точки зрения накопления знаний и устранения ошибок?

• 0 · 0.00Наблюдается познавательный прогресс: предсказываются новые, ранее неизвестные явления, исправляются старые ошибки и уточняются рабочие инструменты.2,52%
• 1 · 0.80Она застыла во времени: апеллирует к неизменной древней мудрости или авторитету основателя и преподносит отсутствие изменений как доказательство совершенства.14,90%
• 2 · 0.90Она развивается исключительно регрессивно: каждое изменение лишь заделывает логические бреши и оправдывает неудачи, не ведя к новым проверяемым открытиям.59,35%
• 3 · 1.00Она развивается за счёт постоянной замены опровергнутых утверждений новыми сюжетами, сохраняя при этом один и тот же эмоциональный шаблон (страх или обещание лёгкого успеха).23,23%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Асимметрия рисков

Каково соотношение между доказанностью заявляемых эффектов и ценой (финансовой, медицинской, мировоззренческой), которую требуют заплатить от аудитории?

• 0 · 0.00Рекомендуемые действия соразмерны силе доказательств; профиль рисков, побочные эффекты и границы применимости открыто измерены и описаны.42,57%
• 1 · 1.00Она использует страх или неуверенность, подталкивая людей к отказу от проверенных защитных или медицинских мер в пользу недоказанных альтернатив.12,39%
• 2 · 0.60Она обещает несоразмерно большую выгоду за минимальные усилия, ставя успех в зависимость от покупки новых продуктов, сеансов или ступеней посвящения.24,73%
• 3 · 0.85Она выстраивает закрытую групповую идентичность, где психологическая цена выхода из заблуждения крайне высока, поскольку сомнение ведёт к исключению из сообщества избранных.20,30%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.