Большие языковые модели понимают язык

Обратная связь по ошибкам

Как рассматриваемая система (утверждение, метод или область) реагирует на данные, прямо противоречащие её предсказаниям или исходным предпосылкам?

• 0 · 0.00Она корректирует свои параметры, сужает область применения или отвергает опровергнутую гипотезу при регулярном появлении аномалий.59,41%
• 1 · 0.85Она выдвигает непроверяемые объяснения ad hoc, единственная цель которых — защитить базовое утверждение от опровержения.29,77%
• 2 · 1.00Она трактует любое противоречащее свидетельство как доказательство намеренного заговора, манипуляции данными или сокрытия фактов внешними институтами.1,54%
• 3 · 0.95Она списывает отсутствие результата на неверный настрой, недостаток веры или слабую вовлечённость адресата.1,04%
• 4 · 0.80Она избегает столкновения с ошибками, формулируя предсказания настолько размыто, что любой исход можно задним числом объявить успехом.8,25%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Причинный механизм

Какой механизм постулирует утверждение или метод для передачи воздействия от причины к следствию?

• 0 · 0.00Измеримый физический, химический или информационный носитель, согласующийся с известными законами сохранения и масштабами взаимодействий.86,87%
• 1 · 0.10Исключительно изменения во внутренних установках человека, уровне стресса, внимании или поведении (ожидание, плацебо, ноцебо, самоисполняющееся пророчество), без участия внешних сил.6,04%
• 2 · 1.00Неизмеримые поля, энергии или память вещества, не дающие никакого эффекта при контролируемых инструментальных измерениях.4,96%
• 3 · 1.00Прямое воздействие со стороны объектов или явлений совершенно иного масштаба при отсутствии физического вектора передачи достаточной силы.1,59%
• 4 · 1.00Магический изоморфизм: сходство формы, имени, символа или даты воспринимается как реальная физическая причинно-следственная связь.0,54%

Применимо: 83% (Не применимо: 17%)

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Тест на ослепление

Что происходит с заявленным эффектом или истинностью утверждения, когда испытуемый полностью ослеплён относительно факта и характера воздействия (контроль ожиданий)?

• 0 · 0.00Эффект сохраняет статистически значимую силу независимо от знаний, убеждений и ожиданий испытуемого и исследователя.58,91%
• 1 · 1.00Эффект снижается до уровня случайного шума, если испытуемый не знает о применении метода или получает имитацию (пустышку).11,00%
• 2 · 0.35Эффект частично сохраняется только на уровне поведенческих, эргономических или эмоциональных переменных, но исчезает для заявленных физических изменений.2,16%
• 3 · 1.00Система заранее отвергает контролируемое ослепление как неприемлемое или разрушительное для самого явления и отказывается от отделения эффекта от шума.26,74%
• 4 · 0.05Утверждение описывает феномен, где вера испытуемого выступает единственным причинным фактором, поэтому без неё феномен перестаёт существовать по определению.1,19%

Применимо: 51% (Не применимо: 49%)

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Фальсифицируемость

Какие возможные состояния реальности система категорически исключает (какие наблюдения заставили бы её признать свою ложность)?

• 0 · 0.00Она точно определяет измеримые результаты и пороговые значения, наблюдение которых окончательно опровергает утверждение.21,67%
• 1 · 1.00Она не исключает ни одного состояния: как исход А, так и не-А трактуются как подтверждение модели.41,17%
• 2 · 0.90Она допускает опровержение лишь теоретически, выдвигая заведомо технически или логически невыполнимые требования к измерениям.35,50%
• 3 · 0.25Она состоит исключительно из оценочных, метафорических или экзистенциальных суждений, в которых по определению нет места фальсификации.1,66%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Семантическая точность

Как абстрактные концепции системы связаны с нижними ступенями лестницы абстракции (конкретными измерениями и действиями)?

• 0 · 0.00Каждое теоретическое понятие имеет однозначное операциональное определение, единицу измерения и протокол, позволяющий независимое воспроизведение.28,17%
• 1 · 0.80Понятия намеренно размыты (эффект Барнума), что позволяет аудитории привязать общее описание к собственному личному опыту.11,03%
• 2 · 1.00Она заимствует строгие научные термины (квантовый, частота, энергия, детокс, гравитация), оторванные от их математических определений, и использует их как метафоры.18,98%
• 3 · 0.90Она подменяет смыслы (приём motte-and-bailey): обещает буквальный физический эффект в рекламе, но при критике отступает к символической или психологической трактовке.41,82%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Бритва Оккама

Что остаётся от прогностической или практической ценности системы после применения бритвы Оккама (полного отсечения её специфического непроверяемого понятийного аппарата)?

• 0 · 0.00Устранение понятийного аппарата уничтожает способность предсказывать и воспроизводить явления, так как каждый элемент соотносится с реальными переменными системы.66,84%
• 1 · 0.40После удаления эзотерической или идеологической надстройки остаётся набор простых правил эргономики, гигиены, психологии или здравого смысла, работающих точно так же и без неё.19,46%
• 2 · 0.95После устранения специфических концепций и ритуалов система теряет всякое содержание и сводится к чистому плацебо или случайному угадыванию.9,28%
• 3 · 1.00Система сводится лишь к отрицанию существующего знания и не предлагает собственной модели, способной генерировать проверяемые практические прогнозы.4,42%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Сеть измерений

Как утверждение согласуется с независимыми, взаимно проверяемыми системами измерений из смежных областей?

• 0 · 0.00Оно полностью согласуется с данными из независимых областей (сходимость доказательств); любые расхождения объясняются известными пределами точности приборов.33,93%
• 1 · 0.95Его принятие потребовало бы признать недействительными фундаментальные, многократно подтверждённые законы сразу во множестве независимых научных дисциплин.39,35%
• 2 · 1.00Его принятие потребовало бы предположить, что тысячи независимых институтов, спутников, лабораторий и исследователей из соперничающих стран десятилетиями фабрикуют единую ложь.3,87%
• 3 · 0.15Оно касается субъективной веры и её влияния на поведение индивида, поэтому не противоречит психологии до тех пор, пока не претендует на физическую истинность этой веры.22,86%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Независимость от оператора

Зависит ли результат применения метода или измерения от личности, уровня посвящения или личных убеждений того, кто его выполняет?

• 0 · 0.00Результат инвариантен к оператору: любой исследователь (включая скептика), соблюдающий тот же протокол в тех же условиях, получает сходящееся распределение результатов.70,43%
• 1 · 0.85Получение результата требует особого дара, субъективной интуиции или изменённого состояния сознания оператора, которые невозможно свести к воспроизводимому алгоритму.9,78%
• 2 · 1.00Присутствие скептически настроенного наблюдателя или регистрирующей аппаратуры объявляется фактором, блокирующим действие метода.2,12%
• 3 · 0.90Разные операторы одной и той же системы, анализируя один и тот же случай в одно и то же время, дают взаимоисключающие диагнозы или прогнозы.17,68%

Применимо: 63% (Не применимо: 37%)

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Эволюция модели

Какова динамика развития области или утверждения во времени с точки зрения накопления знаний и устранения ошибок?

• 0 · 0.00Наблюдается познавательный прогресс: предсказываются новые, ранее неизвестные явления, исправляются старые ошибки и уточняются рабочие инструменты.51,00%
• 1 · 0.80Она застыла во времени: апеллирует к неизменной древней мудрости или авторитету основателя и преподносит отсутствие изменений как доказательство совершенства.3,06%
• 2 · 0.90Она развивается исключительно регрессивно: каждое изменение лишь заделывает логические бреши и оправдывает неудачи, не ведя к новым проверяемым открытиям.39,84%
• 3 · 1.00Она развивается за счёт постоянной замены опровергнутых утверждений новыми сюжетами, сохраняя при этом один и тот же эмоциональный шаблон (страх или обещание лёгкого успеха).6,10%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.

Асимметрия рисков

Каково соотношение между доказанностью заявляемых эффектов и ценой (финансовой, медицинской, мировоззренческой), которую требуют заплатить от аудитории?

• 0 · 0.00Рекомендуемые действия соразмерны силе доказательств; профиль рисков, побочные эффекты и границы применимости открыто измерены и описаны.69,77%
• 1 · 1.00Она использует страх или неуверенность, подталкивая людей к отказу от проверенных защитных или медицинских мер в пользу недоказанных альтернатив.6,86%
• 2 · 0.60Она обещает несоразмерно большую выгоду за минимальные усилия, ставя успех в зависимость от покупки новых продуктов, сеансов или ступеней посвящения.13,68%
• 3 · 0.85Она выстраивает закрытую групповую идентичность, где психологическая цена выхода из заблуждения крайне высока, поскольку сомнение ведёт к исключению из сообщества избранных.9,69%

Полоса показывает вероятность каждого ответа по модели. Вес отражает, насколько ответ приближен к bullshit.