大语言模型真正理解语言

错误反馈机制

被考察的体系（主张、方法或领域）如何应对与其预测或假设直接矛盾的输入事实？

• 0 · 0.00根据反复出现的反常事实调整参数、缩小适用范围，或直接推翻已被证伪的假设。59.41%
• 1 · 0.85编造不可验证的特设性解释（ad-hoc 假说），其唯一作用就是保护核心主张免于被推翻。29.77%
• 2 · 1.00将所有相反证据都解读为外部机构蓄意策划的阴谋、数据篡改或掩盖真相。1.54%
• 3 · 0.95将未见成效归咎于受众的心态不端、缺乏信念或诚意不足。1.04%
• 4 · 0.80通过给出极其含糊的预测来回避面对错误，从而使任何事后结果都能被宣称为成功。8.25%

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

因果载体

该主张或方法假定了何种机制，来承载从原因到结果的影响？

• 0 · 0.00一种可测量的物理、化学或信息载体，与已确立的守恒定律和物理尺度保持连贯一致。86.87%
• 1 · 0.10仅仅是个人的态度、压力、注意力或行为的改变（预期、安慰剂、反安慰剂、自证预言），不存在任何外力作用。6.04%
• 2 · 1.00不可测量的场、能量或物质记忆，且在受控的仪器测量中未显示出任何效应。4.96%
• 3 · 1.00跨越完全不同尺度的物体或现象之间的直接因果作用，且缺乏足够强度的物理传递媒介。1.59%
• 4 · 1.00巫术般的同态象征：将形状、名称、符号或日期的相似性视作实际的物理因果联系。0.54%

适用度: 83% (不适用: 17%)

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

盲法测试

一旦对受试者完全隐瞒是否接受了刺激以及接受了何种刺激（盲法、预期控制），所宣称的效应或主张的真实性会发生什么变化？

• 0 · 0.00无论受试者和操作者的知晓情况、信念或预期如何，该效应均保持统计学上的显著强度。58.91%
• 1 · 1.00当受试者不知道该方法已被应用或接受的是假干预时，该效应直接跌落至随机噪声水平。11.00%
• 2 · 0.35效应仅部分保留在行为、工效或情绪变量中，而所宣称的物理变化则彻底消失。2.16%
• 3 · 1.00该体系预先将受控盲法斥为不可接受或会破坏该现象，并拒绝进行噪声剥离。26.74%
• 4 · 0.05该主张涉及的现象中，受试者的信念本身就是唯一的因果因素，因此根据定义，失去信念该现象便不复存在。1.19%

适用度: 51% (不适用: 49%)

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

可证伪性

该体系明确排除了哪些可能出现的现实状态（即哪些观察结果会迫使其承认自身是错误的）？

• 0 · 0.00明确界定了可测量的结果与阈值，一旦观察到这些结果便能彻底推翻该主张。21.67%
• 1 · 1.00不排除任何状态：无论出现 A 还是非 A，都被解释为证实了该模型。41.17%
• 2 · 0.90仅在理论上允许被证伪，但设置了在技术或逻辑上完全不可能达到的测量要求。35.50%
• 3 · 0.25完全由价值判断、隐喻或存在性陈述构成，本质上不存在任何可证伪的空间。1.66%

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

语义精准度

该体系的高阶概念是如何与抽象阶梯的底层（具体测量与操作）相联系的？

• 0 · 0.00每个理论概念都有明确的操作性定义、测量单位以及允许独立复现的实验方案。28.17%
• 1 · 0.80概念刻意含糊其辞（巴纳姆效应），以便让受众能够将笼统的描述套入自身经验中。11.03%
• 2 · 1.00借用精确的科学术语（如量子、频率、能量、排毒、引力），却脱离其数学定义，仅仅作为隐喻使用。18.98%
• 3 · 0.90偷换概念（牢堡谬误 / motte-and-bailey）：宣传时许诺确凿的、字面意义上的物理效果，遭遇批评时则退缩到象征性或心理层面的解读。41.82%

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

奥卡姆剃刀

在使用奥卡姆剃刀（彻底剔除其特有且不可验证的概念体系）之后，该体系的预测能力或实用价值还剩什么？

• 0 · 0.00去除其概念体系会彻底摧毁预测和设计现象的能力，因为其每个元素都对应着真实的系统变量。66.84%
• 1 · 0.40剔除玄学或意识形态外壳后，剩下的只是一套简单的工效学、卫生习惯、心理学或常识规则，且脱离该外壳也能同样奏效。19.46%
• 2 · 0.95在剥离其特有概念和仪式后，该体系失去所有实质内容，退化为纯粹的安慰剂或随机猜测。9.28%
• 3 · 1.00该体系仅仅建立在否定现有知识之上，自身并未提供任何能够产生可检验技术预测的模型。4.42%

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

测量网络一致性

该主张与来自相关领域的独立、交叉验证的测量网络有何关联？

• 0 · 0.00它与来自独立领域的数据相吻合（证据聚合）；任何差异均源自已知的仪器极限。33.93%
• 1 · 0.95接受该主张将需要同时推翻多个独立科学领域中经过反复验证的基本定律。39.35%
• 2 · 1.00接受该主张将需要假定来自相互竞争国家的数千家独立机构、卫星、实验室和研究人员几十年来共同编造了一个自洽的谎言。3.87%
• 3 · 0.15它关注的是主观信念状态及其对个人行为的影响，因此只要不宣称该信念在物理上是真实的，就与心理学保持一致。22.86%

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

操作者无关性

该方法或测量的结果是否取决于执行者的身份、入门层级或个人信仰？

• 0 · 0.00结果与操作者无关：任何研究者（包括怀疑者）在相同条件下遵循相同的方案，都能获得趋于一致的结果分布。70.43%
• 1 · 0.85获得结果依赖于操作者特殊的天赋、主观直觉或意识状态，无法转化为可重复的算法流程。9.78%
• 2 · 1.00怀疑性观察者或记录设备的存在，被该体系指责为阻碍该方法生效的原因。2.12%
• 3 · 0.90同一体系的不同操作者在同时分析完全相同的情况时，得出了相互矛盾的诊断或预测。17.68%

适用度: 63% (不适用: 37%)

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

模型演进

随着知识的积累和错误的排除，该领域或主张随时间推移呈现出怎样的发展轨迹？

• 0 · 0.00展现出认知上的进步：预测新的、未知的现象，纠正过去的错误，并不断完善其工具。51.00%
• 1 · 0.80停滞于过去：诉诸亘古不变的古代智慧或创始人的权威，将一成不变视作完美的证明。3.06%
• 2 · 0.90仅呈现退化性发展：每次修改都只是在修补逻辑漏洞和解释失败，从未带来新的可检验发现。39.84%
• 3 · 1.00通过不断用新叙事替换已被戳穿的主张来演进，同时始终保持相同的情感模式（贩卖恐惧或许诺轻松成功）。6.10%

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。

风险不对称性

所宣称效果的证实程度，与向受众索取的代价（经济、健康、认知成本）之间的比例如何？

• 0 · 0.00所建议的行动与证据强度相称；其风险特征、副作用及有效性边界均有明确的量化说明。69.77%
• 1 · 1.00利用恐惧或不确定性，迫使人们放弃经过验证的防护或医疗程序，转而选择未经证实的替代方案。6.86%
• 2 · 0.60许诺以极小的付出换取极大的回报，同时使成功依赖于购买更多产品、疗程或更高层级的进阶资格。13.68%
• 3 · 0.85构建封闭的群体认同，使得脱离错误的认知成本极高，因为产生怀疑就意味着被排挤出掌握隐秘知识的社群。9.69%

柱状图显示模型给出各个回答的概率。权重代表该回答判定为 bullshit 的比重。