Les grands modèles de langage comprennent le langage

Rétroaction sur l'erreur

Comment le système examiné (affirmation, méthode ou discipline) réagit-il aux données qui contredisent directement ses prédictions ou ses postulats ?

• 0 · 0.00Il ajuste ses paramètres, restreint son champ d'application ou rejette l'hypothèse réfutée face à des anomalies répétées.59,41%
• 1 · 0.85Il produit des explications ad hoc invérifiables dont la seule fonction est de protéger l'affirmation centrale contre toute réfutation.29,77%
• 2 · 1.00Il interprète chaque élément de preuve contraire comme la marque d'un complot délibéré, d'une manipulation de données ou d'une dissimulation par des institutions extérieures.1,54%
• 3 · 0.95Il attribue l'absence de résultat à une mauvaise intention, un manque de foi ou un engagement insuffisant du sujet.1,04%
• 4 · 0.80Il évite d'affronter l'erreur en formulant des prédictions si vagues que n'importe quel dénouement peut être qualifié de succès a posteriori.8,25%

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Support causal

Quel type de mécanisme l'affirmation ou la méthode invoque-t-elle pour transmettre l'influence de la cause à l'effet ?

• 0 · 0.00Un vecteur physique, chimique ou informationnel mesurable, cohérent avec les lois de conservation et les échelles établies.86,87%
• 1 · 0.10Uniquement des changements d'attitude, de niveau de stress, d'attention ou de comportement chez la personne (attente, placebo, nocebo, prophétie autoréalisatrice), sans forces extérieures.6,04%
• 2 · 1.00Des champs, des énergies ou une mémoire de la matière non mesurables, qui ne produisent aucun effet lors de mesures instrumentales contrôlées.4,96%
• 3 · 1.00Une causalité directe exercée par des objets ou des phénomènes d'une échelle totalement différente, sans vecteur de transmission physique d'intensité suffisante.1,59%
• 4 · 1.00Un isomorphisme magique : une ressemblance de forme, de nom, de symbole ou de date est traitée comme un lien de causalité physique.0,54%

Applicable: 83% (Non applicable: 17%)

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Test en aveugle

Qu'advient-il de l'effet revendiqué ou de la véracité de l'affirmation lorsque le sujet est placé en aveugle complet quant à l'application et la nature du stimulus (procédure en aveugle, contrôle des attentes) ?

• 0 · 0.00L'effet conserve une intensité statistiquement significative, indépendamment des connaissances, des croyances et des attentes du sujet et de l'opérateur.58,91%
• 1 · 1.00L'effet retombe au niveau du bruit aléatoire lorsque le sujet ignore si la méthode a été appliquée ou lorsqu'il reçoit un traitement fictif.11,00%
• 2 · 0.35L'effet persiste en partie sur des variables comportementales, ergonomiques ou émotionnelles, mais disparaît pour les changements physiques revendiqués.2,16%
• 3 · 1.00Le système rejette d'avance le contrôle en aveugle, le jugeant inacceptable ou destructeur pour le phénomène, et refuse de distinguer le signal du bruit.26,74%
• 4 · 0.05L'affirmation porte sur un phénomène où la croyance du sujet est le seul facteur causal ; sans elle, le phénomène cesse d'exister par définition.1,19%

Applicable: 51% (Non applicable: 49%)

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Réfutabilité

Quels états possibles du réel le système exclut-il catégoriquement (quelles observations le contraindraient à admettre qu'il a tort) ?

• 0 · 0.00Il définit précisément des résultats mesurables et des seuils dont l'observation réfute définitivement l'affirmation.21,67%
• 1 · 1.00Il n'exclut aucun état : A tout comme non-A sont interprétés comme confirmant le modèle.41,17%
• 2 · 0.90Il n'admet la réfutation qu'en théorie, mais impose des exigences de mesure techniquement ou logiquement impossibles.35,50%
• 3 · 0.25Il est uniquement constitué d'énoncés de valeur, métaphoriques ou existentiels, qui par nature n'offrent aucune prise à la réfutation.1,66%

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Précision sémantique

Comment les concepts abstraits du système sont-ils reliés aux échelons concrets de l'échelle d'abstraction (mesures et opérations réelles) ?

• 0 · 0.00Chaque concept théorique possède une définition opérationnelle sans ambiguïté, une unité de mesure et un protocole permettant une réplication indépendante.28,17%
• 1 · 0.80Les concepts sont volontairement vagues (effet Barnum), ce qui permet au public d'adapter une description générale à sa propre expérience.11,03%
• 2 · 1.00Il emprunte des termes scientifiques précis (quantique, fréquence, énergie, détox, gravité) détachés de leur définition mathématique pour les employer comme métaphores.18,98%
• 3 · 0.90Il fait glisser le sens des termes (sophisme de la motte castrale / motte-and-bailey) : il promet un effet physique littéral et tangible lors de sa promotion, puis se replie sur une interprétation symbolique ou psychologique dès qu'il est critiqué.41,82%

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Rasoir d'Ockham

Que reste-t-il de l'utilité prédictive ou pratique du système une fois passé au rasoir d'Ockham (en éliminant tout son appareil conceptuel spécifique et invérifiable) ?

• 0 · 0.00Retirer l'appareil conceptuel détruit la capacité de prédire et de concevoir des phénomènes, car chaque élément correspond à des variables réelles du système.66,84%
• 1 · 0.40Après retrait de la superstructure ésotérique ou idéologique, il ne reste qu'un ensemble de règles simples d'ergonomie, d'hygiène, de psychologie ou de bon sens, qui fonctionnent tout aussi bien sans elle.19,46%
• 2 · 0.95Après retrait de ses concepts et rituels spécifiques, le système perd tout contenu et se réduit à un simple effet placebo ou au hasard.9,28%
• 3 · 1.00Le système se résume à la négation des connaissances établies et ne propose aucun modèle propre capable de formuler des prédictions techniques vérifiables.4,42%

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Réseau de mesure

Comment l'affirmation s'articule-t-elle avec les réseaux de mesures indépendants et recoupés des disciplines connexes ?

• 0 · 0.00Elle est cohérente avec les données issues de domaines indépendants (convergence de preuves) ; les éventuels écarts s'expliquent par les limites connues des instruments.33,93%
• 1 · 0.95Son acceptation exigerait d'invalider simultanément des lois fondamentales et maintes fois vérifiées dans de nombreux domaines scientifiques indépendants.39,35%
• 2 · 1.00Son acceptation exigerait de supposer que des milliers d'institutions indépendantes, de satellites, de laboratoires et de chercheurs de pays rivaux fabriquent de concert un mensonge cohérent depuis des décennies.3,87%
• 3 · 0.15Elle concerne un état de croyance subjectif et son influence sur le comportement individuel ; elle est donc compatible avec la psychologie tant qu'elle ne prétend pas que la croyance est physiquement vraie.22,86%

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Indépendance de l'opérateur

Le résultat de la méthode ou de la mesure dépend-il de l'identité, du degré d'initiation ou des croyances personnelles de la personne qui l'exécute ?

• 0 · 0.00Le résultat est indépendant de l'opérateur : tout chercheur, même sceptique, appliquant le même protocole dans les mêmes conditions obtient une distribution de résultats convergente.70,43%
• 1 · 0.85L'obtention d'un résultat exige un don particulier, une intuition subjective ou un état de conscience de l'opérateur qui ne peut être traduit en un algorithme reproductible.9,78%
• 2 · 1.00La présence d'un observateur sceptique ou de matériel d'enregistrement est invoquée par le système pour expliquer l'échec de la méthode.2,12%
• 3 · 0.90Différents opérateurs d'un même système, analysant simultanément un cas identique, aboutissent à des diagnostics ou des prédictions mutuellement contradictoires.17,68%

Applicable: 63% (Non applicable: 37%)

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Évolution du modèle

Quelle est la trajectoire de la discipline ou de l'affirmation au fil du temps face à l'accumulation des connaissances et à l'élimination des erreurs ?

• 0 · 0.00Elle témoigne d'un progrès cognitif : elle prédit de nouveaux phénomènes jusque-là inconnus, corrige ses erreurs passées et perfectionne ses outils.51,00%
• 1 · 0.80Elle est figée dans le temps : elle en appelle à une sagesse ancestrale immuable ou à l'autorité d'un fondateur, et présente cette absence d'évolution comme une preuve de perfection.3,06%
• 2 · 0.90Son évolution est purement régressive : chaque modification ne sert qu'à colmater des failles logiques et à justifier des échecs, sans jamais apporter de nouvelle découverte testable.39,84%
• 3 · 1.00Elle évolue en remplaçant continuellement les affirmations réfutées par de nouveaux récits, tout en conservant le même ressort émotionnel (la peur ou la promesse d'un succès facile).6,10%

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.

Asymétrie des risques

Quel est le rapport entre le niveau de preuve des effets revendiqués et le coût (financier, sanitaire, cognitif) exigé du public ?

• 0 · 0.00Les actions recommandées sont proportionnées au niveau de preuve ; le profil de risque, les effets secondaires et les limites d'efficacité sont ouvertement quantifiés.69,77%
• 1 · 1.00Elle exploite la peur ou l'incertitude pour inciter à abandonner des protocoles médicaux ou de protection validés au profit d'alternatives non éprouvées.6,86%
• 2 · 0.60Elle promet des bénéfices démesurés pour un effort minimal, tout en conditionnant le succès à l'achat répété de produits, de séances ou de niveaux d'initiation.13,68%
• 3 · 0.85Elle forge une identité de groupe fermée où le coût cognitif de la remise en question est élevé, car le doute entraîne l'exclusion d'une communauté détentrice d'un savoir secret.9,69%

La barre indique la probabilité attribuée par le modèle à chaque réponse. La pondération indique dans quelle mesure cette réponse compte comme du bullshit.