Duże modele językowe rozumieją język

Sprzężenie zwrotne na błędy

Jak badany system (twierdzenie, metoda lub dziedzina) reaguje na dane, które bezpośrednio przeczą jego przewidywaniom lub założeniom?

• 0 · 0.00Koryguje swoje parametry, zawęża zakres stosowania lub odrzuca obaloną hipotezę pod wpływem powtarzających się anomalii.59,41%
• 1 · 0.85Tworzy nieweryfikowalne wyjaśnienia ad hoc, których jedynym celem jest ochrona głównego twierdzenia przed obaleniem.29,77%
• 2 · 1.00Interpretuje każdy sprzeczny dowód jako świadectwo celowego spisku, manipulacji danymi lub tuszowania prawdy przez zewnętrzne instytucje.1,54%
• 3 · 0.95Wini brak oczekiwanego rezultatu złą intencją odbiorcy, brakiem wiary lub niewystarczającym zaangażowaniem.1,04%
• 4 · 0.80Unika konfrontacji z błędem, formułując prognozy na tyle niejasne, że każdy wynik można po fakcie uznać za sukces.8,25%

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Nośnik przyczynowości

Jaki rodzaj mechanizmu postuluje twierdzenie lub metoda, aby przenieść oddziaływanie od przyczyny do skutku?

• 0 · 0.00Mierzalny nośnik fizyczny, chemiczny lub informacyjny, zgodny z ustalonymi prawami zachowania i skalami wielkości.86,87%
• 1 · 0.10Jedynie zmiany w nastawieniu, poziomie stresu, uwadze lub zachowaniu człowieka (oczekiwania, efekt placebo, efekt nocebo, samospełniająca się przepowiednia), bez udziału sił zewnętrznych.6,04%
• 2 · 1.00Niemierzalne pola, energie lub pamięć substancji, które nie dają żadnych efektów w kontrolowanych pomiarach aparaturą.4,96%
• 3 · 1.00Bezpośrednie oddziaływanie obiektów lub zjawisk o zupełnie innej skali, bez fizycznego nośnika o wystarczającej sile.1,59%
• 4 · 1.00Magiczny izomorfizm: podobieństwo kształtu, nazwy, symbolu lub daty traktowane jako fizyczny związek przyczynowy.0,54%

Dotyczy: 83% (Nie dotyczy: 17%)

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Test ślepej próby

Co dzieje się z deklarowanym efektem lub prawdziwością twierdzenia, gdy osoba badana jest w pełni zaślepiona co do tego, czy i jaki bodziec zastosowano (ślepa próba, kontrola oczekiwań)?

• 0 · 0.00Efekt zachowuje istotność statystyczną niezależnie od wiedzy, przekonań i oczekiwań osoby badanej oraz wykonawcy próby.58,91%
• 1 · 1.00Efekt spada do poziomu szumu losowego, gdy osoba badana nie wie o zastosowaniu metody lub otrzymuje procedurę pozorowaną (placebo).11,00%
• 2 · 0.35Efekt częściowo utrzymuje się jedynie w zmiennych behawioralnych, ergonomicznych lub emocjonalnych, lecz znika w przypadku deklarowanych zmian fizycznych.2,16%
• 3 · 1.00System z góry odrzuca kontrolowaną ślepą próbę jako niedopuszczalną lub niszczącą badane zjawisko i odmawia odseparowania go od szumu.26,74%
• 4 · 0.05Twierdzenie dotyczy zjawiska, w którym samo przekonanie osoby badanej jest jedynym czynnikiem sprawczym, więc bez niego zjawisko z definicji przestaje istnieć.1,19%

Dotyczy: 51% (Nie dotyczy: 49%)

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Falsyfikowalność

Jakie możliwe stany rzeczywistości system kategorycznie wyklucza (jakie obserwacje zmusiłyby go do uznania własnej fałszywości)?

• 0 · 0.00Precyzyjnie definiuje mierzalne wyniki i progi, których zaobserwowanie jednoznacznie obala twierdzenie.21,67%
• 1 · 1.00Nie wyklucza żadnego stanu: zarówno A, jak i nie-A są interpretowane jako potwierdzenie modelu.41,17%
• 2 · 0.90Dopuszcza obalenie tylko w teorii, stawiając wymagania pomiarowe, które są technicznie lub logicznie niewykonalne.35,50%
• 3 · 0.25Składa się wyłącznie ze stwierdzeń wartościujących, metaforycznych lub egzystencjalnych, które ze swej natury nie podlegają falsyfikacji.1,66%

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Precyzja semantyczna

Jak pojęcia ogólne tego systemu są powiązane z niższymi szczeblami drabiny abstrakcji (konkretnymi pomiarami i operacjami)?

• 0 · 0.00Każde pojęcie teoretyczne ma jednoznaczną definicję operacyjną, jednostkę miary oraz procedurę umożliwiającą niezależną replikację.28,17%
• 1 · 0.80Pojęcia są celowo nieprecyzyjne (efekt Barnuma), co pozwala odbiorcom dopasować ogólny opis do własnych doświadczeń.11,03%
• 2 · 1.00Zapożycza precyzyjne terminy naukowe (kwantowy, częstotliwość, energia, detoks, grawitacja) w oderwaniu od ich definicji matematycznych i używa ich jako metafor.18,98%
• 3 · 0.90Zmienia znaczenia pojęć (taktyka motte-and-bailey): w przekazie promocyjnym obiecuje dosłowny efekt fizyczny, a pod wpływem krytyki wycofuje się do interpretacji symbolicznej lub psychologicznej.41,82%

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Brzytwa Ockhama

Co pozostaje z prognostycznej lub praktycznej użyteczności systemu po zastosowaniu brzytwy Ockhama (całkowitym odrzuceniu specyficznego, nieweryfikowalnego aparatu pojęciowego)?

• 0 · 0.00Usunięcie aparatu pojęciowego niszczy zdolność przewidywania i projektowania zjawisk, ponieważ każdy element odpowiada rzeczywistym zmiennym układu.66,84%
• 1 · 0.40Po odrzuceniu ezoterycznej lub ideologicznej nadbudowy pozostaje zestaw prostych zasad ergonomii, higieny, psychologii lub zdrowego rozsądku, które działają identycznie bez niej.19,46%
• 2 · 0.95Po usunięciu specyficznych pojęć i rytuałów system traci całą treść i sprowadza się do czystego efektu placebo lub losowego zgadywania.9,28%
• 3 · 1.00System opiera się wyłącznie na negowaniu dotychczasowej wiedzy i nie oferuje własnego modelu zdolnego do generowania sprawdzalnych przewidywań technicznych.4,42%

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Spójność z siecią pomiarową

Jak twierdzenie odnosi się do niezależnych, wzajemnie weryfikujących się sieci pomiarowych z powiązanych dziedzin?

• 0 · 0.00Jest spójne z danymi z niezależnych dziedzin (zbieżność dowodów); ewentualne różnice wynikają ze znanych ograniczeń aparatury.33,93%
• 1 · 0.95Jego przyjęcie wymagałoby unieważnienia fundamentalnych, wielokrotnie potwierdzonych praw w wielu niezależnych dziedzinach nauki jednocześnie.39,35%
• 2 · 1.00Jego przyjęcie wymagałoby założenia, że tysiące niezależnych instytucji, satelitów, laboratoriów i naukowców z konkurujących ze sobą państw wspólnie fabrykuje spójne kłamstwo od dziesięcioleci.3,87%
• 3 · 0.15Dotyczy subiektywnego stanu przekonań i jego wpływu na zachowanie jednostki, jest więc spójne z psychologią, dopóki nie twierdzi, że dane przekonanie jest obiektywnie prawdziwe w sensie fizycznym.22,86%

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Niezależność od operatora

Czy wynik metody lub pomiaru zależy od tożsamości, stopnia wtajemniczenia lub osobistych przekonań osoby wykonującej procedurę?

• 0 · 0.00Wynik jest niezależny od operatora: każdy badacz, w tym sceptyk, stosując ten sam protokół w tych samych warunkach, uzyskuje zbieżny rozkład wyników.70,43%
• 1 · 0.85Uzyskanie wyniku wymaga szczególnego daru, subiektywnej intuicji lub stanu świadomości operatora, których nie da się przekształcić w powtarzalny algorytm.9,78%
• 2 · 1.00Obecność sceptycznego obserwatora lub aparatury rejestrującej jest wskazywana przez system jako czynnik blokujący działanie metody.2,12%
• 3 · 0.90Różni operatorzy tego samego systemu, analizując ten sam przypadek w tym samym czasie, formułują wzajemnie sprzeczne diagnozy lub prognozy.17,68%

Dotyczy: 63% (Nie dotyczy: 37%)

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Ewolucja modelu

Jaka jest trajektoria rozwoju dziedziny lub twierdzenia w czasie pod względem gromadzenia wiedzy i eliminowania błędów?

• 0 · 0.00Wykazuje postęp poznawczy: przewiduje nowe, nieznane wcześniej zjawiska, koryguje dawne błędy i udoskonala swoje narzędzia.51,00%
• 1 · 0.80Jest zastygle w czasie: odwołuje się do niezmiennej starożytnej mądrości lub autorytetu założyciela, a brak zmian traktuje jako dowód doskonałości.3,06%
• 2 · 0.90Rozwija się wyłącznie degeneracyjnie: każda modyfikacja służy jedynie łataniu luk logicznych i tłumaczeniu porażek, bez przynoszenia nowych, sprawdzalnych odkryć.39,84%
• 3 · 1.00Ewoluuje poprzez ciągłe zastępowanie obalonych tez nowymi narracjami, zachowując ten sam schemat emocjonalny (strach lub obietnicę łatwego sukcesu).6,10%

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.

Asymetria ryzyka

Jaki jest stosunek poziomu udokumentowania deklarowanych efektów do kosztów (finansowych, zdrowotnych, poznawczych) wymaganych od odbiorcy?

• 0 · 0.00Zalecane działania są proporcjonalne do siły dowodów; profil ryzyka, skutki uboczne i granice skuteczności są otwarcie określone ilościowo.69,77%
• 1 · 1.00Wykorzystuje lęk lub niepewność, by skłonić odbiorców do rezygnacji ze sprawdzonych procedur ochronnych lub medycznych na rzecz niesprawdzonych alternatyw.6,86%
• 2 · 0.60Obiecuje nieproporcjonalnie duże korzyści przy minimalnym wysiłku, uzależniając sukces od zakupu kolejnych produktów, sesji lub poziomów wtajemniczenia.13,68%
• 3 · 0.85Buduje zamkniętą tożsamość grupową, w której poznawczy koszt porzucenia błędu jest wysoki, gdyż zwątpienie oznacza wykluczenie ze społeczności posiadającej ukrytą wiedzę.9,69%

Pasek pokazuje prawdopodobieństwo przypisane odpowiedzi przez model. Waga określa, w jakim stopniu odpowiedź jest traktowana jako bullshit.