Jak działa BullshitRank

Jak badany system (twierdzenie, metoda lub dziedzina) reaguje na dane, które bezpośrednio przeczą jego przewidywaniom lub założeniom?

0. 0.00Koryguje swoje parametry, zawęża zakres stosowania lub odrzuca obaloną hipotezę pod wpływem powtarzających się anomalii.
1. 0.85Tworzy nieweryfikowalne wyjaśnienia ad hoc, których jedynym celem jest ochrona głównego twierdzenia przed obaleniem.
2. 1.00Interpretuje każdy sprzeczny dowód jako świadectwo celowego spisku, manipulacji danymi lub tuszowania prawdy przez zewnętrzne instytucje.
3. 0.95Wini brak oczekiwanego rezultatu złą intencją odbiorcy, brakiem wiary lub niewystarczającym zaangażowaniem.
4. 0.80Unika konfrontacji z błędem, formułując prognozy na tyle niejasne, że każdy wynik można po fakcie uznać za sukces.

Jaki rodzaj mechanizmu postuluje twierdzenie lub metoda, aby przenieść oddziaływanie od przyczyny do skutku?

0. 0.00Mierzalny nośnik fizyczny, chemiczny lub informacyjny, zgodny z ustalonymi prawami zachowania i skalami wielkości.
1. 0.10Jedynie zmiany w nastawieniu, poziomie stresu, uwadze lub zachowaniu człowieka (oczekiwania, efekt placebo, efekt nocebo, samospełniająca się przepowiednia), bez udziału sił zewnętrznych.
2. 1.00Niemierzalne pola, energie lub pamięć substancji, które nie dają żadnych efektów w kontrolowanych pomiarach aparaturą.
3. 1.00Bezpośrednie oddziaływanie obiektów lub zjawisk o zupełnie innej skali, bez fizycznego nośnika o wystarczającej sile.
4. 1.00Magiczny izomorfizm: podobieństwo kształtu, nazwy, symbolu lub daty traktowane jako fizyczny związek przyczynowy.
5. n/aNie dotyczy: twierdzenie nie postuluje mechanizmu przyczynowego ani metody; stwierdza jedynie fakty, wersję historii lub ukrytą prawdę.

Co dzieje się z deklarowanym efektem lub prawdziwością twierdzenia, gdy osoba badana jest w pełni zaślepiona co do tego, czy i jaki bodziec zastosowano (ślepa próba, kontrola oczekiwań)?

0. 0.00Efekt zachowuje istotność statystyczną niezależnie od wiedzy, przekonań i oczekiwań osoby badanej oraz wykonawcy próby.
1. 1.00Efekt spada do poziomu szumu losowego, gdy osoba badana nie wie o zastosowaniu metody lub otrzymuje procedurę pozorowaną (placebo).
2. 0.35Efekt częściowo utrzymuje się jedynie w zmiennych behawioralnych, ergonomicznych lub emocjonalnych, lecz znika w przypadku deklarowanych zmian fizycznych.
3. 1.00System z góry odrzuca kontrolowaną ślepą próbę jako niedopuszczalną lub niszczącą badane zjawisko i odmawia odseparowania go od szumu.
4. 0.05Twierdzenie dotyczy zjawiska, w którym samo przekonanie osoby badanej jest jedynym czynnikiem sprawczym, więc bez niego zjawisko z definicji przestaje istnieć.
5. n/aNie dotyczy: twierdzenie nie odnosi się do efektu metody ani interwencji, którą można by poddać ślepej próbie (stwierdza fakty, wersję historii lub ukrytą prawdę).

Jakie możliwe stany rzeczywistości system kategorycznie wyklucza (jakie obserwacje zmusiłyby go do uznania własnej fałszywości)?

0. 0.00Precyzyjnie definiuje mierzalne wyniki i progi, których zaobserwowanie jednoznacznie obala twierdzenie.
1. 1.00Nie wyklucza żadnego stanu: zarówno A, jak i nie-A są interpretowane jako potwierdzenie modelu.
2. 0.90Dopuszcza obalenie tylko w teorii, stawiając wymagania pomiarowe, które są technicznie lub logicznie niewykonalne.
3. 0.25Składa się wyłącznie ze stwierdzeń wartościujących, metaforycznych lub egzystencjalnych, które ze swej natury nie podlegają falsyfikacji.

Jak pojęcia ogólne tego systemu są powiązane z niższymi szczeblami drabiny abstrakcji (konkretnymi pomiarami i operacjami)?

0. 0.00Każde pojęcie teoretyczne ma jednoznaczną definicję operacyjną, jednostkę miary oraz procedurę umożliwiającą niezależną replikację.
1. 0.80Pojęcia są celowo nieprecyzyjne (efekt Barnuma), co pozwala odbiorcom dopasować ogólny opis do własnych doświadczeń.
2. 1.00Zapożycza precyzyjne terminy naukowe (kwantowy, częstotliwość, energia, detoks, grawitacja) w oderwaniu od ich definicji matematycznych i używa ich jako metafor.
3. 0.90Zmienia znaczenia pojęć (taktyka motte-and-bailey): w przekazie promocyjnym obiecuje dosłowny efekt fizyczny, a pod wpływem krytyki wycofuje się do interpretacji symbolicznej lub psychologicznej.

Co pozostaje z prognostycznej lub praktycznej użyteczności systemu po zastosowaniu brzytwy Ockhama (całkowitym odrzuceniu specyficznego, nieweryfikowalnego aparatu pojęciowego)?

0. 0.00Usunięcie aparatu pojęciowego niszczy zdolność przewidywania i projektowania zjawisk, ponieważ każdy element odpowiada rzeczywistym zmiennym układu.
1. 0.40Po odrzuceniu ezoterycznej lub ideologicznej nadbudowy pozostaje zestaw prostych zasad ergonomii, higieny, psychologii lub zdrowego rozsądku, które działają identycznie bez niej.
2. 0.95Po usunięciu specyficznych pojęć i rytuałów system traci całą treść i sprowadza się do czystego efektu placebo lub losowego zgadywania.
3. 1.00System opiera się wyłącznie na negowaniu dotychczasowej wiedzy i nie oferuje własnego modelu zdolnego do generowania sprawdzalnych przewidywań technicznych.

Jak twierdzenie odnosi się do niezależnych, wzajemnie weryfikujących się sieci pomiarowych z powiązanych dziedzin?

0. 0.00Jest spójne z danymi z niezależnych dziedzin (zbieżność dowodów); ewentualne różnice wynikają ze znanych ograniczeń aparatury.
1. 0.95Jego przyjęcie wymagałoby unieważnienia fundamentalnych, wielokrotnie potwierdzonych praw w wielu niezależnych dziedzinach nauki jednocześnie.
2. 1.00Jego przyjęcie wymagałoby założenia, że tysiące niezależnych instytucji, satelitów, laboratoriów i naukowców z konkurujących ze sobą państw wspólnie fabrykuje spójne kłamstwo od dziesięcioleci.
3. 0.15Dotyczy subiektywnego stanu przekonań i jego wpływu na zachowanie jednostki, jest więc spójne z psychologią, dopóki nie twierdzi, że dane przekonanie jest obiektywnie prawdziwe w sensie fizycznym.

Czy wynik metody lub pomiaru zależy od tożsamości, stopnia wtajemniczenia lub osobistych przekonań osoby wykonującej procedurę?

0. 0.00Wynik jest niezależny od operatora: każdy badacz, w tym sceptyk, stosując ten sam protokół w tych samych warunkach, uzyskuje zbieżny rozkład wyników.
1. 0.85Uzyskanie wyniku wymaga szczególnego daru, subiektywnej intuicji lub stanu świadomości operatora, których nie da się przekształcić w powtarzalny algorytm.
2. 1.00Obecność sceptycznego obserwatora lub aparatury rejestrującej jest wskazywana przez system jako czynnik blokujący działanie metody.
3. 0.90Różni operatorzy tego samego systemu, analizując ten sam przypadek w tym samym czasie, formułują wzajemnie sprzeczne diagnozy lub prognozy.
4. n/aNie dotyczy: twierdzenie nie opisuje żadnej procedury ani metody wykonywanej przez operatora (stwierdza fakty, wersję historii lub ukrytą prawdę).

Jaka jest trajektoria rozwoju dziedziny lub twierdzenia w czasie pod względem gromadzenia wiedzy i eliminowania błędów?

0. 0.00Wykazuje postęp poznawczy: przewiduje nowe, nieznane wcześniej zjawiska, koryguje dawne błędy i udoskonala swoje narzędzia.
1. 0.80Jest zastygle w czasie: odwołuje się do niezmiennej starożytnej mądrości lub autorytetu założyciela, a brak zmian traktuje jako dowód doskonałości.
2. 0.90Rozwija się wyłącznie degeneracyjnie: każda modyfikacja służy jedynie łataniu luk logicznych i tłumaczeniu porażek, bez przynoszenia nowych, sprawdzalnych odkryć.
3. 1.00Ewoluuje poprzez ciągłe zastępowanie obalonych tez nowymi narracjami, zachowując ten sam schemat emocjonalny (strach lub obietnicę łatwego sukcesu).

Jaki jest stosunek poziomu udokumentowania deklarowanych efektów do kosztów (finansowych, zdrowotnych, poznawczych) wymaganych od odbiorcy?

0. 0.00Zalecane działania są proporcjonalne do siły dowodów; profil ryzyka, skutki uboczne i granice skuteczności są otwarcie określone ilościowo.
1. 1.00Wykorzystuje lęk lub niepewność, by skłonić odbiorców do rezygnacji ze sprawdzonych procedur ochronnych lub medycznych na rzecz niesprawdzonych alternatyw.
2. 0.60Obiecuje nieproporcjonalnie duże korzyści przy minimalnym wysiłku, uzależniając sukces od zakupu kolejnych produktów, sesji lub poziomów wtajemniczenia.
3. 0.85Buduje zamkniętą tożsamość grupową, w której poznawczy koszt porzucenia błędu jest wysoki, gdyż zwątpienie oznacza wykluczenie ze społeczności posiadającej ukrytą wiedzę.