Naukowcy posługujący się badaniami statystycznymi często skłonni są źle wyrażać się o astrologii mimo błędów w analitycznym rozumowaniu prowadzącym do błędnych wniosków.
Okazało się, że wyniki badań naukowych, na które powoływali się sceptycy przez ponad dwie dekady dążąc do obalenia i wyśmiania astrologii „naruszały wymagania poprawności i powszechnie przyjęte normy analizy statystycznej” – podsumowuje Suitbert Ertel w swoim artykule „Appraisal of Shawn Carlson’s Renowned Astrology Tests” w Journal of Scientific Exploration (No 2 Vol 23) .
Co więcej, w swojej krytyce, Suitbert Ertel z Instytutu Psychologii GEM w Getyndze w Niemczech twierdzi, że badanie zorganizowane przez naukowca Shawna Carlsona i znany, jako „Podwójny ślepy test astrologii” nastąpiło po wadliwym, fragmentarycznym, analitycznym podejściu do błędnych wniosków.
Ertel, ekspert statystyczny, jest emerytowanym profesorem na uniwersytecie w Getyndze oraz autorem licznych artykułów naukowych. The Tenacious Mars Effect, książka, którą napisał razem z Amerykaninem Kennethem Irvingiem, broniła statystycznej wiarygodności efektów astrologicznych zgłoszonych przez francuskiego statystyka Michela Gauquelina.
Badanie Carlsona jest powszechnie postrzegane przez sceptyków jako test, który skutecznie ukazał niezdolność profesjonalnych astrologów do poprawnego dopasowania horoskopów indywidualnych do profilów osobowości wygenerowanych przez standardowy psychologiczny test osobowości. Trzyczęściowe studium było również cytowane jako dowód, że ludzie nie znają się tak dobrze i nie potrafią odróżnić swoich własnych horoskopów interpretowanych przez profesjonalnych astrologów od horoskopów innych osób.
Kontrowersyjne badanie opublikowane w prestiżowym czasopiśmie naukowym Nature w 1985 jest badaniem, do którego odnosi się ponad 400 stron internetowych wymienionych w wyszukiwarce Google, czyli więcej niż jakikolwiek inny artykuł naukowy tego rodzaju.
Carlson twierdził, że nieudane testy dotyczące studentów-ochotników oraz profesjonalnych astrologów z rejonu Zatoki San Francisco „stanowiły silne argumenty przeciwko astrologii urodzeniowej praktykowanej przez renomowanych astrologów.” Profesor Ertel ponownie przeanalizował dane z badania i okazało się, że to stwierdzenie było “nie do obrony”.
Astrolodzy uczestniczący w tym głośnym badaniu wyszli znacznie lepiej, niż można powszechnie sądzić, zauważył.
Opis testu
W jednym z trzech badań przeprowadzonych przez Carlsona, profesjonalni astrolodzy zostali poproszeni o dopasowanie horoskopów urodzeniowych studentów-ochotników z profilami osobowości wygenerowanymi przez ankietę California Psychological Inventory (CPI). Przygotowano 116 horoskopów urodzeniowych studentów-ochotników i każdy ochotnik został poproszony o wypełnienie długiego kwestionariusza CPI.
Horoskopy ochotników zostały następnie podzielone między 28 uczestniczących astrologów. W celu porównania astrologowie otrzymali do każdego horoskopu trzy profile osobowości z ankiet CPI. Jeden z profilów należał do właściciela horoskopu, a dwa pozostałe były losowo wybranymi profilami innych ochotników z grupy.
Badanie miało określić, czy astrologowie wspólnie byliby w stanie dopasować horoskopy do odpowiadających im prawidłowych profili CPI w statystycznie znaczący sposób. W ramach zadania, astrologowie zostali poproszeni o podanie, który profil najlepiej pasował do horoskopu, który jako drugi i trzeci oraz o ocenienie, jak odczuwali prawidłowość swojego wyboru w skali od jednego do 10.
Podobny test został przeprowadzony, aby sprawdzić czy sami studenci mogliby zidentyfikować swoje własne profile osobowości CPI z grupy, która zawierałaby ich własny profil oraz dwa inne. Trzeci test został opracowany, aby sprawdzić czy studenci poradziliby sobie równie dobrze lub równie źle, kiedy profile osobowościowe zostały przygotowane przez profesjonalnych astrologów.
W rzeczywistości projekt wszystkich trzech testów był taki sam, ale ochotnicy nie zostali poproszeni o subiektywną ocenę lub o wskazanie jak dobrze czuli się odnośnie trafności swoich wyborów.
Carlson wysnuł wiosek, że astrologowie nieprawidłowo dopasowali horoskopy do odpowiadających im profilów. Ogłosił on również, że ochotnicy studenccy nie byli w stanie zidentyfikować swoich własnych profilów CPI i wcale nie radzili sobie lepiej, kiedy pisemne profile były przygotowane przez profesjonalnych astrologów.
Nieudany lub przypadkowy wynik oznaczałby, że osoby wybrały właściwe profile jedynie dla 33 procent (raz na trzy próby), co jest w przybliżeniu wynikiem, który Carlson ogłosił dla wszystkich trzech testów.
Kiedy badanie zostało zakończone w 1983 roku, Carlson był doktorantem fizyki na University of California i bez specjalnego przeszkolenia lub wiedzy na temat testów psychologicznych. Wątpliwości dotyczące użytych metod oraz wysnutych wniosków szybko się ujawniły. Na przykład Carlson został skrytykowany za poproszenie astrologów o zrobienie czegoś, przed czym CPI szczególnie ostrzegało: interpretowanie wyników bez posiadania żadnego wcześniejszego doświadczenia w stosowaniu narzędzia testowego w sposób, w jaki powinno być użyte przez wyszkolonych profesjonalnych psychologów.
Ponieważ CPI daje różne profile dla mężczyzn i kobiet, żaden psycholog nie będzie próbował interpretować CPI bez poznania płci osób badanych. Jednak astrologowie później twierdzili, że Carlson celowo nie podał im tej informacji. Inne obawy koncentrują się na publikacji pracy naukowej w sekcji komentarzy Nature, jedynej sekcji artykułów czasopisma, która jest zależna od uznania redakcji. Treści publikowane tutaj nie podlegają procesowi recenzji.
Zakwestionowana uczciwość testów
Krytyczna ocena badania przez Ertela dotyczyła kwestii uczciwości, kwestionowała rozmiar próby, znalazła błędy stosowanej metodologii i zauważyła możliwość, że nieostrożne obchodzenie się z danymi może zdyskredytować wyniki. Jeszcze bardziej obciążające, powiedział, było to, że „fragmentaryczne podejście do analizy statystycznej” naukowca przyczyniło się do błędów rachunkowych.
Testy dotyczące ochotników były szczególnie podejrzane. Ertel zauważył, że połowa ocen danych była tak marna, że nie mogła być analizowana, a połowa, która mogła być analizowana, nie była uważnie wypełniona. Więcej niż jedna trzecia studentów nie wypełniła swojego zadania.
Astrologowie byli bardziej zmotywowani ale Ertel twierdzi, że format podwójnego wyboru (porównanie par) byłoby bardziej sprawiedliwym sposobem przeprowadzenia badań “ponieważ to podejście minimalizuje złożoność zadania osoby przy jednoczesnym zwiększeniu precyzji wyników.”
Jednocześnie astrolodzy oprotestowali, że profile, które mieli porównać, były bardzo podobne. Byłoby bardziej sprawiedliwie w takim teście, aby astrolodzy powinni zostać poproszeni o porównanie profilów osób, które mają różne cechy osobowości, uważa Ertel.
Wykazuje on, że Carlson początkowo zamierzał sprawdzić, czy astrolodzy potrafią wybrać prawidłowy profil jako ich pierwszy lub drugi wybór statystycznie lepiej niż przewidywano ale „zignorował swój własny protokół bez podawania powodów.” Na podstawie swojej powtórnej analizy danych Ertel potwierdził, że astrologowie byli w stanie wybrać prawidłowy profil jako pierwszy lub drugi wybór w stopniu wyższym niż przypadkowy.
Statystycznie istotnie astrolodzy byli również w stanie zidentyfikować, który profil osobowości był najsłabszym „dopasowaniem” – to wniosek, który również zaprzecza oryginalnemu twierdzeniu Carlsona. Powtórna statystyczna analiza jednego z 10 ilościowych systemów rankingowych, które były użyte przez astrologów dla subiektywnego wskazania jak dobrze czuli się odnośnie swoich wyborów również wypadła na ich korzyść. W związku z co najmniej dwoma znaczącymi wynikami testów, stwierdzenie Carlsona, że naukowcy są teraz w stanie podać zaskakująco silny argument przeciwko astrologii praktykowanej przez renomowanych astrologów, nie jest uzasadnione, podsumowuje Ertel.
Źródło: ANS