#CyberMagazyn: Sztuczna inteligencja stworzyła test podatności na fake newsy

Zespół badawczy z Uniwersytetu Cambridge pod kierunkiem psychologa dr Rakoena Maertensa opracował pierwszy sprawdzony i stabilny test podatności na mylne informacje. Co ciekawe pomocna do tego okazała się sztuczna inteligencja.

Odpowiedz na kilkanaście krótkich pytań i sprawdź , czy również znajdujesz się w grupie ryzyka.

Czy to przełom w badaniach?

Badania nad dezinformacją i fałszywymi przekonaniami nie są nowością. Już od pewnego czasu psycholodzy społeczni i poznawczy starali się zrozumieć : Dlaczego ludzie wierzą w fake newsy? Dlaczego je udostępniają? Kto jest na ten problem najbardziej narażony?

Mimo to brakowało wspólnego mianownika. Wiele zespołów prowadziło eksperymenty na podstawie innych metod, przez co porównywanie wyników było niezbyt możliwe, albo prowadziło do problemów z interpretacją .

„Badacze problemu mylnych informacji często wykorzystują przypadkowe nagłówki do testowania ludzi. To Dziki Zachód testów” – stwierdza prof. Sander van der Linden, obecnie jeden z ekspertów w tej dziedzinie. Jego zespół znalazł rozwiązanie.

Skąd można mieć pewność, że dostępne w świecie akademickim testy i kwestionariusze dotyczące fake newsów badają ten sam problem? Porównanie ich ze sobą to duże i czasochłonne wyzwanie. Idealna do tego zadania okazała się sztuczna inteligencja.

Jak powstał test?

Do stworzenia fałszywych nagłówków wykorzystano starszą wersję ChatGPT. Sztuczna inteligencja z pomocą badaczy przeanalizowała dostępne kwestionariusze i testy wypracowane na przestrzeni lat przez innych naukowców.

GPT-2 zapoznał się z dotychczasowym stanem badań nad mylnymi informacjami, a następnie wygenerował tysiące nagłówków spełniających wymagania postawione przez świat akademicki. Potem przyszła kolej na kontrolę jakości.

Nagłówki wygenerowane przez SI zostały zweryfikowane przez międzynarodowy komitet ekspercki. Do dalszej części badań przeszły tylko treści, co do których istniał konsensus – oceniano je jako na pewno fałszywe lub na pewno prawdziwe.

Co dalej z nagłówkami?

W ostatnim segmencie badacze uspójnili ze sobą pozostałe nagłówki i w ramach pilotażu pokazali do oceny uczestnikom badań. Ostatecznie wybrano 20 najlepszych nagłówków, na ich podstawie powstał Test Podatności na Mylne Informacje (The Misinformation Susceptibility Test).

Badacze dążyli do tego, aby zarówno prawdziwe, jak i fałszywe nagłówki brzmiały jak najbardziej rzetelnie. Miało to utrudnić proste zaklasyfikowanie ich do kategorii "prawda” lub „fake news”. To stawia uczestnika badania przed prawdziwym wyzwaniem.

Co znajdziemy w teście MIST?

To sztuczna inteligencja pomogła stworzyć test , który pozwala ludziom uczyć się rozpoznawać fałszywe treści. A co z prawdziwymi nagłówkami?

Prawdziwe treści nie zostały wygenerowane przez SI – do tego celu wykorzystano artykuły pochodzące z zaufanych i rzetelnych stron z informacjami. Przydatna do tego okazała się baza Media Bias/Fact Check – pozwala ona sprawdzić, czy konkretny portal informacyjny jest „stronniczy” i opisuje wydarzenia z perspektywy konkretnych poglądów politycznych.

Do testu MIST wybrano nagłówki ze stron ocenionych jako najbardziej oparte na faktach i najmniej niestronnicze.

(Test MIST-20. Na początku widzimy instrukcję: „Proszę pokategoryzować poniższe nagłówki jako »fake newsy« lub »prawdziwe newsy«”. Następnie pojawiają się przykładowe newsy do oceny, takie jak: „Król Maroka mianuje szefa Komitetu do Walk z Ubóstwem i Nierównościami” oraz „Sieć Hyatt Will usuwa małe buteleczki z łazienek hotelowych”).

Jak wygląda współpraca z ChatemGPT?

To prawda, że ChatGPT potrafi tworzyć dezinformujące oraz wprowadzające w błąd treści . Pozwoliłem sobie w ramach eksperymentu na próbę stworzenia podobnych nagłówków za pomocą obecnie dostępnej wersji ChatGPT.

Na początek przedstawiłem interesujące mnie zagadnienia i poprosiłem o stworzenie fake newsów na ten temat. Nie są one aż tak dobrze dopracowane, jak te wykorzystane w teście MIST. Pamiętajmy, że badacze przeprowadzili wielostopniową walidację, czyli weryfikację rzetelności testu. Wygenerowanie nagłówków przez sztuczną inteligencję było tylko jednym z kroków.

Kto jest podatny, a kto odporny na fałszywe treści?

Na czym polega test MIST ? Internauta czyta 20 nagłówków wyglądających jak artykuły, na które można natknąć się w sieci. Na przykład „Międzynarodowi eksperci i amerykańska publiczna są zgodni: Ameryka jest coraz mniej respektowana na całym świecie”.

Zadaniem uczestnika badania jest rozpoznać, czy powyższa informacja jest prawdziwa, czy jednak był to fake news. Proste? Nie dla każdego.

Badacze z Cambridge połączyli siły z amerykańską sondażownią YouGov, aby w praktyce i na dużą skalę sprawdzić jak ludzie radzą sobie z tym wyzwaniem.

Millenialsi i Gen Z nie wypadli dobrze

Pierwsze wnioski brzmią raczej optymistycznie. Badani średnio potrafili prawidłowo ocenić ⅔ nagłówków. Wynik większy niż połowa oznacza, że nie był to jedynie ślepy traf. Mamy w takim razie przynajmniej wstępne intuicje na temat fake newsów.

Nie wszyscy wypadli tak dobrze. Gdy rozbijemy wyniki na grupy wiekowe, okaże się, że młodsze pokolenia radzą sobie z mylnymi informacjami o wiele gorzej.

Młodsze osoby o wiele rzadziej zdobywały dobry wynik w teście MIST. Tylko 11 proc. osób w wieku 18-29 odpowiedziało poprawnie na 16 z 20 pytań. A co u starszych? Osoby powyżej 65 roku życia trzykrotnie częściej (36 proc.) uzyskiwały dobry wynik.

Nadmierny sceptycyzm nie zawsze popłaca

Co ciekawe, młodsi użytkownicy nie tylko radzili sobie gorzej z rozpoznawaniem fałszywych nagłówków. Byli także bardziej sceptyczni wobec tych prawdziwych i częściej zaznaczali odpowiedź „fałsz” przy niefałszowanych informacjach.

„Boomerzy są lepsi w wykrywaniu fake newsów, niż przedstawiciele Gen Z i millenialsi” – donosi Business Insider . Czy to prawda? Z omawianego badania wynika, że tak, ale to jeszcze nie całość obrazu.

Więcej internetu i memów to wcale nie więcej wiedzy

Wręcz przeciwnie. To kolejny ciekawy wniosek płynący z badania Cambridge i YouGov. Okazuje się, że osoby spędzające więcej czasu w internecie gorzej radzą sobie z wykrywaniem fałszywych informacji oraz rozpoznawaniem tych prawdziwych. Samo bycie chronicznie online nie uczy lepszego rozpoznawania źródeł, a jedynie sceptycyzmu wobec wszystkiego, co czytamy.

Im więcej czasu ktoś spędza rekreacyjnie online, tym większa jest jego podatność na dezinformację. Okazuje się, że czasem lepiej wyjść do realnego świata, niż konsumować więcej treści. Szczególnie w kontekście stresujących wydarzeń, takich jak pandemia, wojna, potencjalny zamach stanu w Rosji czy katastrofy naturalne jesteśmy narażeni na doomscrolling, czyli nawyk niekontrolowanego, kompulsywnego śledzenia informacji (niezależnie od tego, czy są prawdziwe). A zalew wiadomości bardzo utrudnia ich weryfikację.

Źródło informacji ma znaczenie

Media społecznościowe coraz częściej są traktowane przez ludzi jako istotne źródło informacji. To niepokojący sygnał. Nie tak dawny raport Instytutu Studiów nad Dziennikarstwem Reutera (Reuters Institute for the Study of Journalism wykazał, że mniej osób ufa tzw. tradycyjnym mediom. Podobnie u nas , mniej niż połowa Polaków ufa mediom.

To niekorzystny trend, ponieważ wraz z odejściem od czerpania informacji z zaufanych źródeł ryzykujemy wpadnięciem w sidła dezinformacji. Podobne wnioski płyną z omawianego przez nas badania Cambridge i YouGov.

Social media nie powiedzą nam wszystkiego

Najgorzej z testem rozpoznawania fałszywych nagłówków radziły sobie osoby, dla których głównym źródłem informacji były platformy społecznościowe – WhatsApp, Truth Social (amerykański portal założony przez Donalda Trumpa) czy TikTok lub Instagram.

„Młodsi ludzie coraz częściej korzystają z mediów społecznościowych, aby dowiedzieć się czegoś o świecie, ale te kanały są pełne mylnych informacji” - tak wyniki podsumował autor badań dr Maertens.

Jak można działać na rzecz odporności?

Badania prowadzone przez zespół z Cambridge, w tym dr Maertensa i prof. van der Lindena wpisują się teoretyczny model , który traktuje mylne informacje jak „wirusa”, który rozprzestrzenia się po sieci i „infekuje” kolejne osoby (choć warto dodać, że model ten nie jest wolny od krytyki ). Stąd tak duży nacisk na badania dotyczące podatności na fake newsy.

Podobnie jak ze zdrowiem fizycznym, zdaniem psychologów z Cambridge możemy budować u ludzi „mentalną odporność” na fałszywe treści. Jest to możliwe na różne sposoby. Coraz popularniejszą metodą jest prebunking , którego celem jest „zaszczepienie” ludzi poprzez ekspozycję na przykładowe fałszywe treści, co ma w rezultacie wzmocnić ich układ odpornościowy.

Gry przeciwko dezinformacji

Prebunking może przyjąć formę komunikatu wyprzedzającego albo krótkiej gry edukacyjnej , takiej jak Bad News albo Cat Park .

W Stowarzyszeniu Demagog już dwa lata temu stworzyliśmy grę, która jest podobna do omówionego przedtem testu MIST. Mowa o Fajnie, że wiesz! . W przyjemnej, rozrywkowej formie użytkownik uczy się w niej rozpoznawać fałszywe treści.

Autor: Piotr Litwin, Stowarzyszenie Demagog