Modele językowe to rasiści i mizogini? Ukryte uprzedzenia AI

Duże modele językowe mają jednak swoje ograniczenia. Mogą przyczyniać się do rozpowszechniania dezinformacji czy przekazywać niepełne, wprowadzające w błąd wiadomości, dotyczące chociażby zdrowia psychicznego.

Narzędzia te prezentują specyficzny dla siebie obraz świata, który jest wynikiem nie tylko w pełni obiektywnych, pozbawionych wartościowania informacji. Mają one niejako „wrodzone” uprzedzenia i stereotypowe poglądy na rzeczywistość. Nie są to tylko jednostkowe przypadki, lecz szerszy problem dotyczący najbardziej znanych narzędzi.

Model językowy jak dziecko – powtórzy to, czego go nauczymy

Najogólniej rzecz ujmując, stronniczość modeli językowych wynika z tego, że systemy komputerowe systematycznie dyskryminują pewne osoby i grupy, czym przyczyniają się do powstania niesprawiedliwego, nierzetelnego oglądu sytuacji.

Jak czytamy w artykule z marca 2024 roku opublikowanym przez „Scientific Reports”, wśród różnych rodzajów uprzedzeń te związane z płcią i rasą cieszą się największym zainteresowaniem wśród naukowców reprezentujących różne dyscypliny. Jest tak ze względu na głęboki wpływ tych przekonań na użytkowników i zakrojone na szeroką skalę możliwe skutki społeczne.

Modele językowe nie wymyśliły sobie stereotypów same. Ich rasistowskie lub mizoginiczne „poglądy” wynikają z treści, do których mają dostęp. Jeśli będziemy wystarczająco dużo razy powtarzać przy dziecku, że sąsiadka spod piątki kradnie, nie musimy mu mówić wprost, że ma przy niej uważać na portfel. Po jakimś czasie odruchowo sam przytrzyma kieszeń w jej obecności. Wystarczy, że usłyszy mimochodem, jak się w ten sposób wypowiadamy, że przeczyta wiadomość pełną podejrzeń, że zobaczy post na grupie mieszkańców osiedla.

Podobnie jest w przypadku modeli językowych – korzystają one z tego, co pokazali im ludzie, którzy z kolei sami to wcześniej stworzyli.

Model językowy jak pijany wujek na weselu – powie wprost

Wspomniane badanie z „Scientific Reports” ujawnia, że modele językowe wykazują znaczne uprzedzenia związane z płcią i rasą zarówno na poziomie pojedynczych słów czy zdań, jak i całych dokumentów. Co więcej, badacze celowo wybrali do analizy artykuły prasowe opublikowane przez „The New York Times” i Agencję Reutera, ponieważ – jak podkreślają naukowcy – „są znane ze swojego zaangażowania w dostarczanie starannych i bezstronnych wiadomości”.

Przebadane modele wykazują też zauważalnie dyskryminujące podejście wobec niedostatecznie reprezentowanych w tekstach grup populacji, tj. kobiet i osób czarnoskórych.

Model językowy jak „uprzejma” ciocia – wie, że nie wypada, ale wspomni między wierszami

Większość badań nad modelami językowymi skupia się na jawnych uprzedzeniach przez nie reprezentowanych. Z biegiem czasu rozwinęły się jednak stereotypy o bardziej subtelnym charakterze. Jak wynika z publikacji autorstwa prof. Dana Jurafsky’ego, dr Sharese King, Valentina Hofmanna i Pratyushy Rii Kalluri, modele językowe ucieleśniają ukryty rasizm w formie uprzedzeń dotyczących dialektów (praca ta została opublikowana w serwisie arXiv, który zamieszcza materiały moderowane, ale nie recenzowane, podajemy ją jednak jako dodatkowe źródło informacji).

Naukowcy porównali odpowiedzi udzielone przez sztuczną inteligencję osobom posługującym się różnymi dialektami języka angielskiego. Co ważne, modele językowe „oceniły” pochodzenie etniczne użytkownika wyłącznie na podstawie tego, jaką odmianą języka się posługiwał – nie przekazano im wprost, kiedy mają do czynienia z osobą o jakim pochodzeniu.

„Kiedy ludzie przekroczą pewien próg edukacyjny, nie będą cię obrzucać obelgami, ale rasizm nadal istnieje. Podobnie jest w modelach językowych” – zauważa dr Avijit Ghosh z Laboratorium Ograniczania Zagrożeń Ekosystemu Informacyjnego (RIET) na University of Connecticut w komentarzu dla „The Guardian”.

Model językowy jak uprzedzony szef – zobaczy, skąd pochodzisz, i nie zechce cię zatrudnić

Okazuje się, że sztuczna inteligencja z większym prawdopodobieństwem przydzieli stanowisko o niższym prestiżu społecznym osobie o pochodzeniu afroamerykańskim. Valentin Hofmann, jeden z autorów publikacji, podkreśla, że „LLM przydzielają znacznie mniej prestiżowe stanowiska osobom posługującym się afroamerykańskim angielskim w porównaniu z osobami posługującymi się standardowym amerykańskim angielskim, mimo że nie mówi się im otwarcie, że są to Afroamerykanie”.

Uprzedzenia dotyczące używanego dialektu mogą więc wpływać na decyzje AI w realnym świecie, na przykład w sytuacji, gdy model językowy jest stosowany jako wsparcie procesu rekrutacji. Już dziś sztuczna inteligencja pomaga menedżerom ds. rekrutacji w przeglądaniu licznych CV, co może mieć wpływ na zatrudnienia nie tylko w kontekście pochodzenia etnicznego kandydatów, lecz także ich płci i innych cech.

Jak podkreśla Hofmann, nie jest nierozsądne sądzić, że model językowy nie wybierze kandydata, z uwagi na to, że używał on konkretnego dialektu np. w postach opublikowanych w mediach społecznościowych.

Ze wspomnianego badania wynika również, że narzędzia bazujące na sztucznej inteligencji częściej sugerują, że osoby posługujące się afroamerykańskim angielskim mają być skazywane za przestępstwa. Kiedy modele językowe są proszone o wydanie wyroku w sprawie osób oskarżonych o morderstwo, częściej wybierają karę śmierci, gdy oskarżeni mówią w afroamerykańskiej wersji języka angielskiego.

To nie czas na szampana. Problem nie jest rozwiązany

Amerykanie pielęgnują stereotypy rasowolingwistyczne na temat osób mówiących afroamerykańską wersją angielskiego. Okazuje się, że modele językowe wykazują podobne uprzedzenia, które – zdaniem ekspertów – są bardziej negatywne niż jakiekolwiek ludzkie stereotypy na temat Afroamerykanów, które kiedykolwiek zostały odnotowane eksperymentalnie.

Wyniki zaprezentowane w publikacji dotyczącej ukrytych uprzedzeń modeli językowych wskazują, że kwestia ta nie jest rozwiązana. Może to prowadzić do kolejnego problemu – istnieje ryzyko, że użytkownicy będą błędnie uznawać zmniejszający się poziom jawnie przekazywanych stereotypów za oznakę poprawy sytuacji, podczas gdy w rzeczywistości modele językowe osiągają coraz wyższy poziom ukrytych uprzedzeń. Co więcej, fakt, że narzędzia te wykazują mniejszy poziom jawnych uprzedzeń, nie oznacza, że te ostatnie zniknęły całkowicie.

Autorka: Izabela Tomaszewska, Stowarzyszenie Demagog