Wykrywacze czatbotów banalnie łatwo oszukać. Są badania

Wykrywanie tekstów napisanych przez sztuczną inteligencję miało być proste dzięki sztucznej inteligencji - to właśnie takie nieco paradoksalne rozwiązanie zaoferowali twórcy nowych technologii, widząc, iż AI wykorzystywana jest np. do oszustw na uczelni lub w pracy.

Okazuje się jednak, że teksty generowane przez algorytmy, podobnie jak obrazy produkowane przez sztuczną inteligencję, jest coraz trudniej wykrywać - a narzędzia do tego celu przeznaczone wcale nie działają tak dobrze, jak to obiecywano.

Jak oszukują użytkownicy czatbotów?

Przede wszystkim w szkole. Problem ten występuje na całym świecie, właściwie na każdym poziomie edukacji - i stał się naprawdę duży, jeśli mowa o odróżnianiu prac pisemnych pisanych przez uczniów i studentów, od tych, które generuje sztuczna inteligencja w odpowiedzi na zadane pytanie.

Oprogramowanie do wykrywania tekstów generowanych przez AI miało nauczycielom pomóc sobie z nim poradzić - okazało się jednak, że sytuacja nie wygląda wcale tak różowo.

W piśmie naukowym "Patterns" opublikowano niedawno pracę badaczy Uniwersytetu Stanforda (USA), którzy postanowili sprawdzić, na ile można polegać na wykrywaczach generatywnej sztucznej inteligencji pod względem ich skuteczności oraz jakości działania. Okazało się, że najpopularniejsze narzędzia obiecujące odróżnianie prawdziwej pracy uczniów i studentów od produkowanych przez algorytmy rewelacji niemal rutynowo popełniają błędy, a także zawierają skrzywienia, które np. nie pozwalają na pracę z niektórymi językami.

Czatbot pod przykrywką

Jednym z większych problemów dla narzędzi do wykrywania AI okazują się być... języki inne niż język angielski. Prace pisane w innych językach były bardzo często źle klasyfikowane przez narzędzia mające wskazywać, co wygenerował algorytm, a co jest pracą człowieka.

Do testów użyto 91 prac egzaminacyjnych w formie esejów pisanych w ramach międzynarodowej certyfikacji języka angielskiego TOEFL. Pochodziły one z jednego z chińskich forów internetowych. Skorzystano także z 88 esejów napisanych przez osoby kończące jeden z etapów edukacji szkolnej w USA.

Testowi poddano siedem popularnych detektorów ChatuGPT, w tym - wyprodukowany przez firmę OpenAI detektor GPTZero, obiecujący rozwiązanie problemów z wykorzystywaniem czatbota do oszustw . Jak się okazało, 5,1 proc. esejów napisanych przez prawdziwych amerykańskich uczniów zostało zaklasyfikowanych jako prace stworzone przez sztuczną inteligencję. Dla porównania, w przypadku 61 proc. esejów napisanych przez Chińczyków zostało zaklasyfikowanych źle - jako materiał generowany algorytmicznie - a w przypadku jednego z narzędzi, było to aż 97,8 proc. prac.

Wszystkie siedem narzędzi jako generowane przez AI oznaczyło 18 z 91 egzaminów TOEFL. Co cechowało te konkretne eseje? Przede wszystkim mniejsza złożoność, niż w przypadku innych prac, objawiająca się mniej zróżnicowanym słownictwem i mniejszym bogactwem form gramatycznym. To właśnie na tej podstawie sztuczna inteligencja ocenia, że tekst został stworzony przez inną sztuczną inteligencję.

Problem dla poliglotów

Serwis Cnet ocenia, że może to być problemem dla poliglotów, którzy - jakkolwiek potrafią poprawnie posługiwać się wieloma językami obcymi, to nie zawsze opanowują je do tego stopnia, aby posługiwać się bardzo literacką formą tego języka i rozbudowaną gramatyką oraz słownictwem przypominającym to występujące u osób znających dany język z urodzenia.

W przypadkach, w których wykrywacze czatbotów mogą być wykorzystywane np. do identyfikowania oszustów przy ubieganiu się o różne stanowiska w pracy, osoby wielojęzyczne mogą zatem być dyskryminowane - przez niesłuszną klasyfikację ich pracy jako rezultat działania botów.

70 proc. skuteczności

W przypadku zadania polegającego na wykrywaniu tekstów generowanych przez AI, skuteczność testowanych przez badaczy narzędzi wynosiła przeciętnie 70 proc. Kiedy jednak ulepszono teksty kolejnym poleceniem dla czatbota, zawierającym prompt nakazujący użycie bardziej literackiego języka, wykrywalność algorytmu spadła do 3,3 proc.

Czy w takim razie istnieją dobre detektory tekstów generowanych przez AI? Wygląda na to, że obecnie nie - a wraz z kolejnymi, coraz lepszymi narzędziami do generowania treści przez sztuczną inteligencję, problem ten będzie jeszcze się rozrastał.

Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected].