Sójka pomoże chronić dzieci w sieci. W jaki sposób? Twórcy modelu wyjaśniają

Na łamach CyberDefence24 informowaliśmy o premierze Sójk. Jest to narzędzie, które wykrywa niebezpieczne treści z 5 kategorii: agresja, wulgaryzmy, treści seksualne, działalność przestępcza, samookaleczanie. W czasie rzeczywistym analizuje prompty i odpowiedzi, a także może wspierać moderację treści w mediach społecznościowych. Bielik Guard o kryptonimie Sójka jest oparty na polskiej sztucznej inteligencji od Bielik AI.

Zapytaliśmy twórców nowego narzędzia o proces jej powstawania, dostępne funkcje oraz plany rozwoju w przyszłości.

Niepokojące dane z raportu NASK

Z raportu NASK wynika, że co drugi polski nastolatek spotkał się z przemocą w internecie, a aż 7 z 10 młodych osób uważa hejt za jeden z najpoważniejszych problemów w sieci. To właśnie, jak wskazują twórcy Sójki, stało się impulsem do rozpoczęcia prac nad narzędziem, które będzie chroniło użytkowników, w szczególności tych najmłodszych, przed hejtem, przemocą seksualną online i innymi zagrożeniami w sieci.

Sójka powstała właśnie w odpowiedzi na te realne problemy. To projekt, który łączy technologię AI z zaangażowaniem społeczności - dzięki temu możemy chronić użytkowników, wspierać moderatorów i tworzyć bezpieczniejszą przestrzeń, szczególnie dla młodszych internautów, którzy są najbardziej narażeni na toksyczne treści.
Jan M. Kowalski, współtwórca i lider projektu Sójka

Model, jako uniwersalne narzędzie ochrony komunikacji cyfrowej przed szkodliwymi i niebezpiecznymi treściami, może wspierać platformy edukacyjne, media społecznościowe, fora dyskusyjne oraz monitorować komunikację w czatach.

Oprócz treści w kategoriach takich jak hejt, wulgaryzmy, przemoc, treści seksualne czy działalność przestępcza, zespół szczególnie koncentruje się na materiałach dotyczących samookaleczania i samobójstw. Podkreślają, że to narastający problem wśród młodzieży, dlatego Sójka została nauczona, aby w takich przypadkach wykazywać szczególną wrażliwość.

„Trzeba jednak podkreślić, że w takich przypadkach kluczowa jest reakcja platformy internetowej, na której dane treści się pojawiają – to ona odpowiada za podjęcie odpowiednich działań, takich jak wsparcie użytkownika czy wezwanie pomocy” - mówi nam Jan M. Kowalski.

Model dostosowany do polskiej kultury, języka i specyfiki

Podczas projektowania modelu odpowiednio przemyślano możliwości i strukturę modelu, tak aby mógł być wykorzystywany również przez organizacje i instytucje publiczne, które często nie dysponują zaawansowaną infrastrukturą techniczną. Sójka jest lekkim i wydajnym modelem, który można uruchomić na zwykłym komputerze bez posiadania kosztownych serwerów z kartami graficznymi.

Krzysztof Wróbel, ekspert AI, podkreśla, że „zamiast narzucać jedną definicję toksycznych treści, model zwraca prawdopodobieństwo przypisania tekstu do każdej kategorii. Dzięki temu użytkownicy i moderatorzy mogą samodzielnie ustawiać progi wykrywania toksycznych i niebezpiecznych treści, dostosowując działanie Sójki do swoich wartości i potrzeb”.

W kontekście innych modeli, które spełniają podobną funkcję, najczęściej przypisuje się jedną kategorię do danej treści, a ponadto, jak wskazują twórcy Sójki, wielojęzyczne rozwiązania przedstawiają anglocentryczny punkt widzenia. Narzędzie jest modelem dostosowanym do języka polskiego, naszej kultury i kontekstu, a to sprawia, że będzie znacznie dokładniejsze w analizie.

Jak dowiedziała się nasza redakcja, prace nad Sójką są rozwijane w kilku obszarach, uwzględniając eksperymenty z treningiem modeli obejmujące rozszerzenie obsługi na inne języki oraz zwiększenie jego skali. Dzięki indywidualnemu podejściu do każdego języka, Sójka może stać się konkurencyjna wobec zagranicznych narzędzi.

„Zagraniczne modele nie radzą sobie z polską ironią”

Polska ironia, zawiłość składni czy bogactwo wulgaryzmów są wyzwaniem dla modeli trenowanych na danych anglojęzycznych. Język polski jest fleksyjny, pełen odmian i niuansów, lokalnymi dialektami, regionalizmami, a ponadto daje możliwość tworzenia wielu kreatywnych zapisów, by omijać cenzurę.

„Sójka powstała w oparciu o dane i anotacje uwzględniające te realia, dlatego lepiej rozumie lokalny kontekst językowy i kulturowy” – wskazuje Dota Szymborska, etyczka nowych technologii w zespole Sójki.

Zapytaliśmy również twórców o to, która z kategorii była najtrudniejsza do poprawnego rozpoznawania przez model. Dota Szymborska wskazała, że wyzwaniem była granica między mową nienawiści a ostrą krytyką, a także ironia i sarkazm. Równie trudna dla modelu była dezinformacja, która do rozpoznania fake newsa od błędu wymaga szerszego kontekstu.

Jan M. Kowalski dodaje, że „dla modelu każdy taki przypadek stanowi wyzwanie, dlatego tak ważne jest zbudowanie odpowiedniego i »bogatego« zbioru danych treningowych”. Podkreśla, że w trenowaniu modelu duże znaczenie ma społeczność. To ona pomaga w oznaczaniu danych do uczenia Sójki, a to pozwoliło uwzględnić różnorodność interpretacji. Choć ocena treści może się różnić, brano pod uwagę przypadki, w których przeważająca liczba osób zgadzała się co do szkodliwości, toksyczności oraz przyporządkowania tekstu do konkretnej kategorii.

W trenowaniu Sójki było zaangażowane ponad 1500 osób, które rozwiązały ponad 65 tysięcy ankiet.

„Dzięki temu model lepiej rozpoznaje zagrożenia obecne w sieci - od hejtu i wulgaryzmów, po treści seksualne, instrukcje przestępcze czy samookaleczenia” - wskazuje Jan M. Kowalski.

Zespół był zaskoczony ogromną świadomością uczestników, a także ich zaangażowaniem. Podkreślają, że uczestnicy do zadania podchodzili odpowiedzialnie, argumentując swoje wybory i zgłaszając swoje uwagi.

Wolność słowa a ograniczanie treści szkodliwych

Dota Szymborska zaznacza, że Sójka nie jest narzędziem cenzury, lecz ochrony i troski o wspólną przestrzeń internetową. Demokracja opiera się na wolności słowa, ale nie obejmuje przyzwolenia na przemoc symboliczną czy dezinformację.

„Zespół kieruje się dwiema perspektywami etycznymi: etyką cnót Arystotelesa, która wspiera kulturę debaty i szacunek oraz etyką troski Carol Gilligan, kładącą nacisk na relacje i odpowiedzialność za innych” – mówi specjalistka.

Model ma służyć do wykrywania treści niebezpiecznych, a to do platformy, redakcji czy administratora będzie należało podjęcie odpowiednich kroków, w tym usunięcie komentarza czy zgłoszenie treści do odpowiednich służb.

Jaka przyszłość czeka Sójkę?

Krzysztof Wróbel podkreśla, że ambicją zespołu jest, aby model wykrywał 9 na 10 toksycznych treści, a jednocześnie zmniejszenie liczby fałszywych alarmów, czyli sytuacji, w których niesłusznie klasyfikuje treści jako niebezpieczne. Prace nad modelem są rozwijane w trzech obszarach: „dopracowanie wytycznych i dodanie nowych kategorii (np. dezinformacji), przy wsparciu ekspertów, rozwój narzędzi do anotacji i poprawy jakości danych oraz eksperymenty z treningiem modeli: zwiększenie precyzji, dodawanie obsługi innych języków, w tym angielskiego, testy wpływu architektury na skuteczność”.

Zespół zachęca do aktywnego udziału w rozwoju modelu Bielik Guard. Kryptonim Sójka. Można nie tylko go testować, ale również wspomóc jego trenowaniu, wypełniając ankiety dostępne na stronie. Dzięki aktywnej społeczności zespół ma możliwość ciągłego ulepszania modelu i zwiększania jego skuteczności.