Eksperci: emoji utrudniają wykrywanie nadużyć w sieci

Według badaczy, niektóre algorytmy odpowiedzialne za moderację treści zaprojektowane są tak, by wykrywać nie tylko materiały mogące dezinformować opinię publiczną, ale także mowę nienawiści skierowaną przeciwko określonym grupom społecznym. Ich działanie jednak ma znacznie niższą skuteczność w przypadku wpisów, które zawierają symbole emoji.

Jak ocenił zespół Oxford Internet Institute, gdy mowa o tego rodzaju wpisach, niektóre naruszające regulamin treści mogą zostać przez algorytm moderujący całkowicie pominięte, a jednocześnie posty, które regulaminu nie naruszają - mogą przez niego zostać oznaczone jako szkodliwe i w rezultacie - usunięte.

Winny materiał szkoleniowy, na którym uczą się algorytmy

Według ekspertów, większość algorytmów moderujących jest szkolona na ogromnych zbiorach danych, które jednak nie zawierają zbyt wielu emoji. Właśnie dlatego ich działanie względem wpisów, w których te symbole występują, jest znacząco mniej skuteczne, niż w przypadku tych treści, które składają się z samego tekstu lub linków i obrazów.

Niezależna analiza przeprowadzona przez dziennikarzy brytyjskiej stacji telewizyjnej Sky News wykazała, że w przypadku Instagrama algorytmy wykrywające treści rasistowskie i powiązaną z nimi mowę nienawiści były trzykrotnie mniej skuteczne w odniesieniu do wpisów, które zawierały emoji.

Jak czytamy w serwisie internetowym Sky News, projekt Perspective API wspierany przez Google’a, którego zadaniem jest wykrywanie mowy nienawiści, w starciu z nienawistnymi komentarzami zawierającymi emoji okazał się efektywny jedynie w 14 proc.

Jak nauczyć sztuczną inteligencję rozpoznawać piktogramy?

Naukowcy z Oxfordu stworzyli bazę danych zawierającą ponad 4 tys. różnych wypowiedzi, w których emoji przeważnie były wykorzystywane w kontekstach ofensywnych, czy też agresywnie. Zbiór wykorzystano do tego, by wytrenować model sztucznej inteligencji, którego celem było rozróżnianie treści ofensywnych i neutralnych w mediach społecznościowych. Trening, który odbył się przy wsparciu zespołu naukowego, obejmował pracę modelu w oparciu o kryteria takie, jak nienawiść względem grup rozróżnianych ze względu na płeć, przynależność etniczną, płeć kulturową, seksualność, wyznawaną religię i niepełnosprawność.

Model wyszkolony przez ekspertów wykazał się skutecznością rozpoznawania mowy nienawiści zawierającej emoji wyższą o 30 proc. od wcześniejszego algorytmu. W przypadku niektórych treści jego skuteczność była nawet o 80 proc. większa – czytamy.

Problemem jest również ewolucja języka

Badania prowadzone przez Uniwersytet Sao Paulo pokazują, że problemem dla algorytmów moderujących treści są nie tylko piktogramy mające na celu wyrażanie naszych emocji. Kłopotliwe są również zmiany zachodzące w tym, jak posługujemy się językiem.

Zdaniem naukowczyni z Oxford Internet Institute Hannah Rose Kirk, niewłaściwe klasyfikowanie mowy nienawiści i „fałszywie pozytywne” wyniki mogą prowadzić do uciszania grup mniejszościowych, których aktywność w mediach społecznościowych będzie niesłusznie moderowana.

Znalezienie remedium na te problemy ma być utrudnione przez brak przejrzystości, jaki cechuje działalność firm kontrolujących największe platformy społecznościowe. Algorytmy moderujące treści to jedne z ich najpilniej strzeżonych tajemnic, do których nie ma dostępu ani opinia publiczna, ani organy regulacyjne poszczególnych państw.

Chcemy być także bliżej Państwa – czytelników. Dlatego, jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected]. Przyszłość przynosi zmiany. Wprowadzamy je pod hasłem #CyberIsFuture.