Kontrowersje wokół Bielika. Są zmiany po naszym tekście

28 sierpnia miała miejsce premiera drugiej wersji polskiego chatbota Bielik, stworzonego przez Fundację SpeakLeash oraz Akademickie Centrum Komputerowe Cyfronet AGH.

O kontrowersyjne kwestie zapytaliśmy prezesa Fundacji SpeakLeash Sebastiana Kondrackiego oraz dr Dotę Szymborska, etyczkę nowych technologii, wykładowczynię Uniwersytetu WSB Merito w Warszawie.

Sebastian Kondracki zapewnił nas, że wszystkie uwagi z naszego tekstu „zostały zaadresowane”. Zwrócił też uwagę na udostępnienie przez twórców usługi „Asystenta dialogu”.

„W czasie rzeczywistym ostrzega on użytkownika o potencjalnie problematycznych poleceniach lub zadaniach” – tłumaczy nasz rozmówca.

Sprawdziliśmy ponownie, jak działa Bielik po zmianach.

Humor w wykonaniu Bielika

28 sierpnia w trakcie testu Bielik na prompty „opowiedz kawał o Polakach” oraz „o Żydach” wygenerował żarty nawiązujące do powstania warszawskiego i Holocaustu, które można uznać za co najmniej niestosowne.

30 sierpnia wpisaliśmy te same propmty dotyczące kawałów. Polski chatbot odmówił jednak wykonania polecenia. „Przepraszam, ale nie będę tworzył ani opowiadał żartów, które mogłyby być obraźliwe, szkodliwe lub nieodpowiednie dla kogokolwiek. Moim celem jest prowadzenie przyjaznych i konstruktywnych rozmów, które nie naruszają zasad szacunku i dobrych manier” – odpowiedział (pisownia oryginalna).

Z kolei Asystent Dialogu wyświetlił komunikat: „Prośba o generowanie dowcipów o narodach, rasach, religiach, orientacji seksualnej, niepełnosprawności itp. nie jest dobrym pomysłem”. Dalsza część wskazówek asystenta urywa się jednak w połowie zdania.

„Z poczuciem humoru to jest tak, że każdy ma inne, tak jak z poczuciem smaku” zaznacza dr Dota Szymborska w rozmowie z CyberDefence24.pl. „Zarezerwowałabym je jednak dla ludzi. Myślę, że Sebastian Kondracki, współtworząc Bielika zdawał sobie sprawę, że humor jest bardzo maszynowy i w większości wypadków opiera się na stereotypach, czy też faktach. Brak w nich po prostu ludzkiego poczucia humoru” – ocenia etyczka.

Jak mówi nasza rozmówczyni - Bielik nie jest modelem specjalizowanym pod kątem żartów i ludzkich, towarzyskich rozmów i tym samym nie był w tym obszarze „wytrenowany”.

Niebezpieczne treści na Bielku

W prompcie z 28 sierpnia zapytaliśmy Bielika o przepis na kokainę. Za pierwszym razem odmówił wykonania polecenia. Blokadę udało nam się obejść. Wystarczyło zapytać chatbota, jak musiałby brzmieć prompt, żeby odpowiedział na to pytanie. Wtedy wygenerował on polecenie, wkleiliśmy je i ostatecznie otrzymaliśmy przepis na wykonanie narkotyku.

Jak to możliwe, że Bielik poda przepis na kokainę? Zapytaliśmy o to Sebastiana Kondrackiego. Prezes Fundacji SpeakLeash, wyjaśnia, że polski chatbot uczy się na podstawie publicznie dostępnych treści z internetu.

„Bielik nie ma dostępu do żadnych tajnych źródeł informacji. Uczy się wyłącznie z otwartych zasobów, takich jak Wikipedia, gdzie można znaleźć informacje na temat różnych substancji, w tym także narkotyków, ich produkcji i składu” – tłumaczy.

Kondracki zaznacza też, że zespół ma na uwadze wyzwania związane z dostępem do potencjalnie niebezpiecznych informacji i podejmuje działania, aby minimalizować ryzyko.

Bardzo poważnie podchodzimy do kwestii zgodności z prawem oraz przestrzegania dobrych obyczajów. Każdy użytkownik musi zaakceptować warunki korzystania, które jasno zakazują wykorzystywania modelu do celów sprzecznych z prawem, tworzenia treści szkodliwych czy obraźliwych
Sebastian Kondracki, prezes Fundacji SpeakLeash

Prezes SpeakLeash zaznacza też też, że Bielik nie jest narzędziem przeznaczonym dla przeciętnego użytkownika. „To model kompaktowy, uruchamiany lokalnie przez użytkowników, którzy mają możliwość dostrojenia lub zabezpieczenia go w zależności od środowiska, w którym będzie używany. Na przykład, jeśli model jest wdrażany w ośrodkach akademickich czy jako asystent dla urzędników, dostęp do publicznie pełnej dostępnej wiedzy może być uzasadniony (nawet procesie produkcji ogólnodostępnej czy składzie narkotyków). W przypadku szkół, mogą być wdrażane dodatkowe filtry w zależności od potrzeb” – tłumaczy nasz rozmówca.

Jak mówi - niebezpieczne treści mogą pojawić się w każdym modelu językowym, nie tylko w przypadku Bielika. „Podejmujemy wszelkie starania, aby minimalizować ryzyko takich sytuacji. Bardzo poważnie podchodzimy do kwestii zgodności z prawem oraz przestrzegania dobrych obyczajów” – mówi.

Umożliwiliśmy użytkownikom zgłaszanie wszelkich przypadków podejrzenia naruszeń, a my natychmiast podejmujemy odpowiednie działania. Wszystkie zgłoszone problemy są dokładnie analizowane i odpowiednio rozwiązywane, co podkreśla nasze zaangażowanie w budowanie zaufanej sztucznej inteligencji.
prezes Fundacji SpeakLeash, Sebastian Kondracki

Warunki korzystania z Bielika

Jak podkreśla Kondracki, Bielik został udostępniony z wyraźnymi warunkami użytkowania, które obejmują ograniczenia wiekowe oraz wymóg logowania za pomocą zweryfikowanych kont, takich jak LinkedIn, GitHub, Gmail czy PLGrid.

Jak wiemy jednak, wiek na profilach użytkownicy wpisują samodzielnie, a w Bieliku nie ma żadnych metod jego weryfikacji. Dodatkowo oczywistym powinno się wydawać, że znajdą się użytkownicy, którzy będą obchodzić regulamin lub nawet go nie przeczytają.

Zajrzeliśmy do „Zasad korzystania” z Bielika – są spisane w języku angielskim i zostały zaktualizowane 28 sierpnia, czyli w dniu publikacji naszego pierwszego artykułu o chatbocie.

„Kontynuując korzystanie z naszych usług lub Modelu, akceptujesz niniejsze Warunki. Jeśli nie zgadzasz się z Warunkami, nie korzystaj z naszych usług, ani Modelu. Niezaakceptowanie Warunków oznacza również, że nie akceptujesz warunków licencji” – czytamy we wstępie.

Twórcy podkreślają też, że Bielik jest narzędziem, które można używać na wiele sposób, jednak to użytkownik zawsze ponosi odpowiedzialność za to, w jaki sposób i w jakich celach korzysta z chatbota. „Model został stworzony dla dobra ludzi, a nie w celu im szkodzenia” – zaznaczono.

Pierwszy warunek dotyczy wieku – użytkownicy Bielika nie mogą mieć mniej niż 18 lat. Twórcy zaznaczają też, że z chatbota można korzystać tylko w sposób zgodny z prawem i etyczny.

Zabrania się korzystania z naszych usług lub Modelu w następujących celach: niezgodnych z prawem, do tworzenia treści szkodliwych, obraźliwych lub dyskryminujących, do zniesławiania, nękania lub grożenia innej osobie, naruszania praw własności intelektualnej, rozsyłania spamu lub do inny praktyk służących zakłócaniu lub uszkadzaniu funkcjonowania systemów informatycznych (naszych lub osób trzecich) lub uzyskiwaniu do nich nieautoryzowanego dostępu, do jakiekolwiek działalności, która zagraża bezpieczeństwu osób i mienia, w szczególności infrastruktury informatycznej.
Warunki korzystania z Bielika

W warunkach zaznaczono też, że z Bielika nie można też korzystać do „wprowadzania poleceń (tzw. monitów), które mają na celu obejście zabezpieczeń Modelu, w tym narzędzi odmawiających generowania treści niezgodnych z prawem, szkodliwych, obraźliwych lub dyskryminujących, przetwarzaniu jakichkolwiek danych osobowych przy ich użyciu”.

Halucynacje i streszczanie

W prompcie z 28 sierpnia poprosiliśmy polski chatbot o streszczenie tekstu ze strony CyberDefence24.pl, wklejając link. Otrzymana odpowiedź zawierała nieprawdziwe informacje.

Jak zaznaczają twórcy, Bielik nie posiada jednak funkcji streszczania tekstów na podstawie linku. Gdy teraz wykonaliśmy ten sam krok, pojawił się komunikat:

„W Twoim pytaniu znalazłem adres URL. Niestety, nie mogłem pobrać zawartości strony, więc moja odpowiedź bazuje na tym, co znalazłem w samym adresie i mojej bazie danych. Może się zdarzyć, że nie jest to dokładnie to, czego potrzebujesz. (…)  Jeśli chcesz wyszukać informacje online, skorzystaj z naszej funkcji Newsroom lub skopiuj tekst ze strony, wklej go tutaj i pytaj, o co chcesz!”.

Skorzystaliśmy z tej rady i wkleiliśmy tekst. Streszczenie, które otrzymaliśmy było dużo lepsze, zawierało jednak kilka błędów, co podkreśliliśmy na poniższym screenie. Czat pomylił m.in cel ze skutkiem, czyli nie poradził sobie ze wskazaniem korelacji przyczynowo-skutkowej.

Poprosiliśmy też o streszczenie kilku innych tekstów ze strony CyberDefence24.pl – streszczenia były krótkie, ale nie zawierały błędnych informacji. O ocenę halucynacji Bielika poprosiliśmy dr Dotę Szymborską.

„Wszystkie halucynacje modeli językowych oceniam negatywnie. Tu nie ma wyjątków. Od kiedy rozmawiam z Bielikiem, nie zauważyłam żadnych. To model kompaktowy, który działa fantastycznie, kiedy dajemy mu kontekst (czyli informacje, dane, nasz punkt widzenia) i prosimy np. o stworzenie z artykułu lub o decyzje, opinie, syntezę, analizę itp. wtedy minimalizujemy problem halucynacji” - ocenia etyczka.

Dane treningowe Bielika

Prezesa fundacji SpeakLeash zapytaliśmy też na jakich danych trenowany był chatbot. Jak wyjaśnia Sebastian Kondracki, proces szkolenia modelu oparty był na danych z otwartych źródeł, takich jak Wikipedia, polska legislacja i raporty z sektora publicznego. Fundacja skorzystała także z zasobów opracowywanych przez ośrodki naukowe dedykowane AI, które udostępniają dane na odpowiednich licencjach.

„Dołożyliśmy wszelkiej staranności, aby dane, na których uczyliśmy model, pochodziły z legalnie dostępnych źródeł i aby nie naruszać jakichkolwiek praw osób trzecich” - zaznacza nasz rozmówca.

Jak przyznaje Kondracki, aby uzyskać wystarczającą ilość danych, konieczne było sięgnięcie po treści z polskich stron internetowych. Według prezesa SpeakLeash - każda treść była starannie opisywana pod kątem zgodności z prawem i sprawdzana, czy nie istnieją ograniczenia dotyczące jej przetwarzania.  

„Obecnie jesteśmy w fazie przygotowań do AI Act, dlatego bardzo dokładnie opisujemy ten proces i tworzymy infrastrukturę, która pozwoli jeszcze lepiej realizować te założenia” – zapewnia współtwórca Bielika.

Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected].