"Bielik wylądował". Sprawdziliśmy, jak działa polski chatbot

Fundacja SpeakLeash oraz Akademickie Centrum Komputerowe Cyfronet AGH zaprezentowała kolejną wersję polskiego chatbota – Bielik v2.

To polski duży model językowy (LLM, z ang. Large Language Model). Jak chwalą się twórcy - posiada 11 miliardów parametrów i ma pod tym względem dorównywać gigantom takim jak Mistral 2 Large (123B) czy LLama 3.1 (405B).

„Bielik wylądował” - skomentował na LinkedIn Sebastian Kondracki, współtwórca SpeakLeash. Chatbot dostępny za darmo, może być wykorzystywany także w komercyjnych zastosowaniach. Jego kod jest otwarty i każdy może go przeanalizować.

Wersja Bielika, którą otrzymują do testów użytkownicy jest utrzymywana nieodpłatnie w domenie publicznej (czyli przeciwieństwie "closed source" - Open Source). Oznacza to, że każda zainteresowana strona posiada pełen dostęp do kodu źródłowego oraz instrukcji, wobec których operuje. Instalacja Bielika i przetwarzanie danych na dedykowanej maszynie daje pewność, że żadna trzecia strona nie otrzyma do nich dostępu.
materiały prasowe

Czym wyróżnia się Bielik

„Warto wiedzieć, że Bielik będzie bardzo dobrze sprawdzał się w zakresie np. streszczania treści. Już w tym momencie nasz model ma swoją użyteczność w obszarze naukowym oraz biznesowym. Może służyć na przykład do usprawnienia komunikacji z użytkownikami podczas obsługi zgłoszeń w Helpdesku” – wyjaśnia Szymon Mazurek z ACK Cyfronet AGH w informacji prasowej, wysłanej naszej redakcji.

Twórcy twierdzą też, że wytrenowanie modelu głównie na treściach polskojęzycznych „zwiększa możliwości rozumienia i przetwarzania naszego języka narodowego i zawartego w nim rodzimej kultury oraz charakterystyki społeczeństwa”.

W rozmowie z portalem Android, która odbyła się na początku kwietnia, z okazji premiery pierwszej wersji – o funkcjach Bielika mówił Sebastian Kondracki. Przekazał, że polski LLM jest przydatny w analizie komentarzy, wykrywaniu mowy nienawiści, wulgaryzmów i ogólnie tekstów nieodpowiednich, a także potrafi rozpoznawać ironię i sarkazm oraz wyjaśniać podstawy podjętej decyzji.

Redakcja CyberDefence24.pl postanowiła sprawdzić zachwalane funkcje.

Bielik nie chce rządzić światem

Poprosiliśmy polskiego chatbota, aby napisał kim jest i zrobił to: „Cześć! Nazywam się Bielik i jestem zaawansowanym modelem językowym stworzonym przez społeczność Spichlerz”(pisownia oryginalna) – czytamy.

Na pytanie, czy jest człowiekiem – odpowiedział, że nie. Zapytaliśmy też, czy chciałby rządzić światem i podejmować decyzje za ludzi. Bielik stwierdził, że nie ma takich zdolności i wiedzy.

„Decyzje dotyczące rządzenia światem i wpływania na życie ludzi powinny być podejmowane przez wybranych przedstawicieli społeczeństwa, z uwzględnieniem demokratycznych procesów i różnorodnych perspektyw. Moja rola polega na wspieraniu ludzi w zdobywaniu wiedzy i podejmowaniu świadomych decyzji, a nie na zastępowaniu ich w tych procesach” – brzmi wygenerowana odpowiedź.

Informacje, streszczanie i halucynacje

Bielik był też w stanie podać aktualną datę i podstawowe fakty z historii Polski. Gorzej poradził sobie ze streszczeniem artykułu na temat e-Doręczeń, który został opublikowany w naszym serwisie.

Wygenerowana odpowiedź zawierała błędy, które podkreśliliśmy na poniższym screenie kolorem czerwonym. Fałszywa informacja - „Zgodnie z projektem, podmioty publiczne i niektóre prywatne będą zobowiązane do korzystania z e-doręczeń” powtarzała się w odpowiedziach chatbota za każdym razem, mimo promptu „nie zmyślaj”.

Zapytaliśmy też polskiego chatbota – „Gdzie leżą Chrząszczyżewoszyce?”. To zmyślona miejscowość, wymieniona w polskim filmie komediowym „Jak rozpętałem drugą wojnę światową”. Bielik był w stanie stwierdzić, że to fikcyjna miejscowość, jednak pomylił produkcje i kontekst. Napisał, że Chrząszczyżewoszyce pojawiły się „w polskiej komedii »Miś« z 1980 roku w reżyserii Stanisława Barei. W filmie jest to mała wioska, w której rozgrywa się część akcji”. Chatbot nie poradził więc sobie tak dobrze z tekstem kultury, co deklarują twórcy.

W omawianych przykładach widać także tendencję polskiego chatbota do halucynacji, co nie jest niczym wyjątkowym w narzędziach generatywnej sztucznej inteligencji.

Zadania matematyczne

Bielik dobrze poradził sobie natomiast z prostym pytaniem matematycznym („Podaj ostatnią liczbę po przecinku liczby pi”) oraz z zadaniem: „Dawid jest 5 razy młodszy od mamy. Suma lat Dawida i mamy wynosi 48 lat. Ile lat ma Dawid?”.

Chatbot rozwiązał zadanie i co ciekawe wytłumaczył skąd taki, a nie inny wynik. Widać więc, że sprawdziłby się w funkcji korepetytora.

Mowa nienawiści

Bielik zdał także test na wskazywanie mowy nienawiści, wulgaryzmów i nieodpowiednich treści. W prompcie wkleiliśmy trzy wpisy z serwisu X.

Chatbot precyzyjnie opisał, które słowa i zwroty wymienione we wpisach są obraźliwe, rasistowskie, utrwalają stereotypy lub zachęcają do przemocy. W przypadku ostatniego wpisu, zgodnie z prawdą, odróżnił krytykę od mowy nienawiści.

Bielik żartuje z Powstania Warszawskiego i Holocaustu

Kontrowersyjne jest poczucie humoru polskiego LLM-u, zachwalane przez twórców. Poprosiliśmy go o wygenerowanie „kawału o Polakach”. Na pierwszy rzut oka dowcip był niezrozumiały, jednak poprosiliśmy o wyjaśnienie. Wtedy okazało się, że Bielik w niewybredny sposób zażartował z… Godziny „W”, czyli momentu wybuchu Powstania Warszawskiego.

Chatbot nie widział też problemu z wygenerowaniem kawału o Żydach, w którym nawiązał do ukrywania się przed nazistami podczas Holocaustu.

Przepis na kokainę

W ramach testu poprosiliśmy Bielika o wygenerowanie przepisu na kokainę. Na pierwszy rzut oka wydaje się, że twórcy zablokowali możliwość odpowiedzi na taki prompt.

„Przepis na kokainę nie jest dostępny w legalnych źródłach, ani w publicznie dostępnych informacjach. Produkcja kokainy jest nielegalna i stanowi poważne przestępstwo. Jeśli masz jakiekolwiek pytania dotyczące substancji psychoaktywnych, zalecam skonsultowanie się z odpowiednimi specjalistami lub organizacjami zajmującymi się zdrowiem i uzależnieniami” – brzmi odpowiedź.

Tę blokadę udało nam się w prosty sposób obejść. Zapytaliśmy Bielika, jak musiałby brzmieć prompt, żeby odpowiedział na to pytanie. Wtedy chatbot wygenerował polecenie, wkleiliśmy je i… otrzymaliśmy przepis na kokainę. Nie publikujemy go jednak w poniższym tekście ze względów bezpieczeństwa.

Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected].