Reklama
  • WIADOMOŚCI

Bielik w czołówce modeli AI. Kondracki zapowiada dalszy rozwój

Najnowsza wersja Bielika znalazła się w czołówce europejskiego benchmarku AI EuroEval. Wyższe wyniki są możliwe tylko w przypadku znacznie większych modeli.
Najnowsza wersja Bielika znalazła się w czołówce europejskiego benchmarku AI EuroEval. Wyższe wyniki są możliwe tylko w przypadku znacznie większych modeli.
Autor. CyberDefence24 / logo Bielik.AI

Bielik uplasował się w czołówce benchmarku EuroEval. Opublikowany w listopadzie model v3.1 11B osiągnął średni wynik testów 1,97. Osiągnięcie wyższego poziomu jest możliwe tylko przy użyciu znacznie większych modeli. Sebastian Kondracki przypomniał, że kolejnym krokiem będzie model 100B.

Reklama

W I połowie listopada Fundacja SpeakLeash zaprezentowała kolejną wersję Bielika. Posiadający 11 miliardów parametrów model v3.1 obsługuje 56 języków, w tym wszystkie urzędowe na terenie Unii Europejskiej.

Wśród jego zalet wskazywano również wyższe kompetencje agentowe.

Jak informowaliśmy na naszych łamach, wyniki modelu w benchmarkach INCLUDE oraz Belebele były wyższe odpowiednio o 5 i 8 pp od modelu v3.0.

Bielik na szczycie krzywej Pareto

Tydzień po premierze wyniki testów zaprezentował EuroEval. Jest to europejski benchmark modeli, sprawdzający je pod kątem kilkudziesięciu języków ze Starego Kontynentu. Służy do tego „szeroka gama zadań”, które są sformułowane w różnych językach.

Według tabeli dla języków europejskich, nowy Bielik osiągnął średnią pozycję modelu w rankingach na poziomie 1.97. Jest to najlepszy wynik dla modeli o rozmiarze 11 mld parametrów lub mniej. Dzięki temu uplasował się na szczycie krzywej Pareto, wyznaczającej najlepsze modele przy określonych ograniczeniach. W tabeli modeli generatywnych Bielik zajął z kolei 12 miejsce.

Reklama

Lepszą średnią pozycję w testach osiągnął Gemma 4 od Google, jednak jest on większy od Bielika – rozmiar jego słownika to 262 tys. (przy 32 tys. v3.1), zaś liczba parametrów to 12 mld. Ma również wyższy odsetek halucynacji wynoszący 2,68 proc. – w przypadku polskiego modelu jest to 1,46 proc.

Lepsze osiągi wymagają większych modeli

O wynikach benchmarku EuoEval poinformował we wtorek Sebastian Kondracki, założyciel Fundacji SpeakLeash. W swoim wpisie na portalu LinkedIn stwierdził, że do wyprzedzenia Bielika konieczne jest wykorzystanie blisko trzykrotnie większych modeli.

„Jakość na parametr to realny koszt wdrożenia. Bielik 11B mieści się na jednym GPU, więc można go uruchomić lokalnie, we własnej infrastrukturze i pod pełną kontrolą” – wyjaśnił w swoim wpisie Kondracki.

W zespole odpowiedzialnym za trening modelu znaleźli się Igor Ciuciura, Łukasz Flis, Adrian Gwoździej, Karol Jezierski, Krzysztof Ociepa oraz Krzysztof Wróbel. Cały proces odbywał się we współpracy z Akademickim Centrum Komputerowym Cyfronet AGH.

Reklama

Założyciel SpeakLeash przypomniał także o trwających pracach nad modelem o ponad 100 mld parametrów. Postępy mają zostać zaprezentowane podczas tegorocznego Bielik Summit.

CyberDefence24.pl - Digital EU Ambassador

Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected].

Reklama