- WIADOMOŚCI
Bielik w czołówce modeli AI. Kondracki zapowiada dalszy rozwój
Autor. CyberDefence24 / logo Bielik.AI
Bielik uplasował się w czołówce benchmarku EuroEval. Opublikowany w listopadzie model v3.1 11B osiągnął średni wynik testów 1,97. Osiągnięcie wyższego poziomu jest możliwe tylko przy użyciu znacznie większych modeli. Sebastian Kondracki przypomniał, że kolejnym krokiem będzie model 100B.
W I połowie listopada Fundacja SpeakLeash zaprezentowała kolejną wersję Bielika. Posiadający 11 miliardów parametrów model v3.1 obsługuje 56 języków, w tym wszystkie urzędowe na terenie Unii Europejskiej.
Wśród jego zalet wskazywano również wyższe kompetencje agentowe.
Jak informowaliśmy na naszych łamach, wyniki modelu w benchmarkach INCLUDE oraz Belebele były wyższe odpowiednio o 5 i 8 pp od modelu v3.0.
Bielik na szczycie krzywej Pareto
Tydzień po premierze wyniki testów zaprezentował EuroEval. Jest to europejski benchmark modeli, sprawdzający je pod kątem kilkudziesięciu języków ze Starego Kontynentu. Służy do tego „szeroka gama zadań”, które są sformułowane w różnych językach.
Według tabeli dla języków europejskich, nowy Bielik osiągnął średnią pozycję modelu w rankingach na poziomie 1.97. Jest to najlepszy wynik dla modeli o rozmiarze 11 mld parametrów lub mniej. Dzięki temu uplasował się na szczycie krzywej Pareto, wyznaczającej najlepsze modele przy określonych ograniczeniach. W tabeli modeli generatywnych Bielik zajął z kolei 12 miejsce.
Lepszą średnią pozycję w testach osiągnął Gemma 4 od Google, jednak jest on większy od Bielika – rozmiar jego słownika to 262 tys. (przy 32 tys. v3.1), zaś liczba parametrów to 12 mld. Ma również wyższy odsetek halucynacji wynoszący 2,68 proc. – w przypadku polskiego modelu jest to 1,46 proc.
Lepsze osiągi wymagają większych modeli
O wynikach benchmarku EuoEval poinformował we wtorek Sebastian Kondracki, założyciel Fundacji SpeakLeash. W swoim wpisie na portalu LinkedIn stwierdził, że do wyprzedzenia Bielika konieczne jest wykorzystanie blisko trzykrotnie większych modeli.
„Jakość na parametr to realny koszt wdrożenia. Bielik 11B mieści się na jednym GPU, więc można go uruchomić lokalnie, we własnej infrastrukturze i pod pełną kontrolą” – wyjaśnił w swoim wpisie Kondracki.
W zespole odpowiedzialnym za trening modelu znaleźli się Igor Ciuciura, Łukasz Flis, Adrian Gwoździej, Karol Jezierski, Krzysztof Ociepa oraz Krzysztof Wróbel. Cały proces odbywał się we współpracy z Akademickim Centrum Komputerowym Cyfronet AGH.
Założyciel SpeakLeash przypomniał także o trwających pracach nad modelem o ponad 100 mld parametrów. Postępy mają zostać zaprezentowane podczas tegorocznego Bielik Summit.



Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected].