Samsung rozwija AI działającą bezpośrednio na urządzeniach

Materiał sponsorowany

Generatywna AI wymaga dużych modeli językowych, które w naturalny sposób obciążają urządzenia mobilne. Dlatego Samsung uznaje kompresję i optymalizację za pierwszy krok do wprowadzenia LLM na smartfony. 

Duże modele wykonują miliardy obliczeń, co prowadziłoby do nadmiernego zużycia energii i wolniejszej pracy urządzenia. Jak podkreśla Dr MyungJoo Ham, „uruchamianie zaawansowanego modelu wykonującego miliardy obliczeń bezpośrednio na smartfonie lub laptopie szybko wyczerpałoby baterię, zwiększyło temperaturę i wydłużyło czas reakcji, co wyraźnie pogarszałoby doświadczenia użytkownika”.

Samsung stosuje zamianę bardziej złożonych reprezentacji numerycznych na precyzje całkowite. Proces działa podobnie jak kompresja zdjęcia: zmniejsza rozmiar przy zachowaniu jakości. 

„Nie ograniczamy się jednak do zmniejszenia modeli. Kluczowe jest utrzymanie ich dokładności. Algorytmy dopracowują parametry i ponownie trenują model w miejscach, gdzie kompresja obniża jakość. Dzięki temu krytyczne elementy zachowują większą precyzję, a mniej istotne są kompresowane mocniej” - wyjaśnia Tomasz Chomicki, dyrektor ds. rozwoju biznesu w Samsung Electronics Polska.

Samsung projektuje też własne algorytmy kompresji dla konkretnych urządzeń, bo uniwersalne podejście nie gwarantuje wydajności zbliżonej do chmury.

Silnik wykonawczy, który robi różnicę

Gdy model jest już skompresowany, liczy się sposób jego wykonania. Samsung rozwija własny runtime AI, który zarządza obciążeniem między CPU, GPU i NPU, minimalizując dostęp do pamięci i zwiększając ogólną szybkość. 

Runtime decyduje, gdzie wykonywać dane operacje, aby zmaksymalizować efektywność sprzętu. Dzięki temu możliwe jest uruchamianie większych modeli przy zachowaniu tempa pracy. 

Kluczowe ograniczenia wynikają z przepustowości pamięci, dlatego Samsung projektuje techniki, które ładują tylko niezbędne dane w danej chwili. To podejście pozwala uruchamiać modele o wielkości nawet 30 miliardów parametrów przy zużyciu mniej niż 3 GB pamięci.

Architektury projektowane od podstaw pod urządzenia

Samsung równolegle projektuje nowe architektury modeli AI, które mają działać sprawnie w warunkach ograniczonej pamięci i mocy obliczeniowej. 

Jak wskazuje dr Ham, należy przeprojektować struktury modeli tak, aby wykorzystywały możliwości sprzętu możliwie efektywnie. Chodzi o tworzenie architektur przyjaznych dla urządzeń już na poziomie koncepcji, a nie dopiero podczas optymalizacji.

Transformery, choć skuteczne, mają ograniczenie - wraz z długością zdania ich zapotrzebowanie na obliczenia rośnie wykładniczo. Samsung bada różne alternatywy i analizuje je pod kątem realnej wydajności na urządzeniach. Celem jest wyciągnięcie jak największej inteligencji z jak najmniejszego chipa.

Cel: wydajność jak w chmurze, bez chmury

Samsung dąży do tego, aby lokalna AI dorównywała jakością rozwiązaniom chmurowym. Jak zaznaczył dr Ham, „osiągnięcie wydajności na poziomie chmury bezpośrednio na urządzeniu” to podstawowy cel rozwoju. W praktyce oznacza to większą szybkość, lepszą dokładność, niższe zużycie energii i działanie bez konieczności połączenia z siecią.

Wraz z rozwojem AI on-device użytkownicy zyskają usługi bardziej spersonalizowane i bezpieczne. Modele mają uczyć się w czasie rzeczywistym i dostosowywać do indywidualnego stylu korzystania z urządzenia. 

Samsung planuje kontynuować prace nad zaawansowanymi, lokalnie działającymi rozwiązaniami AI, aby zapewniać coraz płynniejsze i bardziej rozbudowane doświadczenia w codziennych urządzeniach.