NVIDIA chwali się swoim modelem AI. Może tworzyć kombinację muzyki, dźwięku i głosu

Postępy w modelach generatywnej sztucznej inteligencji są ogromne. W zasadzie z tygodnia na tydzień kolejni giganci prześcigają się w ogłaszaniu innowacji. Możliwości analizy i zamiany tekstu na głos czy obraz są ogromne.

Swoimi najnowszymi odkryciami podzieliła się tym razem NVIDIA, która na swoim oficjalnym blogu zaprezentowała możliwości modelu Fugatto (to skrót od: Foundational Generative Audio Transformer Opus 1), który jest zdolny do generowania i przekształcania dowolnych próbek muzyki, głosu i dźwięku za pomocą dowolnych kombinacji plików tekstowych i audio.

Firma jako przykład jego możliwości podaje tworzenie muzyki na podstawie podpowiedzi tekstowej, usuwania lub dodawania instrumentów z utworu, zmiany akcentu, emocji w głosie czy tworzenie dźwięków, których „nigdy wcześniej nie słyszano”.

„Chcieliśmy stworzyć model, który rozumie i generuje dźwięk tak, jak ludzie” - powiedział Rafael Valle, kierownik ds. badań dźwięku w firmie NVIDIA oraz kompozytor.

Co potrafi model AI?

Zdolności Fugatto mają wynikać z możliwości łączenia komend w dowolnej formie. „Fugatto to nasz pierwszy krok w kierunku przyszłości, w której brak nadzoru nad uczeniem wielozadaniowym w syntezie i transformacji dźwięku pokazuje skaę danych i modelu” – dodaje Valle.

Narzędzie może być przydatne np. dla producentów muzyki, którzy mogą poprawić jakość ścieżki, dodać różne głosy, instrumenty, efekty czy style. NVIDIA zaznacza, że model można wykorzystywać także do nauki języków czy do gier wideo, które będą mogły być modyfikowane na bieżąco.

Model ma wykorzystywać technikę ComposableART do łączenia komend, które istniały osobno - podczas trenowania. Nad Fugatto mieli pracować eksperci z całego świata m.in. Korei Południowej, Brazylii, Indii, Chin czy Jordanii.

/NB

Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na:[email protected].