Czym są duże modele językowe (LLM — large language model)? W jakich oprogramowaniach są wykorzystywane?

Sztuczna inteligencja nie jest jednorodnym „organizmem” — wręcz przeciwnie. Pod tym hasłem kryje się wiele różnych algorytmów, które spełniają odmienne zadania i posługują się rozmaitymi (choć czasem powiązanymi ze sobą) technologiami. W dzisiejszym wpisie przybliżymy ten algorytm, o którym w ostatnich latach mówi się najwięcej — czyli o dużych modelach językowych.

Large language model — co to jest?

Large language model (LLM), a więc po polsku duży model językowy, to algorytm zdolny do przetwarzania języka naturalnego. Korzysta on ze swojego „doświadczenia” — wielkiego zbioru danych, na których został wytrenowany — do tego, aby rozpoznawać, interpretować i generować treści w podobny sposób, w jaki robi to człowiek. Tym też różni się od tradycyjnych programów komputerowych, które komunikują się przy pomocy języków formalnych — na przykład języków programowania.

Pierwsze modele językowe powstawały… jeszcze w latach 60. — w bardzo uproszczonej formie, jako uczelniane „eksperymenty”. Z modelami, o jakich myślimy dzisiaj, mówiąc chociażby o ChatGPT, mamy do czynienia tak naprawdę od kilku lat

Jak działają duże modele językowe?

Aby dobrze zrozumieć, o co chodzi z dużymi modelami językowymi, trzeba poznać zasadę ich działania. Przejdźmy więc przez cały proces uczenia się LLM krok po kroku.

Załóżmy, że mamy stworzony sam algorytm dla przyszłego modelu. Pracę z nim trzeba zacząć od dostarczenia mu jak największej ilości danych (czyli, po prostu, treści w języku naturalnym) — które następnie będą przez niego analizowane. Standardowo, są to dane nieustrukturyzowane, nieopisane, „surowe”; po to, aby algorytm mógł samodzielnie dojść do pierwszych zależności między frazami. Jest to tzw. uczenie nienadzorowane.

Dopiero potem przystępuje się do etapu uczenia nadzorowanego — w którym dostarczamy modelowi danych ustrukturyzowanych, zdefiniowanych przez człowieka. W ten sposób pomagamy algorytmowi zrozumieć, które związki i koncepcje są prawdziwe, a które — błędne lub niezgodne z naszym rozumowaniem.

Na tym etapie możemy już mówić o tworzeniu się sieci neuronowej — przypominającej swoim działaniem ludzki mózg. Składa się ona z kilku warstw:

• integracyjnej — odpowiadającej za zrozumienie znaczeń i składni danych;
• rekurencyjnej — szukającej związków pomiędzy słowami w ramach ciągów (w obrębie frazy, zdania lub dłuższej wypowiedzi);
• przewidywania — odpowiedzialnej za operacje abstrakcyjne — na przykład zrozumienie intencji, z jaką zadaliśmy chatbotowi pytanie;
• uwagi — przypisującej różną wagę (znaczenie) poszczególnym wyrażeniom.

Gdy te warstwy są już mocno rozbudowane, mamy do czynienia z tzw. deep learningiem, czyli uczeniem głębokim. W jego toku model uczy się trafnie wskazywać powiązania nie tylko między ciągami słów i fraz, ale także — między stojącymi za nimi znaczeniami oraz intencjami.

Jeśli LLM zbuduje wystarczająco dużą liczbę połączeń między danymi, uczenie się kolejnych konceptów będzie możliwe już bez udziału człowieka — wystarczy, że model będzie miał dostęp do nowych danych (na przykład po połączeniu go z internetem, jak to jest w przypadku GPT-4).

Za każdym razem, gdy zadajemy pytanie Chatowi GPT, stojący za nim model LLM interpretuje otrzymane pytanie na kolejnych warstwach sieci neuronowej i — w oparciu o wszystkie dane, do których ma w danym momencie dostęp — generuje odpowiedź, zachowując się przy tym zgodnie z zasadami naszego języka.

Zastosowanie LLM w praktyce

Lista zastosowań dużych modeli językowych już dziś jest długa — a z biegiem czasu będzie tylko rosnąć. 

Wiele z nich możemy przetestować na podstawie wspomnianego już Chatu GPT, który jest w stanie:

• wygenerować tekst na dowolny temat i według dowolnych wytycznych;
• ze świetną dokładnością przekładać treści z jednego języka na drugi;
• przeredagować już wcześniej przygotowane treści;
• w kilkanaście sekund streścić pisany najbardziej skomplikowanym żargonem tekst naukowy;

a nawet

• przygotować fragment kodu o wybranej przez nas funkcji w dowolnym języku programowania.

Ale to nie wszystko. Z modeli językowych korzystają również dynamiczne chatboty oraz asystenci AI, pomagający w obsłudze klienta w branży e-commerce; wyszukiwarki Google i Bing, do generowania kontekstowych odpowiedzi, podsumowujących najbardziej wartościowe wyniki wyszukiwania; wszelkiego rodzaju narzędzia do analizy danych, którym LLM umożliwiają segmentację produktów czy informacji zwrotnych od klientów.