LLaMA, Alpaca, Vicuna, Koala - Állat jó nagy nyelvi modellek
Ahogy olvassuk a híreket a mesterséges intelligenciával kapcsolatban a nagy nyelvi modellek világa egy kikerülhetetlen téma. A ChatGPT-ről már írtunk korábban, a csapból is ez folyik manapság akárhova kattintunk. Azonban a ChatGPT mellett számos más izgalmas open source, azaz nyílt forráskódú nagy nyelvi modell is napvilágot látott, állati jó elnevezésekkel, mint például a láma, alpaca, vagy koala. Ebben a blog cikkben azt nézzük meg, mi is rejtőzik ebben a digitális dzsungelben!
Mik azok a nagy nyelvi modellek?
A nagy nyelvi modellek (Large Language Models - LLMs) olyan alapvető gépi tanulási modellek amelyek deep learning (mély tanulás) algoritmusokat használnak a természetes nyelv feldolgozására és megértésére. A nagy nyelvi modellek hatalmas mennyiségű szöveges adatra (pl. weboldalak, könyvek, stb) vannak tanítva és képesek az emberi nyelv teljes skálájának értelmezésére.
LLaMA
A Google és a Microsoft mellett a Meta (korábban Facebook) is beszállt a versenybe. A Meta nyelvi modelljét, a LLaMA-t Mark Zuckerberg 2023 februárjában jelentette be. Az elnevezés valójában a Large Language Model Meta AI -nak a rövidítése. 20 nyelvre képezték ki, és úgy tervezték, hogy hatékonyabb és kevésbé erőforrás-igényes legyen (kisebb számítási kapacitás igény), mint más modellek. Ezt úgy éri el, hogy kevesebb paraméterrel rendelkezik. A nagy nyelvi modelleket jellemzően a paraméterek száma alapján hasonlítják össze. Minél több paraméterrel rendelkezik egy modell, annál több adatot tud feldolgozni, tanulni és előállítani. A nagyobb paraméterrel ugyan szofisztikáltabb eredményt kapunk viszont az erőforrás igény is nagyobb. A LLaMA esetében ez azt jelenti, hogy a ChatGPT-hez képest ugyan kisebb a számítási kapacitás igény, viszont kevésbé tud összetett vagy kifinomult szöveget generálni. A LLaMA nagy nyelvi modell nyílt forráskódú (open source), tehát szabadon használható, terjeszthető, segítve ezzel a kutatók, fejlesztők munkáját. A vállalat egyik célja ezzel a nyelvi modellel a hozzáférés demokratizálása a kutatók számára. Bövebben a modellről ITT tudsz olvasni.
Alpaca
Az Alpaca nagy nyelvi modellt a Stanford amerikai kutatóegyetem csapata jelentette be 2023 márciusában. Az LLaMA-hoz hasonlóan ez is nyílt forráskódú modell (kereskedelmi célokra nem, de kutatásra használható). Érdekessége, hogy a a Meta LLaMA 7B modelljéből lett finomhangolva és a ChatGPT-hez hasonlóan az utasítások követésére specializálódott. Az Alpaca modellnek az egyik célja, hogy segítse az akadémiai közösséget egy nyílt forráskódú modell biztosításával, amely vetekszik az OpenAI GPT-3.5-jével. Ha érdekel a modell mélyebben, ITT tudsz olvasni róla.
Vicuna
A Vicuna nagy nyelvi modell a UC Berkeley, a CMU, a Stanford és az UC San Diego kutatóinak, azaz a Vicuna Team-nek a közös munkája. A Vicuna szintén egy kutatási célokra engedélyezett, nyílt forráskódú nagy nyelvi modell, ami az Alpaca-hoz hasonlóan a LLaMA modelljéből lett finomhangolva. Míg az Alpaca a LLaMA 7 milliárd paraméteres verzióján alapulnak, a Vicuna mögött álló csapat a nagyobb, 13 milliárd paraméteres változatot használja, ebből kifolyólag szofisztikáltabb végeredményre számíthatunk. Több infót a modellről ITT találsz.
Koala
A Koala nagy nyelvi modell a Berkeley egyetem mesterséges intelligencia kutató laboratóriumának (BAIR - Berkeley Artificial Intelligence Research Lab) modellje, amit 2023 áprilisában jelentettek be. Az Alpaca és Vicuna modellekhez hasonlóan szintén egy LLaMA spinoff, egy chatbot, amelyet a Meta LLaMA finomhangolásával képeztek ki az internetről gyűjtött párbeszédadatokon. A Koalát úgy is emlegetik, mint a ChatGPT egy egyszerűbb, nyílt forráskódú alternatívája. Célja hogy egyensúlyt teremtsen a nagy, zárt forráskódú LLM-ek és a kisebb, nyílt forráskódú LLM-ek között. Ha mélyebben olvasnál a modellről, ITT találsz még több infót.
Ha szeretnéd mélyebben is megérteni a nyelvi modellek működését, jelentkezz 6 hetes Generative AI Bootcamp képzésünkre ITT.
