Það gæti verið hægt að hafa gervigreind eins og spjallbotna sem eru jafn góðir en nota minni orku salarko/Alamy
Stór gervigreind tungumálalíkön, eins og þau sem notuð eru til að keyra vinsæla ChatGPT spjallbotninn, geta minnkað um meira en helming án þess að missa mikla nákvæmni. Þetta gæti sparað mikla orku og gert fólki kleift að keyra líkönin heima, frekar en í risastórum gagnaverum.
Margar nýlegar framfarir í Gervigreindarlíkön hafa komið frá því að stækka fjölda stika: gildin sem hvert líkan stillir til að framleiða úttak. GPT-3 frá OpenAI, útgáfa sem knýr ChatGPT, hefur 175 milljarða breytur.
Þessar færibreytur taka upp ákveðin gildi sem samsvara gögnunum sem notuð eru til að þjálfa líkanið og mikill fjöldi færibreyta eykur tölvuafl og orku sem líkanið þarfnast.
Nú hafa Dan Alistarh og Elias Frantar hjá Vísinda- og tæknistofnun í Austurríki þróað aðferð sem fjarlægir 60 prósent af þessum breytum með lágmarks lækkun á nákvæmni.
„Ég held að þú þurfir ekki 175 milljarða breytur fyrir neitt, það hljómar eins og mikið magn,“ segir Alistarh. „Ég er að vona að við getum minnkað þetta aðeins.
Að „klippa“ stór gervigreind módel á þennan hátt leiðir aðeins til lágmarks taps á nákvæmni, segir Alistarh, og þau geta virkað eins vel og líkön með miklu færri breytur. Parið mátu þetta með því að gefa „vandræði“, mælikvarða á hversu vel niðurstöðurnar passa við spár um hvað þær verða.
Einn af göllunum við líkön með gríðarstóran fjölda stika er að þeir geta aðeins verið notaðir af fólki með nægjanlegt tölvuork til að þjálfa eða keyra þau sjálft, eins og fræðilegar stofnanir, segir Verena Rieser við Heriot-Watt háskólann í Edinborg, Bretlandi. Ef hægt er að endurtaka þessar niðurskurðarniðurstöður almennt gætu þær lýðræðisaðgengi, segir hún.
Tilvísun : arxiv.org/abs/2301.00774
