Veliki korak za AI – nova metoda omogućuje 100 puta brže treniranje neuronskih mreža uz drastično manju potrošnju energije. Razvoj i treniranje neuronskih mreža za umjetnu inteligenciju (AI) zahtijeva ogromne računalne resurse i troši goleme količine električne energije. No, istraživači sa Tehničkog sveučilišta u Münchenu (TUM) razvili su metodu koja je 100 puta brža od dosadašnjih tehnika, čime omogućuje značajnu energetsku uštedu. Umjesto iterativnog podešavanja parametara, ova nova metoda izračunava vrijednosti izravno na temelju vjerojatnosti, a dosadašnji rezultati pokazuju da je kvaliteta modela usporediva s tradicionalnim metodama.
Provjeri još i…
Ogromna potrošnja energije AI modela
Sustavi umjetne inteligencije, poput velikih jezičnih modela (LLM-ova), sve su prisutniji u našem svakodnevnom životu. No, njihove računalne potrebe rastu eksponencijalno, a podatkovni centri koji ih pokreću troše goleme količine električne energije. Samo u Njemačkoj podatkovni centri su 2020. godine potrošili oko 16 milijardi kWh, što je činilo 1% ukupne nacionalne potrošnje energije. Predviđa se da će do 2025. taj broj narasti na 22 milijarde kWh.
Rastuća složenost AI aplikacija dodatno povećava potražnju za podatkovnim kapacitetima, a tradicionalni način treniranja neuronskih mreža izuzetno je energetski zahtjevan. Zbog toga su istraživači TUM-a osmislili alternativni pristup koji omogućuje brže i energetski učinkovitije treniranje modela.
Kako nova metoda štedi energiju?
Neuronske mreže funkcioniraju slično ljudskom mozgu – sastoje se od međusobno povezanih umjetnih neurona koji obrađuju ulazne signale kroz određene parametre težine. U tradicionalnim metodama ti se parametri nasumično određuju i postupno prilagođavaju kroz više iteracija kako bi mreža poboljšala svoje predikcije. Taj iterativni proces zahtijeva ogroman broj izračuna, što povećava potrošnju energije.
Nova metoda, koju je razvio profesor Felix Dietrich sa svojim timom, koristi vjerojatnosti umjesto iteracija za podešavanje parametara. Umjesto da se svi parametri prilagođavaju postupno kroz tisuće ponavljanja, ovaj pristup koristi ciljane vrijednosti na kritičnim točkama u podacima – mjestima gdje dolazi do naglih promjena vrijednosti.
Ovakav način treniranja značajno smanjuje potrebnu računalnu snagu, a time i potrošnju električne energije.
Praktične primjene
Cilj ove metode je omogućiti energetski učinkovitu obradu dinamičkih sustava koji se mijenjaju tijekom vremena prema određenim pravilima. Takvi sustavi prisutni su u klimatskim modelima, financijskim tržištima, ali i u raznim drugim područjima znanosti i tehnologije.
“Naša metoda omogućuje određivanje parametara s minimalnim računalnim resursima, što znatno ubrzava i optimizira treniranje neuronskih mreža,” objašnjava profesor Dietrich. “Osim toga, preciznost naše metode usporediva je s tradicionalnim iterativnim pristupima.”
Budućnost energetski učinkovitog AI-ja
S obzirom na sve veću potražnju za umjetnom inteligencijom, metode koje smanjuju računalne zahtjeve i energetsku potrošnju ključne su za budućnost industrije. Ovaj novi pristup mogao bi značajno smanjiti troškove treniranja velikih AI modela i pomoći u ubrzanju inovacija u mnogim područjima – od znanstvenih istraživanja do industrijskih aplikacija.
Ako se pokaže uspješnom na većim modelima, metoda koju je razvio TUM mogla bi biti veliki korak za AI u razvoju energetski održivih sustava.