- ZML, susținut de câștigătorul Premiului Turing Yann LeCun, a lansat ZML/LLMD – un software open-source care reduce costurile de rulare a modelelor AI pe multiple cipuri.
Startup-ul francez ZML, susținut de legendarul expert în AI Yann LeCun (câștigător al Premiului Turing), a lansat recent un produs software gratuit care promite să reducă semnificativ costurile și timpul necesar pentru a rula modele de inteligență artificială pe scară largă. Denumit ZML/LLMD, acest instrument open-source este conceput pentru a accelera inferența pe o varietate de cipuri AI, de la GPU-uri la acceleratoare specializate.
Ce este ZML/LLMD și cum funcționează
ZML/LLMD este un software de optimizare care permite distribuirea eficientă a sarcinilor de inferență AI pe mai multe cipuri simultan. Spre deosebire de soluțiile existente, care adesea necesită configurații complexe și sunt limitate la anumite tipuri de hardware, ZML/LLMD este conceput pentru a fi agnostic față de platformă. Startup-ul susține că software-ul poate reduce latența și crește debitul, permițând companiilor să ruleze modele mari, precum GPT-4 sau LLaMA, pe infrastructuri existente, fără a fi nevoie de investiții suplimentare în hardware.
De ce contează această lansare pentru industrie
Costurile de inferență reprezintă o barieră majoră în adoptarea pe scară largă a AI generative. Companiile cheltuie milioane de dolari lunar doar pentru a rula modele în producție. ZML/LLMD atacă direct această problemă, oferind o soluție gratuită care poate reduce costurile cu până la 50% în unele scenarii, conform primelor teste. Faptul că este open-source încurajează comunitatea să contribuie și să îmbunătățească software-ul, accelerând inovația.
Contextul și susținerea lui Yann LeCun
ZML a fost fondată de foști ingineri de la Meta și Google, iar Yann LeCun, vicepreședintele și șeful AI la Meta, a fost un susținător vocal al startup-ului. LeCun a declarat că „eficiența inferenței este cheia pentru democratizarea AI-ului”. Sprijinul său adaugă credibilitate și atrage atenția asupra potențialului soluției ZML.
Ce înseamnă pentru tine
- Costuri mai mici: Dacă rulezi modele AI în cloud sau pe servere proprii, ZML/LLMD poate reduce semnificativ facturile la resurse de calcul.
- Flexibilitate hardware: Poți folosi cipuri mai vechi sau mai puțin performante, deoarece software-ul optimizează distribuirea sarcinilor.
- Adoptare mai rapidă: Cu o soluție gratuită și deschisă, mai multe startup-uri și companii mici pot integra AI fără investiții uriașe.