Cum schimbă cipul Jalapeño de la OpenAI și Broadcom inferența AI

OpenAI a făcut un pas major în direcția independenței hardware: împreună cu Broadcom, a lansat Jalapeño, primul său procesor personalizat de inferență pentru modelele de limbaj la scară largă. Anunțul semnalează o schimbare de strategie într-o piață dominată de Nvidia.

Un cip personalizat pentru inferență la scară largă

Jalapeño este un accelerator AI special conceput pentru etapa de inferență – adică atunci când un model antrenat răspunde la întrebări în timp real. Spre deosebire de procesoarele generice (GPU-uri), acest cip optimizează fluxul de date și consumul de energie pentru sarcinile de tip LLM. Potrivit surselor, arhitectura sa permite procesarea a mii de cereri simultan, cu o latență redusă, ceea ce este crucial pentru servicii precum ChatGPT.

Colaborarea OpenAI – Broadcom

Parteneriatul dintre OpenAI și Broadcom a durat câțiva ani până la acest rezultat. Broadcom, cunoscut pentru soluțiile sale de rețea și cipuri personalizate, a adus expertiza în fabricație și proiectare la scară largă. OpenAI a contribuit cu specificațiile precise pentru sarcinile sale de inferență. Astfel, Jalapeño nu este doar un cip mai rapid, ci și mai eficient energetic, reducând costurile operaționale ale companiei.

Impactul asupra industriei AI

Lansarea lui Jalapeño are potențialul de a zgudui piața hardware-ului AI. În prezent, Nvidia deține controlul asupra antrenării și inferenței cu GPU-uri. Dacă OpenAI își va folosi propriul cip la scară largă, ar putea forța competitorii să își reconsidere strategiile. Totuși, succesul depinde de scalabilitate și de adopția în centrele de date. Broadcom se bucură deja de o poziție puternică în rețele, iar combinarea forțelor cu OpenAI ar putea duce la soluții integrate pentru cloud.

Ce înseamnă pentru tine

Pentru utilizatorii de servicii AI, efectele se vor simți subtil, dar semnificativ:

• Răspunsuri mai rapide și mai ieftine: Costurile mai mici de inferență pot duce la prețuri mai accesibile pentru aplicații.
• Mai puțină dependență de un singur furnizor: Diversificarea hardware-ului poate accelera inovația și reduce blocajele.
• Posibile îmbunătățiri ale modelelor: Cu un cip propriu, OpenAI poate optimiza arhitectura modelelor direct pentru hardware, câștigând eficiență.

Surse

• OpenAI and Broadcom announce chip designed for LLM inference at scale
• Jalapeño is the first AI chip from OpenAI and Broadcom
• OpenAI a prezentat „Jalapeño”, cipul personalizat pe care l-a proiectat împreună cu Broadcom pentru a îmbunătăți infrastructura de IA