De AI-revolutie stuit op een geheugenmuur: er zijn meer en snellere chips nodig

In dit artikel:

Vier jaar na de lancering van ChatGPT blijft de belangstelling voor AI-investeringen groot. Nvidia presenteerde afgelopen week samen met zes vermogensbeheerders een plan om 500 miljard dollar aan kapitaal vrij te maken voor extra datacenters. Toch komt de grootschalige toepassing van AI minder snel op gang dan gehoopt door een tekort aan geschikt geheugen: de zogenoemde geheugenmuur.

Generatieve AI heeft bij elk antwoord grote hoeveelheden modelgegevens nodig. De rekenchips verwerken die informatie sneller dan het geheugen haar kan aanleveren. Daardoor reageren chatbots op drukke momenten traag, vooral bij dagelijks gebruik en minder tijdens het trainen van modellen. De beperkte geheugenbandbreedte maakt het bovendien moeilijker om betrouwbare, grootschalige AI-diensten te ontwikkelen.

Het benodigde high bandwidth memory (HBM) bestaat uit gestapelde DRAM-chips die dicht bij de AI-rekenchip worden geplaatst. De markt wordt beheerst door het Zuid-Koreaanse SK Hynix en Samsung en het Amerikaanse Micron. Zij richten zich door de hoge marges steeds meer op HBM, waardoor gewone DRAM schaars en duur wordt. Dat werkt door in de prijzen van consumentenelektronica. Fabrikanten als HP, Asus en Acer gebruiken daarom volgens Nikkei Asia in sommige laptops Chinese geheugenchips van CXMT, buiten de Amerikaanse markt. Ook Apple zou dit overwegen, hoewel dat geopolitiek gevoelig ligt.

De producenten breiden hun capaciteit fors uit. Samsung en SK Hynix investeren met Zuid-Korea omgerekend 490 miljard euro in nieuwe fabrieken; Micron wil in tien jaar 250 miljard dollar steken in Amerikaanse productie. Nederlandse toeleveranciers profiteren daarvan: ASML haalt een groot deel van zijn omzet uit Zuid-Korea, terwijl Besi en ASM International meer vraag zien naar apparatuur voor HBM.

Technisch wordt geprobeerd de geheugenmuur te doorbreken met meer gestapelde lagen, bredere verbindingen en geheugen dat boven op de rekenchip wordt geplaatst. Andere oplossingen zijn supersnel SRAM-geheugen op de chip, kleinere AI-modellen, efficiëntere gegevensverdeling en het gebruik van goedkoper NAND-opslaggeheugen. Onderzoekers werken ook aan geheugenchips die zelf berekeningen uitvoeren en aan energiezuinigere manieren om data te verplaatsen.

Het probleem is daarmee niet opgelost. TSMC, de belangrijkste producent en verpakker van geavanceerde AI-chips, is volgeboekt. Daarnaast zijn extra CPU’s, vermogenschips en efficiënte datacenterverbindingen nodig. Fotonische chips, die data met licht versturen, kunnen helpen; Nederland wil daarin een belangrijke rol spelen. De AI-vraag blijft voorlopig groter dan de productiecapaciteit. Daarom worden chips steeds vaker driedimensionaal gestapeld: niet alleen om meer transistors kwijt te kunnen, maar ook om gegevens sneller en zuiniger tussen geheugen en rekenkernen te vervoeren.