What It Takes to Scale AI for a Billion Users

In dit artikel:

Bij een groot sociaal netwerkbedrijf heeft Ankur Gupta als senior technisch programmamanager AI-infrastructuur een cruciale rol in het omzetten van experimentele modellen naar betrouwbare producten voor meer dan een miljard gebruikers. Hij stuurt de systemen aan achter functies als advertenties, zoekresultaten, ranking, premiumdiensten en veiligheidsmaatregelen, waar honderden teams en duizenden modelupdates per jaar van afhankelijk zijn. Volgens het artikel lag de uitdaging niet zozeer bij het bouwen van AI, maar bij het stabiel, snel en veilig uitrollen ervan op enorme schaal.

Toen Gupta verantwoordelijk werd voor de AI-infrastructuur, sloeg ongeveer 60 procent van de modeldeployments nog door en duurde het gemiddeld drie dagen voordat een model volledig live was. Door een nieuw “AI operating model” te ontwikkelen voor testen, uitrollen, monitoren en opschalen, verbeterde hij die betrouwbaarheid naar bijna 99 procent, verkortte hij de opschaling naar twee uur en bracht hij sommige experimenten binnen dertig minuten naar productie. Het stuk noemt daarnaast een grote efficiëntieslag bij advertentiemodellen: de prestaties per A100-GPU werden met een factor 4,4 verhoogd zonder extra vertraging, wat naar schatting 20 miljoen dollar aan hardwarekosten bespaarde.

De achtergrond van Gupta laat zien dat deze expertise al vóór de AI-hype waardevol was. Hij bouwde eerder platforms voor hardwareplanning, betrouwbaarheid en cloudmigraties, waarmee grote hoeveelheden werkuren en miljoenen tot honderden miljoenen dollars werden bespaard. Zijn werk geldt nu als voorbeeld van een groeiende behoefte in de AI-sector: niet alleen slimme modellen, maar vooral leiders die de infrastructuur en samenwerking tussen teams zo organiseren dat AI op industriële schaal echt bruikbaar wordt.