Deepseek maakt deepinfer open source om ai-inferentiekosten te verlagen

Chinees ai-bedrijf deelt productiesoftware die modelruns versnelt en rekenkrachtbehoeften vermindert voor v4.1-flash en toekomstige systemen

DeepSeek heeft de software vrijgegeven die het gebruikt om zijn kunstmatige intelligentiemodellen efficiënt op grote schaal te draaien. De open-source tool, genaamd DeepInfer, heeft als doel geavanceerde ai goedkoper en eenvoudiger te maken voor bedrijven om te gebruiken.

Deepseek deelt productiestack op x

Het in Hangzhou gevestigde bedrijf kondigde de stap dinsdag aan via zijn account op x. “We delen onze productiestack om de community te helpen rekenkosten te verlagen, energieverbruik te verminderen en ai betaalbaarder te maken”, aldus het bedrijf.

De eerste ondersteuning geldt voor het V4.1-Flash-model van het bedrijf, met plannen om de compatibiliteit later uit te breiden naar andere systemen. De release benadrukt interne methodes die inferentie — het proces van het draaien van getrainde modellen — snel en zuinig houden.

Technieken richten zich op efficiëntie bij modelimplementatie

Deepinfer combineert benaderingen zoals distributed inference, waarbij workloads over meerdere hardwareonderdelen worden verdeeld. Deze methodes laten modellen meer output genereren in kortere tijd en halen meer prestaties uit beschikbare chips.

Hetzelfde ai-model kan sterk verschillende rekenresources vereisen, afhankelijk van de serving-software. Efficiëntere tools verlagen de kosten per verzoek en kunnen ook het energieverbruik tijdens het gebruik verminderen.

Voordelen voor cloudproviders en ondernemingen

Hosting- en cloudbedrijven die DeepSeek-modellen draaien, kunnen nu dezelfde kostenbesparende technieken direct overnemen. Ondernemingen krijgen de optie om die modellen op hun eigen infrastructuur tegen lagere kosten te draaien.

Hoewel DeepInfer zich richt op de eigen modellen van DeepSeek, kunnen andere ontwikkelaars de code bekijken en de methodes aanpassen voor hun eigen inferentieopstellingen. Er zijn tot nu toe geen onafhankelijke benchmarks van de efficiëntieverbeteringen gepubliceerd.