Een softwaredefect dat sinds juli verborgen was gebleven in Microsoft datacenters, kwam aan de oppervlakte tijdens routineus verkeersbeheer op 11 november, wat leidde tot langdurige storingen die e-mail, samenwerkingshulpmiddelen en AI-functies voor gebruikers wereldwijd verstoorden.
Het bedrijf voerde die avond een standaard omleiding van gebruikersverkeer uit. Verkeer van de Teams videoconferentie- en berichtendienst werd verplaatst naar servers die ook Outlook-werkbelasting afhandelden. Deze wijziging, in combinatie met verminderde servercapaciteit door een ongerelateerd probleem eerder die week, activeerde de sluimerende bug en zorgde ervoor dat servers geheugen tekortkwamen bij een plotselinge verkeerspiek.
Geautomatiseerde systemen die de dienstbeschikbaarheid moesten waarborgen, leidden vervolgens extra e-mail- en gebruikersverkeer om naar servers die het systeem als gezond beschouwde. In plaats daarvan kregen die servers te maken met hetzelfde probleem, waardoor de storing zich over de infrastructuur verspreidde.
Microsoft bleef ongeveer 15 uur na de eerste omleiding, net na 20.00 uur New York-tijd op 11 november, onwetend van het opkomende probleem. Tegen 11.30 uur op 12 november, toen het Amerikaanse zakelijke verkeer piekte, bevestigden engineers de omvang van het incident.
Er gingen nog eens 15 uur voorbij voordat het bedrijf begon met het uitrollen van een oplossing. Op het dieptepunt werd meer dan 80 procent van de servers die Outlook ondersteunden onbereikbaar. Herstel bleek moeilijk omdat herstelde servers al snel werden overspoeld door opgehoopt verkeer en opnieuw uitvielen. Pogingen om recente updates terug te draaien bleken ook ineffectief, omdat de oorzaak maandenlang onopgemerkt was gebleven.
Charles Lamanna, executive vice president verantwoordelijk voor workplace-software bij Microsoft, bood de maandag daarop publiekelijk excuses aan op het platform X. Hij merkte op dat laboratoriumsimulaties en beperkte netwerktests er niet in slaagden de echte verkeerspatronen en hardwareconfiguraties na te bootsen die de fout aan het licht brachten.
Standaard testprocedures richten zich op oudere, lagere-capaciteitssystemen om zwaktes te identificeren. Het specifieke defect bleek veel schadelijker op nieuwere, krachtigere hardware. Het incident benadrukte de uitdagingen van het waarborgen van veerkracht in grootschalige cloudomgevingen die kritieke productiviteitsdiensten ondersteunen, waaronder Copilot.