Microsoft har nu redogjort för orsaken bakom det omfattande avbrott som i förra veckan drabbade Outlook och andra Microsoft 365-tjänster. Enligt bolagets preliminära incidentrapport, publicerad den 15 november, går felet att spåra till en programvaruändring som infördes i juli.
Ändringen gjordes i de nätverksgateways som hanterar trafik till Microsoft 365. Den passerade bolagets belastningstester och kunde distribueras globalt utan att några omedelbara problem märktes. Men under vissa belastningsförhållanden ledde den felaktiga koden till att processer låste sig och att servrarnas processor- och minnesresurser förbrukades.
Microsoft uppger att problemet var mer uttalat på nyare maskiner med fler processorkärnor. Belastningstesterna hade i högre grad genomförts på äldre och mindre kraftfull hårdvara, vilket bidrog till att felet inte upptäcktes.
Det var först när flera omständigheter sammanföll den 12 november som den latenta bristen fick omfattande konsekvenser. Trafik från Microsoft Teams flyttades över till den primära gateway som även hanterade Exchange Online. Samtidigt var närmare 14 procent av gatewayens serverkapacitet ur drift på grund av ett separat problem.
Var för sig skulle omständigheterna enligt Microsoft inte ha orsakat avbrottet. Tillsammans skapade de en belastning som utlöste programvarufelet.
Automatisk återhämtning förstärkte störningen
När servrarna började sluta svara försökte Microsofts trafikhantering omfördela anslutningarna till andra servrar som fortfarande fungerade. Men även dessa servrar mötte samma belastningsproblem. Trafiken flyttades vidare och felet spreds genom infrastrukturen.
Inom mindre än två timmar hade störningen fått en omfattning där mer än 80 procent av servrarna i den berörda gatewayinfrastrukturen var obrukbara.
Microsofts ordinarie automatiserade återställningsrutiner var inte utformade för ett så omfattande bortfall. Det gick inte heller att göra en enkel återgång till den tidigare programvaruversionen, eftersom ändringen hade införts flera månader tidigare.
Teknikerna tvingades i stället utveckla en ny uppdatering som återställde den tidigare fungerande kodvägen. Den distribuerades successivt till grupper av servrar medan trafiken och infrastrukturen stabiliserades.
Avbrottet slog särskilt hårt mot Exchange Online, som ligger bakom e-posttjänsten i Outlook. Andra tjänster, däribland Teams, OneDrive, SharePoint och Office-appar, kunde i större utsträckning styras bort från den felaktiga gatewayinfrastrukturen. Exchange Online kunde inte flyttas över på motsvarande sätt i den omfattning som krävdes.
Microsoft bekräftade att tjänsterna åter var stabila den 13 november. Enligt bolagets preliminära redogörelse påverkades kunderna under en period som sträckte sig över nästan ett dygn. En slutlig incidentrapport väntas den 20 november.
Ett beroende som svenska verksamheter behöver hantera
Microsoft 365 används brett i svenska företag, myndigheter och organisationer. E-post, dokumenthantering, möten och intern kommunikation är ofta samlade i samma plattform. När en central tjänst slutar fungera kan konsekvenserna därför snabbt sprida sig långt utanför den enskilda it-avdelningen.
Händelsen visar också att tillgänglighet inte enbart handlar om att en leverantör har tillräcklig serverkapacitet eller geografisk redundans. Ett programvarufel kan ligga dolt under lång tid och aktiveras först när belastning, kapacitetsbrist och förändrade trafikflöden sammanfaller. Även automatiserade funktioner som är byggda för att upprätthålla driften kan då bidra till att ett lokalt problem sprids.
För svenska säkerhetsansvariga blir det därför viktigt att inte likställa molntjänster med garanterad tillgänglighet. Leverantörens redundans och återställningsförmåga är en del av organisationens riskbild, men den egna verksamhetens förmåga att hantera ett längre avbrott behöver också prövas.
Det handlar bland annat om att identifiera vilka funktioner som är beroende av en och samma plattform, hur kritisk kommunikation ska fungera när e-post och samarbetsverktyg ligger nere och vilka alternativa arbetssätt som faktiskt går att använda. Det räcker inte att ha en kontinuitetsplan dokumenterad – den behöver också testas mot scenarier där flera tjänster påverkas samtidigt.
Leverantörens återställning är inte hela beredskapen
Microsofts redogörelse visar hur ett fel i en enskild programvaruändring kan få globala följder när tjänster och infrastruktur är tätt sammankopplade. För organisationer som använder Microsoft 365 blir leverantörens incidenthantering och återställningsförmåga därmed en central del av den egna operativa motståndskraften.
Samtidigt behöver svenska verksamheter kunna upprätthålla kritiska funktioner även när leverantören inte kan återställa tjänsterna snabbt. Det förutsätter en tydlig bild av beroenden, alternativa kommunikationsvägar och prioriteringar för verksamheten vid längre avbrott.
Microsofts slutliga incidentrapport väntas ge ytterligare besked om vilka tekniska och organisatoriska åtgärder bolaget vidtar för att förhindra att ett liknande förlopp upprepas.