Microsoft 365 in tilt per un giorno e mezzo: come un aggiornamento di rete ha paralizzato Outlook e Teams

Meno server disponibili significavano più lavoro per quelli rimasti
Il circolo vizioso che ha reso così lungo il ripristino dei servizi Microsoft 365.
Mark

Partiamo dall'inizio: che cosa è successo, in sostanza?

Mimi

Giovedì 12 novembre, alle 17:17 italiane, Exchange Online ha cominciato ad avere problemi nelle Americhe. Poi si è esteso, e per oltre 24 ore posta e Outlook sono stati inutilizzabili per molti.

Mark

Perché è stato così difficile risolverlo?

Mimi

Perché i server recuperati tornavano online e si bloccavano di nuovo appena ricevevano traffico. Meno macchine attive volevano dire più lavoro per le altre, un circolo vizioso.

Luke

Fermiamoci sulla causa. Quella indicata, un problema in un precedente aggiornamento di capacità di rete, è la versione di Microsoft. Il rapporto tecnico completo non c'è ancora.

Mimi

Vero. E la stessa azienda parla di una possibile correlazione con l'inizio del blackout, non di una certezza assoluta su ogni passaggio.

Mark

E Teams? Era fermo?

Mimi

Non del tutto. Messaggistica e videoconferenze sono rimaste in gran parte disponibili; hanno sofferto le funzioni legate a Exchange Online.

Luke

Quanti utenti siano stati colpiti, però, la fonte non lo dice. Sappiamo che le aziende coinvolte erano molte, non quante.

Mark

Che cosa esclude Microsoft?

Mimi

Un attacco informatico e l'uso dell'intelligenza artificiale. Ma anche questa è una dichiarazione dell'azienda.

Luke

Esatto, e il rapporto promesso servirà a verificarla.

Mark

Quindi cosa resta da capire?

Mimi

Come evitare che un guasto in un componente condiviso si propaghi ovunque.

  • Giovedì sera le mail di Exchange Online smettono di funzionare nelle Americhe, e in poche ore il guasto si allarga a Teams, Outlook e Copilot in altre regioni.
  • I server tornano online per qualche minuto e poi cedono di nuovo sotto il proprio carico, perché quelli rimasti devono sostenere il lavoro di quelli esclusi.
  • Nella notte tra venerdì e sabato un processo legato alle connessioni sicure va in sovraccarico, e gli ingegneri rispondono limitando il traffico e riportando indietro una configurazione precedente.
  • Il ripristino avanza area per area tra Asia, Europa e Nord America, con i ritardi di consegna ridotti temporaneamente a 48 ore per smaltire la coda.
  • Sabato alle 5:17 Microsoft dichiara chiuso l'incidente, esclude attacchi informatici e IA, e promette un rapporto tecnico che dovrà spiegare come evitare propagazioni future.

Nel tardo pomeriggio di giovedì 12 novembre, un'anomalia nella posta elettronica di Microsoft ha iniziato a diffondersi come una crepa in una diga condivisa: prima le Americhe, poi altre regioni e altri servizi. Per oltre un giorno milioni di persone, soprattutto nel lavoro, si sono ritrovate senza la loro corrispondenza e i loro strumenti quotidiani, ricordando quanto la vita professionale moderna dipenda da infrastrutture che non vediamo e che non controlliamo. La causa, secondo l'azienda, risale a un cambiamento della rete introdotto tempo prima e rimasto silenzioso finché una modifica successiva non lo ha portato alla luce. Il ritorno alla normalità è arrivato a fasi, e la vera domanda che resta è se la prossima crepa potrà essere contenuta più in fretta.

Giovedì 12 novembre, poco dopo le 17, i sistemi di Microsoft iniziano a mostrare anomalie nell'accesso a Exchange Online, il servizio che gestisce la posta di milioni di utenti, soprattutto aziende e istituzioni. Il problema parte dalle Americhe: caselle che non si aprono, messaggi che non partono. Presto si estende ad altre regioni e ad altri servizi, perché Outlook, Teams e Copilot condividono componenti della stessa infrastruttura.

La notte è lunga. Gli ingegneri riavviano i server, sospendono modifiche e aggiornamenti, e scoprono una cosa sorprendente: il traffico non è aumentato. Sono i server stessi a essere diventati indisponibili, e quelli rimasti si caricano del lavoro degli altri. Molti falliscono i controlli automatici e vengono esclusi dalla distribuzione, mentre una parte della capacità torna gradualmente.

Il momento più difficile arriva venerdì all'una di notte: le macchine recuperate tornano a bloccarsi appena ricevono richieste reali, in un circolo vizioso. Alle 2:12 emerge la causa immediata, un processo che gestisce le connessioni sicure va in sovraccarico. Microsoft ripristina una configurazione di rete precedente e reintroduce il traffico con cautela.

Dalla mattina di venerdì arrivano i primi segnali positivi, ma la correzione va estesa regione per regione per non far crollare di nuovo il sistema. Molti servizi tornano accessibili in serata, anche se alcuni utenti continuano a incontrare problemi. Sabato alle 5:17 l'incidente viene dichiarato concluso, con il ripristino finale ancora in corso.

La spiegazione ufficiale parla di un problema introdotto in un precedente aggiornamento di rete, rimasto nascosto fino a una modifica successiva. Restano aperte le domande più importanti: non solo cosa sia successo, ma come impedire che un'anomalia in un sistema condiviso da milioni di persone si propaghi di nuovo nel mondo intero.

Giovedì 12 novembre, alle 17:17 ora italiana, i sistemi di Microsoft registrano le prime anomalie nell'accesso a Exchange Online, il servizio che gestisce la posta elettronica di milioni di utenti, in gran parte aziendali. All'inizio i problemi riguardano le Americhe: molte persone non riescono ad aprire la casella, a inviare messaggi o a usare alcune funzioni di Outlook. Poi il guasto si allarga ad altre regioni e ad altri servizi.

Per oltre 24 ore le mail non arrivano, Outlook non si apre, alcune funzioni di Teams e Copilot restano inutilizzabili. A fermarsi sono aziende, istituzioni pubbliche e organizzazioni che affidano al cloud del gruppo americano una parte essenziale del lavoro quotidiano. Microsoft 365 non è un insieme di applicazioni indipendenti: Outlook, Teams, Copilot e molti altri servizi condividono componenti dell'infrastruttura. Per questo un problema nella gestione della posta può toccare anche calendari e comunicazioni interne. Durante il blackout, per esempio, messaggistica e videoconferenze di Teams sono rimaste in gran parte disponibili, mentre le funzioni legate a Exchange Online hanno subìto interruzioni.

La ricostruzione, basata sugli aggiornamenti di Microsoft raccolti nell'archivio degli incidenti dell'Università della Pennsylvania, sull'analisi tecnica di Xurrent e sulle comunicazioni sul ripristino, parte dalle 18:45, quando l'azienda concentra le verifiche sui sistemi che ricevono e distribuiscono le richieste degli utenti. Alle 19:19 rileva un carico anomalo su diverse parti dell'infrastruttura e comincia a riavviare i server; alle 19:26 apre un secondo incidente, perché i disagi si estendono ad altri servizi. Alle 20:06, per precauzione, sospende modifiche e aggiornamenti dell'infrastruttura.

Alle 20:18 arriva una scoperta importante: il sovraccarico non dipende da più richieste degli utenti, perché il traffico complessivo è rimasto sostanzialmente invariato. A essere diventati indisponibili sono molti server, e quelli rimasti devono farsi carico anche del lavoro delle macchine escluse. Tra le 20:43 e le 21:56 gli ingegneri scoprono che diversi server non superano i controlli automatici di funzionamento, e il sistema li esclude dalla distribuzione del traffico. Microsoft sospende altre esclusioni, prova un metodo di verifica alternativo e recupera una prima parte della capacità perduta.

Il momento più complicato arriva venerdì 13 novembre alle 1:00. Le macchine recuperate sembrano funzionare, ma smettono di rispondere appena ricevono le richieste degli utenti. Si innesca un circolo vizioso: meno server disponibili, più lavoro per quelli rimasti, più rischio di nuovi rallentamenti. Gli ingegneri limitano alcuni tipi di traffico e provano a ricostruire parte dei server con configurazioni software precedenti. Alle 2:12 emerge un malfunzionamento: un processo incaricato di stabilire connessioni sicure si sovraccarica e impedisce ai server di elaborare le richieste. Microsoft prepara una modifica alla configurazione e ripristina una precedente impostazione della rete, dopo aver individuato una possibile correlazione con l'inizio del blackout, reintroducendo il traffico gradualmente.

Alle 8:29 arrivano i primi risultati incoraggianti, dopo una modifica ai sistemi che gestiscono autenticazione e instradamento delle richieste. La correzione va però estesa al resto dell'infrastruttura, area geografica per area geografica, per non sovraccaricare di nuovo i sistemi. Il miglioramento tocca prima alcune regioni dell'Asia, poi Europa e Nord America, ma restano difficoltà intermittenti e ritardi nella consegna. Per smaltire i messaggi accumulati e ridurre il rischio che vengano respinti, Microsoft porta temporaneamente a 48 ore il tempo massimo di consegna. Venerdì sera molti servizi tornano disponibili, anche se alcuni utenti continuano a segnalare problemi.

Sabato 14 novembre, alle 5:17, dopo un periodo di monitoraggio, Microsoft dichiara concluso l'incidente, precisando che il ripristino degli ultimi servizi e regioni prosegue. Attribuisce il guasto a un problema introdotto in un precedente aggiornamento della capacità di rete, rimasto nascosto finché una modifica successiva lo ha fatto emergere. Esclude un attacco informatico e l'uso di sistemi di intelligenza artificiale, e annuncia un rapporto tecnico completo.

Resta da vedere cosa dirà quel rapporto. La questione, ormai, non è solo l'origine del guasto ma la capacità di prevenirne altri: anche con server distribuiti nel mondo, quando l'anomalia colpisce sistemi condivisi da milioni di persone e aziende, le conseguenze possono propagarsi ovunque.

Il guasto è stato introdotto da un precedente aggiornamento della capacità di rete, ed è emerso con una modifica successiva; esclusi attacco informatico e IA.
— Microsoft
Envie de l'histoire complète ? Lire l'original sur La Stampa ↗
Nous contacter FAQ