Storing datacenter Delft
Incident Report for 1AFA
Postmortem

In vervolg op deze storing is voor alle disken op alle storage-nodes de firmware nagelopen en geüpdate waar nodig.

De disk die problemen gaf is extra gecontroleerd.

Posted Feb 22, 2024 - 14:13 CET

Resolved
Het afgelopen uur zijn er geen nieuwe meldingen over verstoringen bij ons binnen gekomen.
Onze monitoring ziet geen problemen meer, we sluiten deze melding
Posted Jan 26, 2024 - 11:47 CET
Update
We are continuing to monitor for any further issues.
Posted Jan 26, 2024 - 10:45 CET
Monitoring
Rond 9.40 ontvingen wij signalen dat de servers in datacenter Delft niet goed meer bereikbaar waren.
Om 10.02 is het probleem geïdentificeerd. Een van de disken reageerde niet meer op schrijfacties waardoor er een queue van schrijfacties ontstond. Hierdoor werd de opslag erg traag en nagenoeg onbruikbaar.
Na identificatie van de probleem schijf is deze uit het cluster verwijderd waardoor de schrijfacties zijn verplaatst naar andere schijven en de queue weer leeg kon lopen.
Om 10:17 werd het cluster weer gezond. Verdere acties zijn genomen voor machines die hier verder last van hadden.
Posted Jan 26, 2024 - 10:44 CET
This incident affected: Cloud-diensten DLF (Virtualisatie DLF) and Telefonie.