Publié par : FusionForge Admin
Date : 26/08/2016 11:31
Résumé : [ADULLACT] incident forge - explications techniques
Projet : Ergonomie Forge

Contenu :


Jeudi 25/08/2016 à 8H30, la machine principale de la forge est tombée.
Le système de réplication (mode bloc) s'est mis en défaut à cause d'une
panne sur le raid matériel. L'ensemble des disques de la machines
posaient problème au reboot, et il a été impossible de la relancer.

Au même moment, la machine "miroir" nous signalait un disque dur
défectueux et le RAID5 était en cours de reconstitution sur les autres
disques. Après reconstitution, toutes les partitions des données
sensibles de la forge étaient accessibles et opérationnelles. Il est
apparut quelques erreurs sur une partition système (/var) que nos
équipes ont pu corriger manuellement.

Dès cet instant, une synchronisation globale a été réalisée sur une 3eme
machine. C'est cette synchronisation qui a pris le plus de temps (~15H
de copies de fichiers via le réseau). Une fois ces copies réalisées,
nous avons pu redémarrer la forge ce vendredi 26/08 à 9H45.

Cette 3eme machine sera opérationnelle sous peu et deviendra la machine
principale.

Pour information: cette 3ème machine avait été acquise il y a peu justement pour remplacer la machine principale. La migration était prévue pour la 1ere semaine de septembre!

Remarque: après ces +25H d'arrêt, un certain nombre de processus
externes se connectant automatiquement sur la forge sont repartis, ainsi
que +26000(!) emails à destinations de la forge qui sont en cours de
traitement. Tout cela ralentit considérablement la forge qui devrait
être plus réactive dès la fin de matinée.

Dernières annonces

La forge déménage...

Pascal Kuczynski - 02/01/2020 18:03 -

[FORGE] interruption de service 2019 01 24

Fabien Combernous - 24/01/2019 16:24 -

[FORGE] interruption de service 2017 07 13

Fabien Combernous - 18/07/2018 13:57 -

[FORGE] interruption de service 2017 05 04

Fabien Combernous - 03/05/2017 16:14 -

[FORGE] interruption de service 2017 01 19

Fabien Combernous - 02/04/2017 19:32 -
Surveiller ce forum | Commencer une nouvelle discussion Commencer une nouvelle discussion
Bienvenue sur -adullact--incident-forge---explications-techniques [ Répondre ]
Par : FusionForge Admin on 2016-08-26 11:31		[forum:485043]
Bienvenue sur -adullact--incident-forge---explications-techniques

FEDER Powered By FusionForge Collaborative Development Environment Charte d'utilisation / Nous contacter / Mentions légales Haut de page