EDForum

Ceci est pour vous tenir au courant de la situation des évènements qui se sont
produits ce soir, dimanche le 16 janvier. Il y a eue une interruption de
service prolongé du à la chute d'une baie. Votre serveur, le sd105 fut
cependant coupé un peu plus longuement que les autres serveurs, la raison est
que le second disque n'a pas répondu lors du démarage du serveur. Comme il
s'agissait d'un disque qui vous avait été laissé affin que vous puissiez
récupérer vos données, il fut donc déconnecter. Par la suite, après le temps
requis pour effectuer les fsck, nous avons remis votre serveur en opération.

dans le cadre de l'amélioration de la sécurité de notre infrastructure réseau nous allons
effectuer une intervention mardi 21 juin 2005 entre 22h30 et 23h00.

Le but de cette intervention est de segmenter le réseau physique en plusieurs réseaux logiques
afin de pouvoir mieux gérer les machines hébergées.

Lundi soir constituera la première étape de cette amélioration. Une seconde étape est prévue
au mois de juillet.

L'interruption de service sera d'environ 15 à 20 minutes durant cette période.

Soyez sûr que mous mettrons tout en oeuvre pour minimiser au mieux l'interruption.

Chers clients,

nous vous informons qu'aura lieue une maintenance interne le vendredi 16 décembre 2005 entre 02h00 et 06h00 CEST.

Cette maintenance consistera à faire de la réorganisation et de l'optimisation interne concernant nos infrastructures.
En conséquence, votre serveur sera amené à être indisponible pendant 15 minutes suivi de micro-coupures durant cette période.

Nous nous efforcerons bien entendu de faire du mieux possible pour minimiser cette interruption de service.

Une interruption réseau a eu lieue aujourd'hui à 15h00 et a duré environ 10 minutes.
En effet, nous avons constaté que nous ne recevions plus de trafic entrant sur notre réseau.
Il s'est avéré que notre ancien opérateur Ovanet annonce toujours nos adresses IP sur le net.
Durant un laps de temps leurs annonces ont supplanté nos annonces, ce qui a fait que le trafic à destination de SIVIT était "absorbé" par le réseau Ovanet. Nous avons récupéré la main sur les annonces quelques minutes après.
Il s'agit donc d'un incident totalement indépendent de notre volonté et nous sommes actuellement en train de faire le nécessaire pour que cette situation ne se reproduise plus.

Grégory Poudrel
Directeur Technique
SIVIT SARL - Hébergement internet - Transit IP

Très Cher Client

Il y a 1 heure 30 environ, l'intégralité de la fourniture électrique
du Data Center Redbus Interhouse, dans lequel, comme beaucoup
d'hébergeurs, nous avons nos infrastructures, a été privé d'électricité,
entrainant la rupture d'approvisionnement de toutes les infrastructures
qu'il héberge.

Parmi ces infrastructures se trouvent bien sûr les notres et les votres,
soit plus de 1300 serveurs et dizaines d'équipements réseau, qui se sont
donc retrouvés dans le noir pour la partie qui nous concerne.

Après environ 15 minutes de coupure, le courant est reparti pour quelques
minutes et à sauté à nouveau.

La situation semble s'être désormais stabilisée, et nos équipes sont en train
de redémarrer progressivement l'intégralité des infras.

Nous n'avons pas d'information quand à cette coupure générale à l'heure actuelle
un Data Center en général, et Redbus en particulier étant conçu pour ne
pas connaitre, normalement, ce type d'incident, des UPS et Générateurs
étant présents pour servir de fourniture de secours en cas de rupture
de l'approvisionnement général.

Quelque chose n'a pas du fonctionner dans la chaine de secours, et nous
vous tiendrons informé dès que nous aurons nous même obtenu les informations
quand aux causes et conséquences de cet incident.

Je reviens donc vers vous très rapidement avec plus d'information.

-- Thierry TOBAILEM
SIVIT

Très Cher Client,

Je n'arrive pas à croire que je doit vous faire de nouveau
part de cette information.

Redbus vient de connaitre un nouvel incident électrique
généralisé, entrainant l'arret brutal et total de la fourniture
électrique de tous leurs clients, parmis lesquels Sivit et des
dizaines d'autres hébergeurs, qui font confiance à ce site
pour l'installation de leur data center.

De ce fait, l'immeuble ayant été totalement éteint, nous nous
retrouvons à nouveau avec plus de 1300 serveurs et équipements
à redémarrer, ce qui est en cours, tout le staff Sivit ayant répondu
présent et s'étant jetté dans la bataille.

Le courant a été coupé vers 10h45, et est revenu vers 12 heures.

Nous n'avons à l'heure actuelle aucune information sur ce nouvel
incident, et nous concentrons sur le redémarrage de toutes vos machines.

Nous vous tiendrons bien évidemment informé en temps réel, au fur et
à mesure que des informations nous parviendront.

Sincèrement,
-- Thierry TOBAILEM SIVIT

Très Cher Client,

nous vous recontactons afin de faire un point sur les incidents de ce jour.

- 1er incident électrique Redbus:
10h45->12h00: L'alimentation EDF a lâché, le groupe de secours n'a pas pris le relais.
- 2e incident électrique Redbus:
14h30->16h30: Lors du branchement des batteries UPS de secours, le groupe électrogène de secours a tout simplement cessé de fonctionner
- 3e incident électrique Redbus:
17h00->18h10: Même incident, durant la tentative de rebranchement des batteries UPS, le groupe électrogènes de secours a cessé de fonctionner

Durant ces interruptions électriques, l'immeuble ayant été totalement éteint, nous nous
retrouvons à nouveau avec plus de 1300 serveurs et équipements
à redémarrer par 3 fois, ce qui est en cours, tout le staff Sivit ayant répondu
présent et s'étant jetté dans la bataille.

A l'heure actuelle l'électricité est devenue stable sur les installations Redbus, alimentées par les groupes électrogènes.

Nous attendons un retour de redbus pour la remise en service de l'arrivée EDF qui aura lieue demain et le diagnostic UPS.
En attendant plus aucune intervention électrique n'aura lieue, afin de garder une stabilité électrique.

Nous nous concentrons sur le redémarrage de toutes vos machines.
Soyez assurés que SIVIT met tout en oeuvre pour rétablir le service au mieux le plus rapidement possible.

Nous vous tiendrons bien évidemment informé en temps réel, au fur et
à mesure que des informations nous parviendront.

Sincèrement,
-- Grégory Poudrel Directeur Tecnique SIVIT

Redbus a travaillé cet après midi sur le plan d'action de la soirée,
et viennent de nous le communiquer.

Il est prévu que leurs interventions commencent à 20h00.

Dans l'ordre, il s'agira pour eux:

- d'effectuer une maintenance sur le disjoncteur TGBT (brièvement, disjoncteur principal EDF)
- Réintégrer les UPS dans le circuit électrique, qui sont
indispensables aux permutations réussies entre EDF et générateurs
- basculer la charge client sur les UPS.

Le risque de coupure pendant cette maintenance est qualifié de non négligeable.
La durée est estimée à 2h00/2h30, mais ne peut pas être considérée comme une fourchette
absolue, le but étant de ramener le site dans un état de fonctionnement
normal ce soir, ce qui est le mieux pour tout le monde.

De ce fait, comme la plupart de nos confrères, nous avons décidé d'éteindre
tous les équipements critiques, une coupure brutale n'étant jamais
sans conséquence pour du matériel.

[...]

--
Thierry TOBAILEM - SIVIT Sarl
~lien~ | Hébergement internet - Transit IP

Cher Client,

Comme vous l'avez probablement constaté depuis un moment, nous avons relancé la plupart des serveurs et services.

En effet, les actions correctives de Redbus ont porté leurs fruits et les diverses étapes ont été succesivements franchies sans incident.

Bien qu'il n'y ai pas eu de coupure, comme nous le craignions, les variations électriques liées à la mise en charge des UPS et à la bascule de la charge client dessus auront largement mérité l'extinction des infrastructures, et économisé le hardware, c'était la précaution la plus sage à prendre dans un tel contexte.

Nous nous devions de préserver vos équipements pendant que Redbus tachait de repasser en mode de production normalisé, la sauvegarde de vos infras et données étant la seule chose importante.

Actuellement, le site tourne sur les générateurs diesel, qui alimentent désormais les onduleurs fournissant un courant enfin parfaitement propre et surtout recommençant à charger les UPS, qui seront nécessaires pour la bascule sur le circuit EDF une fois ceux-ci chargés, bascule désormais possible vu que le disjonteur principal a pu être remis en état.

Cette manoeuvre aura lieu demain en fin de journée, mais est, sur le principe, bénigne, et représente un risque très
limité.

Elle est normalement répétée plusieurs fois par an durant les maintenances normales du site, et n'a jamais posé de
problème dans des environnements techniques sains, comme désormais.

Si tout continue ainsi, viendront ensuite le temps des explications, discussions, indemnisations et décisions pour l'avenir, points que nous vous retranscrirons en temps réel, toujours à chaque fois qu'une information nous parviendra, afin que nous décidions ensemble, avec vous, de l'avenir.

Nous restons de toute façon sur le pont, et continuons à gérer les problèmes résiduels éventuels.

Je vous avoue cependant que pour ma part, après plus de 41 heures sans avoir l'occasion de fermer l'oeil, je pense aller
rapidement prendre un peu de repos.

Je souhaite aussi souligner l'implication de tous les instants de l'intégralité de l'équipe, vous pouvez être persuadés que vous êtes entre de bonnes mains, dont l'acharnement à vous aider à passer cette crise dans les conditions les moins pire possibles aura été totale.

Je vous donne rendez vous très rapidement pour d'autres nouvelles.

--
Thierry TOBAILEM
SIVIT.FR