Guide "Tout est Down" — Vonnas¶
Derniere MAJ : 2026-02-15 | Version : 1.0 Ce guide fonctionne SANS reseau, SANS AD, SANS acces distant. Imprimer ce document et le stocker dans chaque salle serveur.
Acces physique aux salles serveur¶
| Salle | Localisation | Acces | Equipements |
|---|---|---|---|
| Salle serveur Bureaux | Batiment administratif | Serrure physique (cle) | soresx1, soresx2, SAN01, SorSauvegarde, srv-backup, FortiGate 60F, BAIE_ADMINISTRATION, FortiSwitch bureaux |
| Salle serveur Usine | Salle electrique usine | Serrure physique (cle) | soresxback, BAIE_INDUS, switches HP 1910 |
Cles
S'assurer que les cles des deux salles sont accessibles en permanence (trousseau IT + double en lieu sur).
Kit d'urgence¶
Avant d'intervenir, verifier que vous avez :
- Portable IT avec navigateur web (acces iLO/FortiGate)
- Cable console RJ45-DB9 ou USB (pour FortiGate)
- Cable reseau RJ45 (pour branchement direct sur iLO ou switch)
- Ce document imprime
- Acces au coffre-fort IT (cloud ou copie locale sur le portable)
Acces management hors-bande (iLO)¶
Acces iLO
Les interfaces iLO sont accessibles depuis n'importe quel port reseau / VLAN (sauf VLAN visiteur). Brancher le portable sur un port libre de n'importe quel switch, configurer une IP en 10.1.250.x, et acceder via navigateur.
IPs management¶
| Equipement | IP iLO / Management | Acces |
|---|---|---|
| soresx1 | 10.1.250.10 | https://10.1.250.10 — Console distante ESXi |
| soresx2 | 10.1.250.20 | https://10.1.250.20 — Console distante ESXi |
| soresxback | 10.1.250.50 | https://10.1.250.50 — Console distante ESXi |
| SorSauvegarde | 10.1.250.220 | https://10.1.250.220 — Console distante Windows |
| SAN01 ctrl A | 10.1.250.1 | https://10.1.250.1 — Interface HPE MSA |
| SAN01 ctrl B | 10.1.250.2 | https://10.1.250.2 — Interface HPE MSA |
| FortiGate 60F | 10.1.1.99 | https://10.1.1.99 — Interface web admin |
Configuration IP manuelle du portable¶
Pour acceder aux iLO si le DHCP est down :
IP : 10.1.250.100 (ou toute IP libre en 10.1.250.x)
Masque : 255.255.255.0
Passerelle : 10.1.1.99 (FortiGate, si necessaire)
DNS : non necessaire pour acces direct iLO
Acces console FortiGate (si web inaccessible)¶
- Brancher le cable console (RJ45-DB9 ou USB) sur le port CONSOLE du FortiGate
- Ouvrir PuTTY (ou equivalent) en mode Serial
- Parametres : 9600 baud, 8 bits, pas de parite, 1 bit stop (9600 8N1)
- Login avec les credentials admin FortiGate (voir coffre-fort IT)
Procedure : Tout est down — par ou commencer ?¶
REGLE D'OR
Deux chaines independantes a restaurer en parallele : BUREAUX et USINE. Ne pas attendre que les bureaux soient up pour commencer l'usine (et inversement). Pour l'ordre detaille par vague, voir carte-dependances-vonnas.
Etape 0 : Diagnostic rapide (5 min)¶
Avant de toucher quoi que ce soit :
- Verifier l'alimentation electrique — les onduleurs sont-ils alimentes ? Les voyants serveurs sont-ils allumes ?
- Verifier le FortiGate — voyants allumes ? Si oui, essayer l'interface web (10.1.1.99). Si non, verifier l'alimentation.
- Classification de la panne :
| Symptome | Diagnostic probable | Aller a |
|---|---|---|
| Plus rien du tout, silence complet | Coupure electrique | Scenario A |
| FortiGate allume, pas de reseau | Panne switch ou FortiLink | Scenario B |
| Reseau OK, VMs down | Panne hyperviseur ou stockage | Scenario C |
| Un seul service down | Panne isolee | Fiche reflexe du systeme concerne |
Scenario A : Coupure electrique totale¶
Salle bureaux :
| Etape | Action | Verification |
|---|---|---|
| A1 | Rearmer le tableau electrique / onduleur Riello | Voyants onduleur OK |
| A2 | Attendre boot FortiGate 60F (~2-3 min) | LED status vert fixe |
| A3 | Attendre boot FortiSwitch via FortiLink (~2-3 min) | execute switch-controller get-conn-status |
| A4 | Verifier SAN01 (voyants controllers A/B) | https://10.1.250.1 accessible |
| A5 | Power On soresx1 + soresx2 via iLO | https://10.1.250.10 + .20 → Power On |
| A6 | Attendre demarrage VMs autostart (~5-10 min) | SORDC1 repond au ping |
| A7 | Verifier VCSA7 demarre apres SORDC1 | https://vcsa.d-sormg.local accessible |
| A8 | Verifier les autres VMs dans vCenter | Toutes les VMs en Running |
| A9 | Power On SorSauvegarde via iLO | https://10.1.250.220 → Power On |
Salle usine (en parallele) :
| Etape | Action | Verification |
|---|---|---|
| A10 | Verifier alimentation usine | Voyants switches HP allumes |
| A11 | Power On soresxback via iLO | https://10.1.250.50 → Power On |
| A12 | Attendre SORDC2 autostart | SORDC2 repond au ping |
| A13 | Power On _SRLV-SERV-BDD EN PREMIER | Attendre Oracle + PostgreSQL up |
| A14 | Power On _SRLV-SERV-APP EN SECOND | ERP Nutriciel operationnel |
Ordre strict usine
BDD avant APP — toujours. L'application Nutriciel ne demarre pas correctement si la base de donnees n'est pas disponible.
Scenario B : Reseau down (FortiGate ou switches)¶
Si FortiGate ne repond pas :
| Etape | Action |
|---|---|
| B1 | Verifier alimentation FortiGate — cable secteur, onduleur |
| B2 | Si allume mais inaccessible : brancher cable console (9600 8N1) |
| B3 | En console : get system status pour verifier l'etat |
| B4 | Si bloque : redemarrage execute reboot (confirmer "y") |
| B5 | Si config corrompue : FortiGate peut rebooter en config usine — contacter support Fortinet avant |
Si FortiSwitch ne remonte pas apres boot FortiGate :
| Etape | Action |
|---|---|
| B6 | Verifier le cablage FortiLink (port FortiGate → BAIE_ADMIN) |
| B7 | execute switch-controller get-conn-status — verifier quels switches sont connectes |
| B8 | Si un switch ne remonte pas : verifier alimentation PoE et cable |
| B9 | Rappel : les switches passent le trafic meme sans FortiLink (mode degrade) |
Scenario C : VMs down (hyperviseur ou stockage)¶
Si SAN01 est down (toutes VMs bureaux impactees) :
| Etape | Action |
|---|---|
| C1 | Acceder a https://10.1.250.1 (ctrl A) ou https://10.1.250.2 (ctrl B) |
| C2 | Verifier l'etat des controllers et des disques |
| C3 | Si un controller est down : le second prend le relais (failover auto) |
| C4 | Si les deux controllers sont down : contacter support HPE immediatement |
| C5 | En attendant : les replicas sur soresxback peuvent prendre le relais (failover Veeam) |
Si un hyperviseur ne repond pas :
| Etape | Action |
|---|---|
| C6 | Acceder a iLO (voir tableau IPs ci-dessus) |
| C7 | Verifier l'etat : Power On ? Screen frozen ? PSOD (Purple Screen) ? |
| C8 | Si freeze/PSOD : Hard Reset via iLO (Power → Reset) |
| C9 | Si ne boot pas : verifier POST, memoire, disques dans iLO (logs hardware) |
| C10 | VMs non HA : attendre reboot. VMs critiques : basculer manuellement vers l'autre ESXi via vCenter |
Si vCenter (VCSA7) est down mais ESXi fonctionnent :
| Etape | Action |
|---|---|
| C11 | Les VMs continuent de tourner sans vCenter |
| C12 | Gerer chaque ESXi individuellement : https://10.1.250.10/ui ou https://10.1.250.20/ui |
| C13 | Pas de vMotion, pas de HA, pas de DRS en mode degrade |
| C14 | VCSA7 devrait redemarrer tout seul une fois SORDC1 (DNS) disponible |
Scenario D : AD / DNS down¶
Si SORDC1 est down (DC principal) :
| Etape | Action |
|---|---|
| D1 | SORDC2 prend le relais automatiquement (DNS + DHCP + auth) |
| D2 | Verifier que les clients pointent aussi vers SORDC2 en DNS secondaire |
| D3 | Restaurer SORDC1 des que possible (roles FSMO) |
Si SORDC1 ET SORDC2 sont down :
| Etape | Action |
|---|---|
| D4 | Plus d'authentification AD, plus de DNS interne, plus de DHCP |
| D5 | Priorite absolue : restaurer SORDC1 en premier (il detient les roles FSMO) |
| D6 | Les VMs et services continuent de tourner mais aucun nouveau login possible |
| D7 | FortiGate continue de router (pas de dependance AD) |
Contacts d'urgence¶
| Role | Qui contacter | Quand |
|---|---|---|
| IT Vonnas | Equipe IT (2 personnes) | Premier reflexe |
| Support HPE | Numero contrat support | Panne SAN01 ou serveurs physiques |
| Support Fortinet | Numero contrat support | Panne FortiGate non resolue |
| Electricien | Prestataire site | Panne electrique non resoluble |
| Actemium | Editeur ERP Nutriciel | Probleme applicatif ERP apres restauration |
Completer les numeros de telephone
Les numeros de telephone et references de contrats support sont a ajouter. Voir workflow a7-annuaire-fournisseurs.
Checklist post-restauration¶
Apres remise en service, verifier dans l'ordre :
- Tous les FortiSwitch remontes :
execute switch-controller get-conn-status - SAN01 controllers A+B OK : https://10.1.250.1
- Tous les ESXi visibles dans vCenter
- SORDC1 + SORDC2 : replication AD OK (
repadmin /replsummary) - VMs critiques toutes en Running (vCenter)
- ERP Nutriciel operationnel (BDD puis APP)
- Sauvegardes Veeam : relancer les jobs si necessaire
- Tester la telephonie 3CX
- Tester l'acces Internet + VPN
- Notifier les utilisateurs de la reprise
Voir aussi¶
- carte-dependances-vonnas — Ordre de restauration detaille par vagues et dependances
- matrice-sauvegardes-vonnas — Matrice des sauvegardes et replications
- topologie-reseau-vonnas — Schema reseau complet
- cablage-brassage-vonnas — Mapping port par port
- plan-adressage-ip-vonnas — Plan d'adressage IP complet
Guide genere par Sentinel (A7) le 2026-02-15 | Site Vonnas IMPRIMER CE DOCUMENT et le stocker dans chaque salle serveur.