Projet Proxmox Usine Vonnas¶

Contexte¶

Mise en place d'une infrastructure de virtualisation haute disponibilite pour heberger des applications metier critiques (ERP, bases de donnees).

L'equipe d'administration est majoritairement orientee Windows, avec ouverture a la formation Linux/Proxmox. Les VMs de production tournent actuellement sur le DL360 Gen10 sous VMware avec backups Veeam 12 quotidiens.

Objectif¶

Construire un cluster Proxmox VE + Ceph sur 3 noeuds offrant : - haute disponibilite des VM, - stockage distribue (pool SSD pour la prod, pool HDD pour les archives), - maitrise des couts de licences, - capacite d'evolution.

Perimetre technique¶

Materiel existant¶

• Serveur 1 — HP DL380 Gen10 (batiment A)
• 1x Intel Xeon Gold 5120 (14 coeurs)
• 128 Go RAM
• 5x SSD 500 Go

• NIC integree : HPE 534FLR-SFP+ (701531-001) — Broadcom BCM57810S, 2 ports SFP+ 10G

• Serveur 2 — HP DL380 Gen10 (batiment B, identique serveur 1)

• NIC integree : HPE 534FLR-SFP+ (701531-001) — Broadcom BCM57810S, 2 ports SFP+ 10G

• Serveur 3 — HP DL360 Gen10 (batiment B, libere apres migration)

• 2x Intel Xeon Silver 4214 (24 coeurs total)
• 256 Go RAM
• 4x HDD 2 To
• Interfaces 1G uniquement — NIC 10G SFP+ a ajouter

• Heberge actuellement les VMs de production sous VMware

• Transceivers existants — 4x HPE 455885-001 (10GBASE-SR, 850nm, 300m sur OM3)

• Inutilisables sur fibre OM2 a 150m (SR limite a 82m sur OM2)
• Conserves en spare pour usage futur sur distances courtes

Disposition physique¶

• Batiment A : DL380 #1
• Batiment B : DL380 #2, DL360 Gen10
• Liaison inter-batiments : 2 fibres optiques 50/125 um OM2 — 150 m disponibles

Contraintes reseau¶

Fibre OM2 a 150 m¶

La fibre OM2 a 150 m exclut le 10GBASE-SR (limite a 82 m). Seul le 10GBASE-LRM (1310 nm, portee 220 m sur OM2) est compatible.

Separation des reseaux¶

• Reseau Ceph : isole physiquement, sans route vers la production
• Reseau production/management : via infrastructure Fortinet existante (1Gb)
• VLAN 1 : Management Proxmox (10.0.1.0/24)
• VLAN 30 : VM Production (192.168.1.0/24)

Solution retenue — Solution C : Full Mesh 100% Broadcom 534FLR¶

Principe¶

Topologie Full Mesh point-a-point (chaque serveur connecte directement aux deux autres, sans switch). Les 3 serveurs utilisent la meme NIC Broadcom 534FLR-SFP+ (700751-B21) : - DL380 #1 et #2 : 534FLR-SFP+ (BCM57810S) — deja integrees - DL360 #3 : 534FLR-SFP+ (700751-B21) — a ajouter (28 EUR chez Renewtech, 66 en stock)

Ce choix elimine le risque de vendor-lock LRM : les 3 NICs sont identiques (Broadcom BCM57810S), toutes permissives avec les modules SFP+ tiers.

Ref. Proxmox : Full Mesh Network for Ceph Server

Pourquoi Solution C plutot que Solution A¶

La Solution A utilisait une NIC Intel X710-DA2 (727055-B21) pour le DL360. Or Intel ne liste pas le 10GBASE-LRM dans ses modules supportes, et le X710 est connu pour refuser certains modules tiers. En passant a une 534FLR-SFP+ identique aux DL380, on obtient : - Aucun vendor-lock SFP+ : Broadcom ne filtre pas les modules tiers - Conformite MSA garantie : 534FLR est SFF-8402 compliant, transceivers LRM FS.com sont SFF-8431 + IEEE 802.3aq compliant - Homogeneite totale : 3x la meme NIC (534FLR-SFP+), meme chipset (BCM57810S), meme driver (bnx2x), meme comportement

Compatibilite Solution C¶

Contrainte physique batiment A¶

Le DL380 #1 est dans une armoire differente de l'armoire d'arrivee fibre (~10m de distance). Chaque liaison fibre inclut une jarretiere de brassage OM2 LC-LC 10m cote batiment A. Distance totale sur fibre : 10m (OM3 bat. A) + 150m (OM2 inter-bat.) + 10m (OM3 bat. B) = 170m (dans les 220m du LRM).

Architecture cible (3 noeuds)¶

Telecharger schema-proxmox-solution-c-mesh.drawio

Configuration reseau Proxmox¶

Reseau physiquement isole, pas de VLANs necessaires. Sous-reseaux point-a-point :

MTU 9000 sur toutes les interfaces.

BOM Solution C — Commande unique¶

Avantages¶

• Pas de switch = zero SPOF reseau, zero cout switch
• Zero risque LRM : 3 NICs Broadcom, toutes permissives avec les modules SFP+ tiers
• Conformite MSA : NIC SFF-8402 + transceivers SFF-8431, compatibilite garantie par les standards
• Bande passante dediee par lien (pas de contention)
• Topologie officiellement supportee par Proxmox pour Ceph
• Homogeneite du cluster : 3 NICs Broadcom

Inconvenients¶

• Necessite 2 fibres OM2 entre batiments (confirmees disponibles)
• Pas d'evolutivite (ajout d'un 4e noeud = refonte reseau)
• Configuration reseau Proxmox plus complexe (routage mesh)
• Budget legerement superieur a la Solution A (~592 EUR vs ~430 EUR)

Plan B — 2x switch FS S3240-8T¶

Si on veut simplifier l'architecture en eliminant tout risque LRM cote NIC, ou si l'evolutivite est prioritaire.

Principe¶

Un switch dans chaque batiment. Les NICs ne voient que des DAC. Les LRM sont uniquement dans les switches.

Architecture Plan B¶

Telecharger schema-proxmox-solution2-switches.drawio

Toutes les NICs ne voient que des DAC. Les LRM sont uniquement dans les switches.

BOM complet Plan B¶

Reseau¶

SSD pour DL360 Gen10¶

Budget total Plan B¶

Avantages Plan B¶

• Zero risque LRM — les NICs ne voient que des DAC
• Ecosysteme FS.com homogene (switch + transceivers + DAC)
• Switch manageable L2+ (OSPF, QoS, VLAN, ACL, stackable)
• 8 ports RJ45 1G bonus par switch
• Evolutif (ajouter un 4e noeud = brancher un DAC dans le switch)

Inconvenients Plan B¶

• Cout total ~960 EUR (vs ~592 EUR pour la Solution C)
• 2 switches = 2 equipements supplementaires a gerer
• SPOF : si un switch tombe, le noeud du batiment correspondant est isole

Solutions abandonnees¶

Solution A — Full Mesh avec 727055-B21 (ecartee)¶

Meme architecture Full Mesh point-a-point que la Solution C, mais avec une NIC Intel X710-DA2 (727055-B21) pour le DL360 au lieu de la Broadcom P210P.

Pourquoi ecartee : 1. La NIC Intel X710-DA2 (727055-B21) presente un risque de vendor-lock sur les modules LRM : Intel ne liste pas le 10GBASE-LRM dans les modules officiellement supportes du X710 2. L'Intel X710 est connu pour refuser certains modules SFP+ tiers (filtrage firmware) 3. Le risque LRM n'etait pas resolu — le DL360 recevait 1 transceiver LRM sur le lien fibre vers le DL380 #1 4. Budget etait ~430 EUR HT mais avec un risque LRM non resolu qui pouvait imposer un basculement vers le Plan B (~1000 EUR)

Sources : - Intel X710 supported modules — LRM non liste officiellement - Forum Intel - X710 compatible transceivers

Solution ecartee — Switch Aruba 2920 (J9727A)¶

Pourquoi ecartee : 1. Le J9727A (Aruba 2920-24G-PoE+) n'a pas de ports SFP+ integres — necessite 2 modules J9731A (175 EUR/u) 2. Le JD097C (DAC FlexNetwork) initialement prevu est incompatible avec les switches Aruba — il faut des J9283D (gamme Aruba). Source : HPE Airheads - FlexNetwork vs Aruba 3. Surdimensionne : 24 ports RJ45 PoE+ pour un reseau stockage dedie 4. La majorite des pieces etaient en rupture chez Renewtech 5. Cout total (~840 EUR) sans avantage par rapport au Plan B FS.com (meilleure garantie compatibilite) 6. La decouverte des NICs 534FLR-SFP+ integrees dans les DL380 rend le switch central inutile pour 2 des 3 noeuds

Compatibilite verifiee (pour memoire) : - J9152D LRM sur Aruba 2920 : valide (Transceiver Guide 5200-3362) - J9731A module sur 2920 : valide (Aruba 2920 Options)

Solution ecartee — Switch initial JL683B (Aruba Instant On 1930)¶

Pourquoi ecartee : Pas de circuit EDC (Electronic Dispersion Compensation) dans les ports SFP+. Incompatible physiquement avec le 10GBASE-LRM. Limitation hardware, aucun contournement possible.

Architecture stockage Ceph¶

Pool SSD — Production¶

• Replica size=3 (phase 2) → capacite utile : ~2,2 To
• Seuil nearfull Ceph (80%) → ~1,7 To confortablement allouables
• Charge initiale : 2 VMs x 200 Go = 400 Go → ~23% d'utilisation
• Usage : VMs de production (ERP, BDD)

Pool HDD — Archives et backups¶

• Replica size=1 (un seul noeud avec des HDD) → ~6,4 To a 80%
• Usage : stockage d'archives, ISOs, templates, backups secondaires

Configuration CRUSH rules :

# IMPORTANT : creer la rule SSD AVANT d'ajouter les OSD HDD
ceph osd crush rule create-replicated replicated_ssd default host ssd
ceph osd pool set ssd-pool crush_rule replicated_ssd

# Puis creer la rule et le pool HDD
ceph osd crush rule create-replicated replicated_hdd default host hdd
ceph osd pool create hdd-pool 32 32 replicated replicated_hdd

Haute disponibilite¶

• Cluster Proxmox 3 noeuds, quorum 2/3
• Tolerance a la perte d'un serveur
• Redemarrage automatique des VM sur les noeuds restants
• Ceph replica size=3 sur pool SSD (phase 2)

Arbitrage technologique¶

Choix retenu : Proxmox + Ceph plutot que Hyper-V pour architecture 3 noeuds.

Rationnel : - A 2 noeuds, Hyper-V + StarWind vSAN Free etait competitif - A 3 noeuds, le stockage partage Hyper-V impose : - StarWind payant (~2 500 $/an), ou - Storage Spaces Direct + Windows Datacenter (~20 000 $ licences) - Proxmox + Ceph apporte stockage distribue natif sans cout de licence equivalent

Charge initiale cible¶

• 2 VM de production (actuellement sur DL360 sous VMware)
• Taille : 200 Go chacune (400 Go total)
• RAM : 16 Go + 32 Go (48 Go total)

Plan de deploiement¶

Phase 0 — Commande materiel (J0)¶

Commandes passees :

FS.com — Commande #FS260326591012 du 26/03/2026 ✅

Renewtech.fr — A commander :

Amazon — Commande passee le 26/03/2026 ✅

Phase 1 — Cluster 2 noeuds DL380, migration prod (J+7 a J+21)¶

Les 2 DL380 sont disponibles immediatement. Le DL360 reste sous VMware jusqu'a la bascule.

Reseau phase 1 : - 1 seule fibre OM2 utilisee (DL380 #1 <-> DL380 #2, 534FLR <-> 534FLR) - Transceivers LRM dans les 534FLR (Broadcom) — faible risque de compatibilite - 2e port de chaque 534FLR reste libre pour la phase 2

Config reseau DL380 bat. A :

auto <iface_534flr_port1>
iface <iface_534flr_port1> inet static
    address 10.0.10.1/30
    mtu 9000

Config reseau DL380 bat. B :

auto <iface_534flr_port1>
iface <iface_534flr_port1> inet static
    address 10.0.10.2/30
    mtu 9000

Ceph a 2 noeuds — gestion du quorum : Ceph exige un nombre impair de monitors. A 2 noeuds physiques, creer un 3e monitor sur une VM legere (Debian minimal) sur un des DL380.

Pool SSD initial :

pveceph osd create /dev/sdX   # x5 par noeud (10 OSD total)
ceph osd crush rule create-replicated replicated_ssd default host ssd
pveceph pool create ssd-pool --size 2 --min_size 1
ceph osd pool set ssd-pool crush_rule replicated_ssd

Migration VMware -> Proxmox via Veeam 12 : 1. Verifier version Veeam >= 12.1 (support natif Proxmox) 2. Dans Veeam : Backup Infrastructure -> Managed Servers -> Add -> Proxmox VE 3. Clic droit sur backup VMware -> Restore to Proxmox VE 4. Veeam convertit automatiquement VMDK -> format Proxmox 5. Plan B migration : export OVA depuis VMware -> qm importovf sur Proxmox

Phase 2 — Ajout DL360, passage 3 noeuds (J+21 a J+28)¶

Config reseau phase 2 (interfaces a activer) :

# DL380 bat. A — activer port 2 de la 534FLR
auto <iface_534flr_port2>
iface <iface_534flr_port2> inet static
    address 10.0.10.5/30   # lien fibre vers DL360
    mtu 9000

# DL380 bat. B — activer port 2 de la 534FLR
auto <iface_534flr_port2>
iface <iface_534flr_port2> inet static
    address 10.0.10.9/30   # lien DAC vers DL360
    mtu 9000

# DL360 — NIC Broadcom P210P
auto ens3f0
iface ens3f0 inet static
    address 10.0.10.6/30   # lien fibre vers DL380-A
    mtu 9000

auto ens3f1
iface ens3f1 inet static
    address 10.0.10.10/30  # lien DAC vers DL380-B
    mtu 9000

Passage replica size=3 :

pveceph createmon                          # 3e monitor sur DL360
pveceph destroymon <vm-mon-id>             # supprimer l'arbitre VM
ceph osd pool set ssd-pool size 3
ceph osd pool set ssd-pool min_size 2

Checklist de recette¶

Phase 1 — 2 noeuds¶

• Lien 10G fibre OM2 UP entre DL380 (iperf3 > 9 Gbps)
• MTU 9000 valide (ping -M do -s 8972)
• Ceph HEALTH_OK avec 3 monitors (2 physiques + 1 VM)
• Pool SSD cree, replica size=2
• Ecriture/lecture test (rados bench)
• VM de prod restauree via Veeam et fonctionnelle
• Applications metier OK (ERP, BDD)
• Backup Veeam de la nouvelle VM Proxmox OK
• Test perte d'un noeud : VM redemarre sur l'autre

Phase 2 — 3 noeuds¶

• 3 liens 10G UP (fibre 1, fibre 2, DAC)
• iperf3 > 9 Gbps sur chaque lien
• Ceph HEALTH_OK, 3 monitors natifs (VM arbitre supprimee)
• Pool SSD replica size=3 actif
• Pool HDD cree avec CRUSH rule dediee
• Rebalancing termine (ceph -s : no degraded)
• Test perte d'un noeud quelconque -> VMs survivent
• Test perte du noeud bat. A -> bat. B continue seul
• Performances I/O acceptables (fio sur volume Ceph)

Considerations Ceph¶

La replication Ceph (facteur 3 par defaut) genere 3x le trafic d'ecriture sur le cluster network. Sur la liaison 10G inter-batiments, la bande passante effective pour les VMs sera reduite lors des phases de recovery.

References documentaires¶

• Full Mesh Network for Ceph Server — Proxmox Wiki
• HPE ArubaOS-Switch and ArubaOS-CX Transceiver Guide — 5200-3362
• Intel X710 supported modules
• FS.com Intel Compatible LRM
• FS.com S3240-8T Switch
• FS.com DAC SFP+ passif 3m
• IEEE 802.3aq — 10GBASE-LRM standard

Voir aussi¶

• analyse-couverture-2026-03-08
• backlog