Mein „Low-Energy“ Hypervisor Host

Seit einigen Jahren betreibe ich für meine eigene IT Infrastruktur einen Server als Hypervisor für verschiedene Server Systeme. War das in den Anfangsjahren zwangsweise mit teuren und nicht gerade stromsparenden Systemen verbunden, ermöglichen heute Low-Energy Komponenten wie z.B. Intel Atom Prozessoren und SSDs eine kosten- und stromsparende Konfiguration, die dennoch durchaus gute Performance liefert.

Produktiv-Server

Auf meinem aktuellen System mit u.a. 16 Core Atom CPU betreibe ich mehrere virtuelle Maschinen, darunter einen Domain Controller, eine Certificate Authority, ein RD Gateway, einen RD Session Host, einen Webserver und einen Citrix ADC.

Chassis: Supermicro SC510T-203B
I/O Shield: Supermicro MCP-260-00085-0B
Mainboard: Supermicro A2SDi-16C-HLN4F
CPU: Intel Atom C3955 Denverton 2.1-2.4 GHz 16-Core
RAM: Samsung 64 GB DDR4 2400 MHz Registered ECC (2 * 32 GB)
Network: Intel C3000 SoC 4-Port GBit Network Controller (Intel X553)
Riser Cable: ADT-Link R22SR
HBA 1: Denverton SATA/AHCI Controller
Storage: SATA SSD Supermicro Disk-On-Module 64 GB SSD-DM064-SMCMVN1 – System
Storage: M.2 SSD Transcent TS64GMTS800 M.2 SSD 64 GB – Pagefile/Swap
HBA 2: Adaptec RAID 6405E SAS/SATA Controller PCIe 2.0 x1
Storage: Crucial MX500 500 GB SATA SSD (RAID 1) – Data Store
BMC/IPMI: Aspeed AST2400 Controller

Lab-Server

Produktiv Server 2014-2018 / Lab Server 2018-heute

Auf meinem Lab-Server betreibe ich eine OPNsense Firewall VM und installiere VMs zu Testzwecken in einem privaten VM Netzwerk.

Chassis: Supermicro SC510T-203B
I/O Shield: Supermicro MCP-260-00085-0B
Mainboard: Supermicro A1SAi-2750F
CPU: Intel Atom C2750 Avoton 2.1-2.4 GHz 8-Core
RAM: 32 GB DDR3 1600MHz ECC SO-DIMM
Network: Intel C2000 SoC 4-Port GBit Network Controller (Intel I354)
Riser Cable: ADT-Link R88SF
HBA 1: Avoton SATA/AHCI Controller
Storage: SATA SSD Supermicro Disk-On-Module 32 GB SSD-DM032-SMCMVN1 – System
HBA 2: Adaptec RAID 6405E SAS/SATA Controller PCIe 2.0 x1
Storage: Crucial MX100 500 GB SATA SSD – Data Store, Pagefile/Swap
BMC/IPMI: Aspeed AST2400 Controller

Hypervisor

VMware ESXi

Lange Jahre habe ich VMware ESXi als Hypervisor verwendet. Leider wird das auf Grund der Hardware-Kompatibilitätspolitik von VMware immer schwieriger, insbesondere, was die Unterstützung neuer Netzwerkkarten und älterer RAID-Controller angeht.

Netzwerkkarten

Sowohl bei meinem Lab-Server, als auch bei meinem Produktivserver hat es seinerzeit sehr lange gedauert, bis Treiber für die neuen Netzwerkkarten verfügbar waren. Bei meinem aktuellen Produktivserver z.B. hat zum Glück hier hat ein pfiffiger Admin einen ixgbe-basierten Treiber erstellt, den man herunterladen und mit dem ESXi-Customizer in den Installer einbinden konnte. Erst seit Mitte September 2018 gab es auch hier einen Treiber von VMware auf Basis des ixgben-Treibers, der auf die gleiche Art ins ISO eingebunden werden musste.

RAID Controller

Der größte Schock kam hier mit VMware ESXi 7.0. Ab dieser Version unterstützt VMware leider keine VMKlinux Treiber und somit auch die AACRAID Treiber von Adaptec’s 6er Serie nicht mehr. Installiert man ohne den Parameter --no-hardware-warning, landet man bei folgendem Fehler:

 [HardwareError]
Hardware precheck of profile ESXi-7.0.0-15843807-standard failed with warnings: <UNSUPPORTED_DEVICES WARNING: This host has unsupported devices [<PciInfo ' [XXXX:XXXX XXXX:XXXX]'>]>

Installiert man die ESXi 6.x Treiber unter ESXi 7.x, schlägt dies ebenfalls fehl:

esxcli software vib install -v="vmware-esxi-drivers-scsi-aacraid-600.6.2.1.52040.-1.0.6.2494585.x86_64.vib"
[DependencyError]
VIB Adaptec_Inc_bootbank_scsi-aacraid_6.0.6.2.1.52040-1OEM.600.0.0.2494585 requires vmkapi_2_2_0_0, but the requirement cannot be satisfied within the ImageProfile.
VIB Adaptec_Inc_bootbank_scsi-aacraid_6.0.6.2.1.52040-1OEM.600.0.0.2494585 requires com.vmware.driverAPI-9.2.2.0, but the requirement cannot be satisfied within the ImageProfile.

Ein neuer Treiber von Adaptec ist nicht in Aussicht, sodass der Controller unter VMware ESXi 7.x nicht mehr verwendet werden kann.

Auch die in Home-Labs weit verbreiteten LSI SAS2004 RAID Controller werden nicht mehr unterstützt. So hatte ich als Alternative für den Adaptec Controller einen Avogo LSI 9211-4i Controller besorgt, der bisher mit dem mpt2sas Treiber lief. Leider war auch dies ein VMKlinux Kernel Stack Treiber und wird somit auch nicht mehr unterstützt. Beim Update erhält man den gleichen Fehler, wie vorher beim Adaptec Controller.

Ein weiteres Lowlight ist in ESXi 7.0 U1 aufgetreten. Für meine Smart Home Systeme verwende ich einen Intel NUC 8. Generation. Bis inkl. ESXi 7.0 hat hier alles problemlos funktioniert. Mit U1 (also einem Minor-Update!) hat VMware die Unterstützung der Netzwerkkarte des NUC entfernt (wobei ich von einem Bug ausgehe, außer der 8. Generation funktionieren alle anderen Generationen noch, auch ältere). Zwar gibt es einen Workaround, aber in Zukunft bei jedem noch so kleinen Update Angst haben zu müssen, dass das System hinterher nicht mehr läuft, ist mir zu riskant. Daher verwende ich für den NUC jetzt Proxmox VE.

Bei den Servern bin ich aus den o.g. Gründen bei VMware ESXi 6.7 und habe Tests mit Hyper-V und Proxmox VE durchgeführt, um in 2021 VMware ESXi abzulösen. Die Hardware-Politik von VMware lässt mir hier leider keine andere Wahl.

Proxmox VE

Letztliche habe ich mir für Proxmox VE als Nachfolger für VMware ESXi entschieden. Entscheidend hierfür waren folgende Punkte:

  • PVE unterstützt alle Hardware-Komponenten, die vom Basis OS Debian unterstützt werden. Probleme wegen plötzlich nicht mehr funktionierenden Treibern sind hier nicht zu erwarten, da Debian eine weitreichende Hardwareunterstützung bietet.
  • PVE kann im Gegensatz zu Hyper-V USB-Geräte vom Host in die VM per Passthrough verbinden.
  • PVE benötigt für eine RAID Konfiguration keinen Hardware RAID-Controller, da Software-RAID per ZFS möglich ist. Auch dadurch: Reduzierung des Risikos von nicht mehr unterstützter Hardware.

Zudem verwende ich Proxmox VE bereits in meiner Smart Home Umgebung auf einem Intel NUC, sodass ich dadurch nur noch ein Hypervisor OS benutze. Ab Januar/Februar 2021 werde ich nun die beiden Server inkl. der VMs auf Proxmox VE migrieren.

5 Antworten

  1. Oliver Koban sagt:

    Eine Frage: Beim A2DSi-Board mit dem Adaptec 6405E komme ich irgendwie nicht in das RAID-Controller BIOS rein. Hast Du da evtl. einen Tipp für mich?

    Viele Grüße,

    O.Koban

    • Servus
      Welche Firmware hat dein Controller? Damit UEFI unterstützt wird, braucht’s mindestens 5.2.0 Build 19109 (siehe: https://ask-de.adaptec.com/app/answers/detail/a_id/17108/kw/6405).
      Ich musste danach im Mainboard BIOS unter „Advanced“/ „Boot Feature“ die OPTROM Option für den PCI Slot auf „UEFI“ stellen. Nach einen Neustart stand dann der Controller im Mainboard BIOS unter dem Reiter „Advanced“ (bei mir zwischen den iSCSI Einstellungen und den NIC Einstellungen). Eine „eigenes BIOS“ wie früher während dem POST Vorgang gibt’s nicht mehr.
      Gruß Andreas

  2. Dennis sagt:

    Habe gerade mein A2DSi geupgraded auf 7.0 und jetzt habe ich keine USB-Geräte mehr (6.7 ging noch). Prima.

    • Servus.
      Danke für die Info. Ich hab keine USB Geräte angeschlossen, deshalb ist mir das bis dato noch nicht aufgefallen. Zudem bin ich ja recht schnell wieder zurück auf ESXi 6.7. Wäre noch interessant zu wissen: geht gar kein USB mehr oder ist das Problem auf die USB 3.0 oder USB 2.0 Anschlüsse beschränkt?
      Gruß
      Andreas

      • Dennis sagt:

        Mein Fehler. Hab gerade noch den 7.0b-Patch eingespielt und dann viel mir ein, dass ich ja beim Upgrade auf 6.7 den vmkUSB augeschaltet hatte um die LegacyUSB-Treiber zu nehmen (irgendein USB-Teil ging nicht). Tja, und mit 7.0 hat VMware diese Legacy rausgeworfen. Durch das Update stand natürlich noch drin, dass ich die LegacyUSB nutzen will und er hat den vmkUSB gar nicht geladen. Ein „esxcli system module set -m=vmkusb -e=TRUE“ und Reboot und schon gehts wieder. Voreilige Meckerei über 7.0 beendet 🙂 Ich lass es hier mal stehen, falls jemand noch das Problem hat 😉

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.