### 2024-09-10 - https://meet.ffmuc.net/FunkWithQKD

evernet: 3 strecken mit 4 standort (wie eine Kette)
ZFS + Monitoring
Nordhausen => Sundhausen (Konsum): darkfiber 
Sundhausen => Erfurt (Frauenhofer) darkfiber
Erfurt => Jena (darkfiber pärchen)

fiber1 = fuer quantensysteme
fiber2 = datenkommunikation

also 4 Standorte

# schritt-fuer-schritt anleitung? fuer debian+proxmoxx von 0 auf 100%
# cloudinit fuer initiales setup: https://cloud-init.io/
# und später ansible?
#
# serverboard IPMI Asus
# in jena eine 4090er nvidia muss durchgereicht werden
# 100G-Karte 2-port Mellanox
# USV? nur in jena+erfurt, evtl. in sundhausen+nordhausen später
# ryzen threadripper 64 cores (nordhausen/sundi) - 6 x 96GB RAM
# ryzen threadripper 32 cores (ef/je)            - 4 x 96GB RAM
serverhardware ist seit 2 wochen daten => wird proxmoxx mit btrfs oder ZFS 
2 x 1TB NVME (raid1 fuer OS) => ext4 => backup von /etc und configs auf zfs
2 x 4TB NVME (raid1 fuer hotdata) => zfs
2 x 20TB SATA (raid1 fuer daten) => zfs
openwrt mellanox 100g switch an jeden standort mit 80km-ZR-100G-Modul mit RX/TX ("Zirkulator")

stepping stone: OpenWRT (und ist auch unsere firewall/router)
Gowin 1U Rack Mount Router Server (hop-via-SSH und dann auf server)
gowin (china) x86 target mit intel N3xxx 
2-port-25GB mellanox gohome 25g

- nur in nordhausen = 1 oder 10G auf dem GoWIN

https://www.gowinfanless.com/products/network-device/1u-2u-server/gw-bs-1ur2-25g
https://www.asus.com/motherboards-components/motherboards/workstation/pro-ws-wrx90e-sage-se/helpdesk_manual?model2Name=Pro-WS-WRX90E-SAGE-SE

Crew: 
- Oscar = Jena
- Paul Spooren
- Jonas
- Thomas

Burnintest: RAM + VOlllast 24h
Bootloader encrypted: evtl. per SSH und IPMI
https://www.thomas-krenn.com/de/wiki/Voll-verschl%C3%BCsseltes-System_via_SSH_freischalten

Es ist zu überlegen, ob man einen proxmox-cluster 
machen will mit geshartem storage (ceph?).

Die wichtigste VM ist eine netbox/inventory mit API

Idee: Hetzner-Box mit Prometheus und Monitoring?

Thomas:
"Wir werden es bestimmt so hinbekommen, das wir per IP auf jeden Standort kommen."
"Mit guten chancen gibt es von Berlin über Erfurt nach Frankfurt noch Netz"
"Es wäre doch toll wenn man BGP an der FH-Nordhausen hat"
"quantenabgesichert!"

Monitoring evtl. prometheus oder
https://victoriametrics.com/

IPv6 + IPv4 muss laufen!