Brontekst bekijken van Gebruiker:Hack42/Virtualisatie

{{Project
|Naam=Virtualisatie
|Eigenaar=BugBlue, SA007, Dvanzuijlekom
|Status=Uitvoer
|Skills=Knutselen, (Linux) Systeembeheer, Networking, Storage
|Samenvatting=Een virtualisatieplatform voor containers/VM's in de space
}}

Voor het draaien van containers en/of virtuele machines hebben we een virtualisatieplatform ingericht. Momenteel is dit hornby.space.hack42.nl. De host is vernoemd naar [https://en.wikipedia.org/wiki/Frank_Hornby Frank Hornby], uitvinder van [https://en.wikipedia.org/wiki/Meccano Meccano]. Dit vanwege het feit dat Meccano een integraal en cruciaal onderdeel is van de serverbehuizing.
== Doel ==
Deze host is bedoeld om containers/VM's te draaien die kunnen worden ingezet voor (bijvoorbeeld) space-infra zaken en allerhande hackerspace-gerelateerde activiteiten/doeleinden. In plaats van allerlei (niet-gerelateerde) functionaliteiten in een enkele 'superserver' te consolideren is het juist de bedoeling om dit, waar mogelijk, zoveel mogelijk uit te spreiden over individuele containers/VM's. Dit heeft als voordeel dat de hypervisor zelf zo 'clean' mogelijk wordt gehouden, wat upgrades vergemakkelijkt, maar ook dat individuele VM's geen oerwoud van maatwerk-dependencies worden (wat ook weer OS upgrades/patches vergemakkelijkt).
== Hardware ==
* [https://support.hp.com/us-en/product/hp-xw6600-workstation/3432821 HP xw6600 Workstation] voorzien van laatste BIOS (v1.46) en een verse CMOS batterij
* 2x [https://ark.intel.com/products/33081/Intel-Xeon-Processor-E5430-12M-Cache-2_66-GHz-1333-MHz-FSB Intel Xeon E5430] CPU's, 8 cores (2x 4) @2.66GHz
* 32GB RAM (8x 4GB DIMMs) DDR2-667, Fully Buffered, 72-bit ECC
* 6x 250GB Hitachi Deskstar harddisks (in ZFS RAID-Z2)
** Hebben enkele jaren 24/7 als Virtual Tape Library gedraaid in een datacenter
** Vooraf met 'badblocks -wvs' getest, 0 bad blocks (te zien aan "OK" geschreven op de drive)
=== Firmware ===
In het BIOS is de RTC in UTC geconfigureerd. Tevens is 'last state' geconfigureerd voor de setting ''After Power Loss''. Daarnaast is ''Network Service Boot'' uitgeschakeld, ''Intel Virtualization Technology (VTx)'' en ''Intel IO Virtualization'' zijn ingeschakeld.<br>
Ondanks dat dit workstation zou moeten kunnen booten vanaf een USB stick, lijkt deze problemen te hebben met sommige Operating Systems en/of sticks. Proxmox wordt bijvoorbeeld niet herkend, maar Tails wel. Uiteindelijk is een externe USB DVD-ROM drive gebruikt om het OS te installeren.
== Software ==
De server draait [https://www.proxmox.com Proxmox] [https://www.proxmox.com/en/proxmox-ve Virtual Environment]. Dit is een open-source virtualisatieplatform op basis van [https://www.debian.org/ Debian GNU/Linux]. Het geeft de mogelijkheid om zowel [https://en.wikipedia.org/wiki/LXC Linux Containers (LXC)] als full-blown VM's te draaien onder [https://en.wikipedia.org/wiki/Kernel-based_Virtual_Machine KVM-technologie]. [https://nurdspace.nl Hackerspace NURDspace] gebruikt ook Proxmox en heeft inmiddels enkele jaren goede ervaringen met haar [https://nurdspace.nl/Coherence virtualisatieplatform].
=== Maatwerk ===
Na installatie is het volgende gedaan:
==== SSH Login Accounts ====
Op het systeem zijn enkele gebruikersaccounts aangemaakt voor beheerders. Deze zijn handmatig in de groepen ''adm'', ''sudo'', ''operator'' en ''users'' geplaatst. Homedirectories zijn iets verder dichtgezet qua permissies.
<pre>
root@hornby:~# useradd -c "<Voornaam Achternaam>" -s /bin/bash -m <username>
root@hornby:~# gpasswd -a <username> <groupname> # 4x
root@hornby:~# chgrp operator /home/<username>
root@hornby:~# chmod o-rx /home/<username>
</pre>
==== Deactiveren Enterprise Repo ====
In ''/etc/apt/sources.list.d/pve-enterprise.list'' is de Enterprise repository uitgecomment, aangezien we hier geen licentie voor hebben. Dit voorkomt de '401 Unauthorized' foutmelding tijdens het draaien van 'apt-get update'.
==== Activeren No-Subscription Repo ====
Op basis van de tips in [https://pve.proxmox.com/wiki/Package_Repositories#_proxmox_ve_no_subscription_repository Proxmox VE No Subscription Repo] is de no-subscription repository geconfigureerd in ''/etc/apt/sources.list''
==== Deactiveren 'nag' popup ====
Middels de tip op [https://www.sysorchestra.com/2016/05/13/remove-proxmox-4-2-no-valid-subscription-message/ deze website] is ''/usr/share/pve-manager/js/pvemanagerlib.js'' aangepast zodat de webinterface niet meer de 'nag' popup toont ivm de ontbrekende licentie. Voor de wijzigingen is er een backup van deze file gemaakt naar ''/var/backups/''. Na de wijziging dient Proxmox herstart te worden.
==== Extra Packages ====
Om beheer te vergemakkelijken zijn de volgende extra packages geïnstalleerd:
* sudo
* vim-nox
==== SSHD Login Banner ====
Er is een loginbanner in ''/etc/issue.net'' geplaatst en deze is geactiveerd in ''/etc/ssh/sshd_config''.
==== Message Of The Day ====
Voor interactieve logins is ''/etc/motd'' aangepast met een stukje trivia uit de Wikipedia pagina van de persoon waar de server naar is vernoemd.
==== Logrotatie ====
In ''/etc/logrotate.conf'' en diverse files in ''/etc/logrotate.d/'' zijn de rotatiesettings getuned om langer inzage te kunnen hebben in logfiles. Voor de files in de include-directory zijn alle relevante rotatiesettings verwijderd zodat deze uit de defaults worden overgenomen. Het gaat hier om ''ceph-common'', ''glusterfs-common'', ''pve'', ''pve-firewall'' en ''rsyslog''.
==== NTP ====
Om accurate systeemtijd bij te houden is ''/etc/systemd/timesyncd.conf'' voorzien van de (NL) NTP servers via [http://www.pool.ntp.org ntp.org]. Fallback is enabled, maar wel de default gelaten.
==== Postfix Mail ====
Om het systeem uitgaande email te kunnen laten verzenden, in geval van gedetecteerde issues, is het volgende aangepast aan de ''/etc/postfix/main.cf'':
<pre>
myorigin = hack42.nl
relayhost = turing.hack42.nl
</pre>
==== Storage ====
Voor opslag van backups, VM's/containers en ISO's/templates zijn (via de commandline) aparte ZFS pools gemaakt. Deze zijn vervolgens via de webinterface gemapped aan de juiste targets. De automatisch aangemaakte 'local' mappings zijn verwijderd en/of disabled.
<pre>
root@hornby:~# zfs create rpool/data/backup
root@hornby:~# zfs create rpool/data/image
root@hornby:~# zfs create rpool/data/iso
</pre>

Dit ziet er als volgt uit:
<pre>
root@hornby:~# cat /etc/pve/storage.cfg 
dir: local
        disable
        path /var/lib/vz
        content iso,rootdir,vztmpl,images
        maxfiles 0
        shared 0

zfspool: image
        pool rpool/data/image
        content rootdir,images
        sparse 1

dir: iso
        path /rpool/data/iso
        content iso,vztmpl
        shared 0

dir: backup
        path /rpool/data/backup
        content backup
        maxfiles 2
        shared 0
</pre>

ISO's kunnen via de webinterface worden geupload. Als alternatief kunnen deze via secure copy worden geupload naar ''/rpool/data/iso/template/iso/''. Momenteel zijn de volgende beschikbaar:
<pre>
root@hornby:~# ls -lah /rpool/data/iso/template/iso/
total 4.6G
drwxr-xr-x 2 root root    6 Jan  6 03:40 .
drwxr-xr-x 4 root root    4 Jan  6 03:34 ..
-rw------- 1 root root 4.3G Jan  6 03:26 CentOS-7-x86_64-DVD-1708.iso
-rw------- 1 root root 290M Jan  6 03:07 debian-9.3.0-amd64-netinst.iso
-rw------- 1 root root 108M Jan  6 03:39 openSUSE-Leap-42.3-NET-x86_64.iso
-rw------- 1 root root 120M Jan  6 03:40 openSUSE-Tumbleweed-NET-x86_64-Snapshot20180103-Media.iso
</pre>

==== Groups ====
Er is een nieuwe group ''admins'' ("Hack42 PVE Cluster Administrators") aangemaakt en deze is op groupniveau de (PVE) rol "Administrator" toegekend. Individuele users zijn in die group geplaatst.
=== Backups ===
Iedere zondag om 05:00 worden er backups gemaakt van alle VM's en containers, naar het backup volume (''/rpool/data/backup/''). Er worden twee backups bewaard per VM/container.
== Netwerk ==
De server is middels de [[Netwerk_Vrijland#SRW_2048|Cisco SRW 2048]] aangesloten op het [[Netwerk_Vrijland#Vlans|Hack42 Managed Hardware]] VLAN via de PCI NIC. De onboard NIC is momenteel ongebruikt.
== Toegang ==
=== Fysiek ===
De server ligt in het 19" rack in het serverhok op de begane grond en is zowel aan de koude kant als aan de warme kant gemarkeerd met een CI-label.
=== Logisch ===
De hypervisor is toegankelijk via SSH en de [https://hornby.space.hack42.nl:8006 webinterface]. Die laatste heeft de voorkeur. Merk op dat deze een self-signed certificaat zal aanbieden. Middels de HTML5 webinterface is het mogelijk om containers en VM's aan te maken, maar bijvoorbeeld ook om een (grafische) console te openen naar een container/VM of zelfs die van de host zelf.
== Containers / Virtual Machines ==
Momenteel draaien de volgende images:
{| class="wikitable"
|-
! ID !! Hostname !! Type !! OS !! Sizing (CPU/RAM/HDD) !! Contact !! Doel
|-
| 100 || phoney || VM || Debian (amd64) || 1x / 512MB / 16GB || [[User:SA007|SA007]] || [https://www.asterisk.org/ Asterisk] PBX server voor [[PhoneSystem|spacefoon netwerk]]
|-
| 101 || postgresql || VM || Debian (amd64) || 4x / 4GB / 100GB || [[User:Dvanzuijlekom|dvanzuijlekom]] || [https://www.postgresql.org/ PostgreSQL] databaseserver voor algemeen gebruik
|-
| 102 || mariadb || VM || Debian (amd64) || 4x / 4GB / 100GB || [[User:Dvanzuijlekom|dvanzuijlekom]] || [https://mariadb.com/ MariaDB (MySQL)] databaseserver voor algemeen gebruik
|-
| 103 || mercator || VM || Debian (amd64) || 1x / 512MB / 32GB || [[User:Stitch|Stitch]] || Scannernode voor [https://failmap.org/ Failmap]
|}

== Aanvraagprocedure Container/VM ==
Om onze [https://en.wikipedia.org/wiki/ISO_9000 ISO 9001] certificering te behouden, zal je een (origineel exemplaar, geen kopie) "Aanvraagformulier CI Container/VM" (formulier 251-B) moeten overleggen bij iedere container/VM-aanvraag. Deze formulieren zijn in de space te vinden, op de gebruikelijke locatie. Let wel dat dit formulier enkel op persoonlijke basis wordt uitgegeven. Legitimatie is verplicht, doe dit door middel van twee identiteitsdocumenten: minstens één geldig officieel identiteitsdocument en daarnaast (bijvoorbeeld) een bankpas/afschrift. Ten behoeve van het validatieproces dien je een creditcardnummer op te geven (op naam van de aanvrager). Deze zal alleen worden belast indien je container/VM de limieten in de Fair Use Policy overschrijdt, zoals bijvoorbeeld (niet gelimiteerd tot) harddisk IOPS, netwerkverkeer, CPU cycles/interrupts, uptime en supportaanvragen. Zie hiervoor het aanvraagformulier voor meer informatie. Tevens dien je een recent (lees: maximaal 1 maand oud) afgegeven Verklaring Omtrent het Gedrag (VOG) te kunnen overleggen (op basis van: natuurlijk persoon/algemeen screeningsprofiel/8 risicogebieden). Er wordt maximaal één formulier per lopende aanvraagprocedure uitgegeven en in behandeling genomen.<br><br>
Voor toegang tot de host of voor het (laten) deployen van een container/VM op de host kan je, tijdens kantoortijden, contact opnemen met één van de onderstaande sysadmins. Zorg wel dat je in het bezit bent van een compleet en correct ingevuld formulier 251-B, uiteraard voorzien van ondertekening door tenminste één bestuurslid en één van de onderstaande personen (maximaal één signatuur per rol):
* {{BugBlue}}
* {{SA007}}
* {{dvanzuijlekom}}
Hou rekening met een doorlooptijd van zo'n drie tot zes maanden na ontvangstbevestiging van je aanvraag. Een screening kan onderdeel uitmaken van het proces.

== Build POIDH ==
{{flickr|m|4|random|hack42 hornbyspacehack42nl}}