My First ESXi Server - Part 1 (UPDATE 7-6-13)

Door robobeat op maandag 3 juni 2013 23:32 - Reacties (19)
CategorieŽn: Hardware, Persoonlijk, Views: 5.136

Te hoog stroomverbruik

Al sinds enkele maanden zit ik met het probleem dat ik op mijn eigen desktop PC verschillende VMs heb draaien. Doordat mijn eigen bak toch wel behoorlijk zwaar is en dus veel stroom verbruikt (even in het kort: i7 2600k overklokt naar 4,4ghz, 16GB RAM, Nvidia GTX470 en GTX9800+, 5 HDDs) en daarnaast ook nog een HTPC heb staan bij mijn TV die ook dienst doet als mijn Sabnzbd, Couchpotato, Sickbeard en Headphones Server, vond ik het toch eens tijd om eens te kijken naar een beter oplossing. Eťn die ervoor zorgt dat ik bovenstaande machines kan uitschakelen als deze niet in gebruik zijn, en toch beschikking heb over een 24 uur draaiende server die al het andere overneemt waar nodig (dus: mijn VMs als ook mijn draaiende services zoals Sabnzbd, SB, CP en HP). Maar hoe ga ik dit aanpakken?

Omdat ESX niet iets is waar ik bekend mee was in eerste instantie, was mijn eerste gedachte om maar weer een windows of linux server neer te zetten. Het nadeel vond ik alleen, ik ben dan beperkt in maar 1 OS. En gezien mijn VMs ook nodig zijn voor mijn studie (druk bezig om mijn MCSA / MCSE op te krikken) had ik hier niet genoeg aan. Hmm, hoe lossen we dit op?


Eureka, ESX!

Door verschillende ontwikkelingen en discussies op het forum kwam ik in contact met verschillende tweakers die wel bekend waren met ESX. Die wezen mij op de flexibiliteit die ESX mij bood voor hetgene wat ik wilde. Toch maar eens na gaan zoeken dan...

Dat ik hier niet eerder aan gedacht heb! Maar natuurlijk! Met ESX kan ik mijn VMs draaien, ik kan daarnaast mijn services opzetten zoals ik wil en dan dus ook uiteindelijk mijn eigen Desktop als ook mijn HTPC uitzetten als deze niet worden gebruikt en toch nog gebruik maken van de services. Daarnaast ben ik van plan om er nog een paar services bij te gaan draaien die me nu niet mogelijk lijken.

De opvolgende maanden nadat ik dit besluit had genomen ben ik eerst eens gaan kijken in de verschillende topics die geschikbaar zijn op got, zoals het Zuinge ESXi Server topic. Nu was mijn uitgangspunt niet direct op de meest zuinige server op te zetten, maar wel een die krachtig genoeg was in wat ik wilde en bepaalde features met zich mee bracht.


Op zoek naar de geschikte hardware

Hier mijn opsomming wat ik zeker wilde hebben in deze server:
  • Krachtig genoeg zonder directe performance drops om minimaal 5 VMs te kunnen draaien
  • Genoeg RAM zodat mijn VMs die het meest vragen genoeg tot beschikking hebben
  • Een mogelijkheid tot remote management van de server zelf buiten ESX
  • Install, set up and forget zonder daar weken aan te moeten spenderen
Dankzij het feit dat ik al wat had doorgelezen op GoT, was me al vrij goed duidelijk dat mijn keuze voor de hardware belangrijk zou worden, gezien dit anders meer werk met zich mee zou brengen tijdens het configureren. Daarnaast ben ik op zoek gegaan naar een mogelijkheid voor het kunnen managen van mijn server buiten ESXi om. Hierdoor kwam ik uit op intel's techniek genaamd AMT (Active Management Technology). Maar, om hier gebruik van te moeten maken dien ik te beschikken over een moederbord en een CPU die vPro gebruiken, gezien AMT een onderdeel is van IME (Intel Management Engine) welke ondergebracht zijn onder vPro. Dit betekent dus dat niet iedere CPU en zeker niet ieder moederbord geschikt is.

Na wat onderzoek blijkt dat vPro alleen beschikbaar is op moederborden met de Q77 chipset. Met de CPU is dit alleen beschikbaar op de wat hogere modellen, vanaf de i5. Dit in combinatie met VT-x, EPT en VT-d, werd mijn keuze kleiner. Omdat ik toch ging voor een wat zwaardere CPU, die toch beschikte over een ingebouwde GPU (voor install, gezien ik geen losse kaart tot beschikking heb), had ik daarin mijn keuze gemaakt. Het word de Intel Core i5 3470. Nu het moederbord.

Voor het moederbord ging ik op zoek naar een Q77 bordje, wegens de vPro ondersteuning. Al snel kwam ik er achter dat deze alleen beschikbaar waren op mATX bordjes. Goed, minder keuze. Na wat vergelijkingen en kijken naar ervaringen van anderen, viel mijn keuze in eerste instantie op de Asrock Q77m vPro. Goed bord, rijk uitgevoerd en alles aanwezig wat ik in eerste instantie nodig heb voor een goede prijs. Toch bleef me 1 ding knagen. Gezien ik 1 VM wil draaien voor opslag in combi met ZFS voor mijn 4 1,5TB schijven, wilde ik het liefste 1 dedicated LAN poort hiervoor gebruiken. Maar ik moet ook beschikking hebben over nog een poort voor ESX zelf. Dit zou ik kunnen oplossen door een losse NIC zoals de Intel Gigabit CT Desktop Adapter. Nu merkte ik alleen dat de ingebouwde poort van het Asrock bordje niet direct ondersteunt werd door ESX en ik deze dus moet inbakken in de install ISO. Niet echt veel zin in. Toen zag ik dat er ook een goed bord was van Intel zelf, namelijk de Intel DQ77MK. Deze heeft 2 NICs aan boord als ook een mSATA poort (gedeeld met een SATA poort) en , na wat navraag, bleek de eerste NIC prima te werken onder ESX. Gezien ik in de toekomst de install HDD wil vervangen voor een SSD, kan dit natuurlijk ook vervangen worden voor een mSATA drive, nog beter lijkt me. Dus de keuze werd dus de Intel DQ77MK. Nu nog een goede kast om alles bij elkaar te houden.

Omdat ik een mATX bord had, was een kleine kast zeker mogelijk. Deze keuze was voor mij snel gemaakt, namelijk de Fractal Design Define Mini. Lekker klein, ruimte genoeg voor mijn HDDs en uitgevoerd met Fractal Design's Dempende techniek, genaamd Moduvent. Hierdoor dus ook lekker stil. Gezien ik de kast wilde uitvoeren met extra koelers en toch niet teveel lawaai wilde, ook al staat hij straks ergens in een kamer die niet veel bezocht werd. Daarnaast werd de kast goed aangeschreven voor verschillende reviews voor zijn afwerking en prestaties. En toch nooit geheel onbelangrijk.

Na de rest van de hardware ook gekozen te hebben, werd het de volgende lijst:en dat net onder mijn eerst gedachte budget van §600,-.
Vandaag het geheel besteld en nu is het dus wachten op levering...

UPDATE: De hardware wordt vandaag afgeleverd en ook heb ik alvast een Samsung 840 120GB SSD aangeschaft om als VM hdd te dienen. Will keep you posted!

Volgende: Antec Twelve Hundred Revived! Op papier dan. 04-'14 Antec Twelve Hundred Revived! Op papier dan.
Volgende: FoM 15.0: Survival Verslag Dag 3 03-'13 FoM 15.0: Survival Verslag Dag 3

Reacties


Door Tweakers user aCiDcHaOZ, dinsdag 4 juni 2013 03:09

Ik ben benieuwd naar je ervaringen en setup van ESXi. Ik overweeg het zelf ook te gebruiken en ben nieuwsgierig tegen wat voor dingen je aanloopt als ESX leek.

Door Tweakers user MAX3400, dinsdag 4 juni 2013 09:39

Misschien een tip: zet meteen zoveel mogelijk SSD-oplossingen in die server en installeer vanaf dat moment pas ESXi en je VM's. Om alles eerst eens op single disk 5400/7200rpm te installeren & configureren, dan ga je je redelijk snel "ergeren" aan de traagheid en vraag je je af waarom je een mooie quadcore CPU & 16GB RAM erin hebt gezet.

Door Tweakers user robobeat, dinsdag 4 juni 2013 09:41

MAX3400 schreef op dinsdag 04 juni 2013 @ 09:39:
Misschien een tip: zet meteen zoveel mogelijk SSD-oplossingen in die server en installeer vanaf dat moment pas ESXi en je VM's. Om alles eerst eens op single disk 5400/7200rpm te installeren & configureren, dan ga je je redelijk snel "ergeren" aan de traagheid en vraag je je af waarom je een mooie quadcore CPU & 16GB RAM erin hebt gezet.
Ben ik het zeker mee eens, ben ook nog aan het kijken voor een drive... maar het budget moet het ook toelaten :)

Door Tweakers user Supermario16, dinsdag 4 juni 2013 09:44

Zoals MAX3400 al aangeeft, de beperkingen bij virtualisatie bevinden zich vaak op disk (en dan vooral het aantal I/O operaties per seconde in plaats van daadwerkelijke bandbreedte) in plaats van op CPU of geheugen. Hoe meer fysieke disken je gebruikt (eventueel in raid), hoe meer VM's je zult kunnen draaien.

Door Tweakers user Crazymonkey, dinsdag 4 juni 2013 12:32

Waarom de overweging naar ESXi, wat viel er bijvoorbeeld bij Hyper-V af?

Door Tweakers user robobeat, dinsdag 4 juni 2013 13:11

Crazymonkey schreef op dinsdag 04 juni 2013 @ 12:32:
Waarom de overweging naar ESXi, wat viel er bijvoorbeeld bij Hyper-V af?
dat komt als eerste eigenlijk doordat ik daarop gewezen werd door anderen. Hyper-v is mij net zoveel bekend als ESXi. Na wat onderzoek bleef mijn keuze bij ESXi, vooral wegens de wat betere ondersteuning voor linux VMs en die zal ik over het algemeen toch het meeste draaien.

Door Tweakers user sfranken, dinsdag 4 juni 2013 13:21

Waarom geen linux host met KVM/Xen? EXSi lijkt me overkill voor je situatie hier.

Door Tweakers user robobeat, dinsdag 4 juni 2013 13:26

sfranken schreef op dinsdag 04 juni 2013 @ 13:21:
Waarom geen linux host met KVM/Xen? EXSi lijkt me overkill voor je situatie hier.
Omdat, zoals ook aangegeven, ik ook nog wel iets van windows VMs wil draaien, voor onder andere mijn studie. en tja, waarom ook niet? Zo leer ik er ook nog wat over en ik ben niet iemand van de halve oplossingen.

Door Tweakers user NLKornolio, dinsdag 4 juni 2013 13:33

Je kan ESX op je usb installeren. Waarna je esx vanaf de usb opstart, heb je geen hdd voor nodig

Door Tweakers user robobeat, dinsdag 4 juni 2013 13:45

caanova1984 schreef op dinsdag 04 juni 2013 @ 13:33:
Je kan ESX op je usb installeren. Waarna je esx vanaf de usb opstart, heb je geen hdd voor nodig
dat was ik ook van plan, maar ik moet wel een HDD hebben waar de VMs zelf op komen te staan.

Door Tweakers user johnkeates, dinsdag 4 juni 2013 14:37

Je kan prima Windows VM's op Xen draaien, en op KVM wil dat ook nog wel. Geen performance hit. Waar denk je dat Citrix z'n geld mee verdient? ;)

ESXi is zeker niet de enige optie hier, en ja, Hyper-V valt snel af als je wat meer vrijheid en controle wil, maar Xen kan zeker alles wat ESXi kan, en meer, zonder dat je rare problemen met drivers krijgt.

Door Tweakers user robobeat, dinsdag 4 juni 2013 14:42

johnkeates schreef op dinsdag 04 juni 2013 @ 14:37:
Je kan prima Windows VM's op Xen draaien, en op KVM wil dat ook nog wel. Geen performance hit. Waar denk je dat Citrix z'n geld mee verdient? ;)

ESXi is zeker niet de enige optie hier, en ja, Hyper-V valt snel af als je wat meer vrijheid en controle wil, maar Xen kan zeker alles wat ESXi kan, en meer, zonder dat je rare problemen met drivers krijgt.
oh, maar daar ben ik ook van overtuigd. Ik zal de laatste zijn die zegt dat ESXi daar de enigste in is. Er zullen vast meer omgevingen zijn die dit kunnen aanpakken. ESXi is gewoon een omgeving waar ik tegen aan ben gelopen en mij zeer interessant lijkt. Misschien zal ik uiteindelijk ook andere oplossingen proberen.

Door Tweakers user MAX3400, dinsdag 4 juni 2013 15:03

johnkeates schreef op dinsdag 04 juni 2013 @ 14:37:
Je kan prima Windows VM's op Xen draaien, en op KVM wil dat ook nog wel. Geen performance hit. Waar denk je dat Citrix z'n geld mee verdient? ;)
Met support-contracten en niet te weinig ook. Xen heeft zich echt nog niet bewezen als stabiele hypervisor en gezien het aantal hotfixes wat er is voor Xen (en wat randvoorwaarden zoals PVS), zou ik persoonlijk het produkt van Citrix voorlopig opzij zetten.
ESXi is zeker niet de enige optie hier, en ja, Hyper-V valt snel af als je wat meer vrijheid en controle wil, maar Xen kan zeker alles wat ESXi kan, en meer, zonder dat je rare problemen met drivers krijgt.
Nogmaals, Xen is minstens zo kieskeurig. Sterker nog, als je de KB-artikelen van Citrix er even bijpakt, heeft de kernel enkele issues gehad waarbij standaard power-states van een host niet werden herkend en de hypervisor stopte. Dus gewoon een duur blade-chassis met blades ter waarde van een ton ofzo, kan "out of the blue" stoppen met werken omdat de aangepaste kernel van Xen dat vindt.

Ik vind het opvallend (want niet gemotiveerd) dat je Hyper-V niet als serieuze hypervisor neemt. De grootste reden dat VMware is teruggekomen van zijn (2011) beperkte licensering, was de release van Hyper-V 3.0 beta. Daarnaast vind ik persoonlijk de cmdlets voor Hyper-V een stuk fijner werken dan de eigenheimer-omgeving van een Xen. En als laatste, maar niet van toepassing op dit blog; virtualiseren van Microsoft-produkten op Hyper-V is gratis, op alle andere hypervisors moet je gewoon licenties hebben/kopen.

[Reactie gewijzigd op dinsdag 4 juni 2013 15:04]


Door Tweakers user johnkeates, dinsdag 4 juni 2013 15:43

@MAX3400

Ik heb het dan ook niet precies over XenServer van Citrix, maar Xen in het algemeen.
Als je gewoon een Debian installatie hebt en Xen installeert en activeert, kan je gewoon alle hardware die Debian ondersteunt automatisch ook met Xen gebruiken.

Device passthrough werkt goed, ook GPU's. Je kan naar HVM ook Paravirtuele devices gebruiken voor nog meer performance (Windows Server 2012 start bijvoorbeeld sneller in Xen op dan op bare metal). Windows, BSD en Linux werken er allemaal op.

Daarnaast zitten er geen rare limiten op, Xen 4.2 kan bijvoorbeeld gewoon 4095 CPU's en 5TB RAM aan zonder dat je een cent hoeft te betalen. Guests kunnen 256's CPU's aan en 1TB RAM, dus ook daar zitten geen idiote beperkingen.

http://wiki.xen.org/wiki/Xen_Release_Features

Ik draai meerdere virtualisatie parken, in productie zowel ESXi en Xen, en daarnaast wat test-setjes met KVM en Hyper-V, en geen van de vier verslaat de rest in stabiliteit hoor, dat zit allemaal wel goed.

Dus, de commerciele Xen release van Citrix niet de leukste? Nee dat klopt, maar die hoef je dan ook niet te gebruiken.


Als toevoeging op Hyper-V: ik wil als onderste laag iets wat ik zelf kan manipuleren. Dat kan met Xen en KVM, maar met Hyper-V en ESXi niet. Ja, er zijn wat binary hacks voor dingen die je nodig hebt, maar dat ga je in productie toch niet doen.

[Reactie gewijzigd op dinsdag 4 juni 2013 15:45]


Door Tweakers user CTVirus, dinsdag 4 juni 2013 17:13

Een andere optie is proxmox, wij zijn op het werk van esxi naar proxmox gemigreerd en dat bevalt prima. http://www.proxmox.org/

[Reactie gewijzigd op dinsdag 4 juni 2013 17:14]


Door Tweakers user jvalks, woensdag 5 juni 2013 18:24

Leuk experiment! Ik heb nu een VMware cluster draaien op 2 Intel NUC's. Performen prima, verbruiken erg weinig stroom en produceren weinig warmte. Prima voor mijn testlab. Voor storage gebruik ik een Qnap NAS (die had ik al).

Door Tweakers user Coritchando, donderdag 6 juni 2013 13:23

Waarom niet de gekozen voor Hyper-V? Prima te draaien op een 2012 server core version wat gelijk voor je MCSA/MCSE een goede optie is.

Door Tweakers user robobeat, donderdag 6 juni 2013 13:53

Tha_Duck schreef op donderdag 06 juni 2013 @ 13:23:
Waarom niet de gekozen voor Hyper-V? Prima te draaien op een 2012 server core version wat gelijk voor je MCSA/MCSE een goede optie is.
omdat ESXi het eerste was wat mijn interesse ving, daarnaast draai ik verschillende VMs, waaronder ook linux VMs en wat ik tot nu toe heb gezien is dat hyper-v daar minder leuk mee om gaat dan ESXi.

en voor mijn MCSA/MCSE: zover ben ik nog niet, maar dat komt vast wel, en misschien schakel ik dan wel over en anders draai ik het erbij.

Door Tweakers user Navi, vrijdag 7 juni 2013 14:35

Als je voor ESXi 5 gaat kun je die SSD ook configureren als caching disk ;)

Reageren is niet meer mogelijk