Úrad výpočtových sietí pomocou virtuálnych prostredí - Časť 5
Úvod
Pracujem vo firme, kde sme sa spustiť veľa dávkové úlohy spracovanie milióny záznamov dát každý deň a ja som bol nedávno premýšľal o všetkých strojoch, ktoré sedia okolo každého a každý deň nerobí nič pre niekoľko hodín. Nebolo by dobré, keby sme mohli využiť týchto strojov pre posilnenie výpočtového výkonu našich systémov? V tomto súbore článkov Idem sa pozrieť na potenciálne výhody zamestnávanie úradu siete pomocou virtualizovaných prostrediach.
V časti 4 sa pozrel na používanie nástrojov, aby zabezpečila, že sme používajú najnovšiu verziu kódu a dátových zdrojov tak, aby získané výsledky sú vždy up-to-date s najnovšími obchodných informácií a logiky.
Pre-nasadenie
Pred nasadením svojej distribučnej sústavy, ak je tu ešte jedna vec, ktorú urobíte, a jednu vec, len je to benchmark váš súčasný systém! Bez ohľadu na to, čo poviete kolegami o tom, koľko práce naviac je váš systém bude robiť, ak ste položky by toto vaša záruky sú nič. Tak,
- koľko záznamov môžete spracovať v súčasnej dobe? Za deň? Za hodinu?
- Ako dlho to trvá zvyčajne otočiť prácu?
- Koľko väčšiu kapacitu máte?
K dispozícii je tiež doplňujúce otázky:
- Ak váš spracovanie server (alebo jeden z vašich spracovanie serverov) ide dole, ako to ovplyvní vaše schopnosti, budete mrzák?
- Aké výhody vám nádej / očakávať, že si z distribučnej sústavy?
- Sú vaše kancelárske stroje schopné prevádzkovať pracovné miesta?
- Sú vaše (alebo si môžete prácu previesť) pre prácu v tomto štýle behu?
Posledná hlavný bod, je vziať si čas na žiadne veľké zmeny, ako je tento. Aktualizujte svoj operačný kód pre prácu s použitím novej metodiky, benchmark znova. Možno nastaviť spracovanie server spustiť virtuálny stroj, po všetkých tých spracovaní server bude len ďalším pracovníkom (len veľmi silnú, pomerne). Umožniť nový proces sa usadiť.
Nasadenie
Môj návrh by bol pop do kancelárie jeden víkend vykonávať všetky inštalácie a nastavenia. Urobte to tesne predtým, než dvojtýždňové dovolenku a nechať tak ostatné chudák sa vysporiadať s následkami ... možno tiež nie ...
Nasadenie systému, ako je tento musí byť pomalé. Hoci sa jedná o relatívne jednoduché nastavenie tohto systému bude mať vplyv na celú vašu kancelársku infraštruktúru (aj digitálne). Po prvé, dojazde do niekoľkých strojov naraz, monitorovať prevádzku v sieti, ako pracovník hostí hrať na deň-to-dennej báze. Možno budete musieť zmeniť svoje práci konfigurácie v reakcii na vaše nálezy.
Akonáhle je systém usadil sa niekoľko strojov (povedzme 10% všetkých kancelárskych strojov, tj 5) držať monitorovanie sieťovej prevádzky a hostiteľského počítača performance. Ďalšie benchmark znovu, mali by ste byť teraz spracovanie o 33% viac pracovných miest než vaša prvá merítok. Skontrolujte, či tomu tak je, alebo že ste aspoň v tomto Ballpark. Ak nie, skúmať, čo sa deje predtým, než prejde. Opakujte tento cyklus, kým spokojne mať všetky kancelárske stroje beží bez zabíjania individuálny výkon stroja alebo brúsenie sieti ku kľudu.
Po celú dobu držať benchmarking, a to aj potom, čo sú všetky nasadenia. Skontrolovať, ako nový kód aktualizácie ovplyvňujú rýchlosť systému, skontrolujte, či všetci pracovníci sú v hlásení a spracovanie pracovných miest. Pomaly (veľmi pomaly) prírastok vašou úlohou konfiguráciu pre dosiahnutie toho najlepšieho z vašich pracovníkov a siete.
Stop!
Čo keď chcete zastaviť svojich pracovníkov v behu na nejaký čas? Všetci sú tam beží, regenerácia, a snažia ich najlepšie pre spracovanie dát, ako je hlad hmyz. Odpoveď sa môže zdať zrejmé, ale treba dodať, len v prípade, že jeho prehliadajú. Stačí upraviť svoj spracovanie skriptu s exit (0) alebo die () alebo niektoré ďalšie údaj, zabiť svojho spracovania práce. Dôležitým dôvodom, prečo sa vždy snažíme aktualizovať na najnovšiu spracovanie skriptu pred utekaj!
Demonštrácia systému
Aby bolo možné písať tento súbor krátkych článkov som vytvoril veľmi malé siete na preukázanie technológií a metód. Čítal som veľa článkov, návodov, a používa rôzne nástroje pre nastavenie a sledovať, čo sa deje. V žiadnom prípade som šiel von a nasýtených celú kanceláriu s prevádzkou a ani som mal prístup k pravidelným PC zamestnanca, aby videli, ako bol ovplyvnený výkon hostiteľa.
Moja demonštrácia systém bol veľmi pokorný naozaj. Použil som bežné stolové nastaviť ako server kontroly práce. Na tomto som mal nainštalovaný MySQL server nainštalovaný nastaviť ako master replikácie, PHP , Â a SVN spojený cez apache (pre prístup cez pracovníka VM).
Potom som vytvoril CentOS pracovník stroj na VirtualBox na 6 rokov starých okien notebook XP. Aj nastavenie naplánovaných úloh, ako je uvedené po skopírovaní VM na stroj a nechajte ho ísť.
Virtuálny stroj bol zriadený s PHP, podvratnej činnosti, a mySQL. Overil som si vetvu s názvom 'pracovník' z mojich serverov zamestnanie kontrolu úložiska a uistili sa, že by mohla byť aktualizovaný pomocou 'svn update'. Ďalej som nastavenia MySQL ako otrok a overil, že dáta boli replikácie z MySQL na serveri kontroly práce sa na pracovníka VM. Po tom všetkom som setup bash skript a cron.
Moja spracovanie skriptu v podstate išlo v duchu tejto (veľmi jednoduché veci):
- Prečítajte si v názve poľa
- Počíta sa počet podobných mien v tabuľke zo zdroja údajov sa uskutočnilo v dňoch VM
- Počítal počet mien ako vyššie, ale rozdelenie na názov medzerami (tj meno, stredné, priezvisko)
- Opakoval tento proces 1.000 krát
Každá práca sa približne 20 minút bežať. V jednej chvíli som otvoril niekoľko kópií pracovníka VM na oknách notebooku a sledoval, ako pracovných miest odškrtnúť každý pracovníka IP adries. Na tomto mieste by som tiež potvrdil, že replikácia sa automaticky reštartuje.
Odchod z notebooku na voľnobeh za následok pracovník začatím spracovania úloh zo servera kontroly práce. Pri obnovení laptop využití došlo k meškanie asi 30 až 60 sekundy, to je slušné množstvo času a personálu by muselo byť vedomí, že ich stroj môže pozastaviť na krátku dobu pri návrate do stroja. Novších strojov nesmie mať pauzu tak dlho. V prospech vyššie spracovanie vykonávané v týchto strojov počas nečinnosti obdobia by viac, že prevažujú zamestnanci museli čakať krátku dobu (povedzme 1 minúta) pri príchode na ich stroje ráno (som často dlhšie čakať, že to pre Windows Defender Aktualizácia sa konať) za predpokladu, že boli informovaní o tejto (užitočné čas chytiť rannú kávu!).
Celkovo mám pocit istoty, že som demonštroval technológie, ktoré by mohli byť použité na vytvorenie takéhoto systému. Ukázal som, že takýto systém funguje na (veľmi), v malom meradle a niektoré ďalšie experimentovanie môže zmenšiť až využívať zdroje z úradu strojov. Ak nemám dostať do bodu, ako to dosiahnuť bol by som veľmi zaujímalo, / vidieť, keď to urobí niekto iný.
Závery / hodnotenie
Ďalšie zjavné krokom by bolo skutočne dostať reálneho sveta príkladom a začať nasadenie systému, ako je to v prostredí kancelárie a uvidíme, čo sa stane. Kladenie podnikania, aby sa zaviazali to bez priekopníctvo spoločnosť preukázať technológiu a účinnosť môže byť trochu ťažké. Mriežky / Distribuované výpočty je veľmi populárny, je niekoľko kruhov a má niekoľko veľkých aplikácií (BIONC, SETI @ Home, Folding @ Home, atď). Nechcel som, však, nájsť menšieho rozsahu a jednoduchého systému, ako je to v mojom hľadaní, ktoré by mohli byť váľa v kancelárskom prostredí.
Vytvoril som v podstate bez systému, s použitím prevažne open source softvér a nástroje k dispozícii v takmer každej kancelárie. Technológie boli v podstate preukázať, a ukázať, aby fungovali a fungujú podľa očakávania. Dúfam, že som sa ukázať, že sa nebude moc práce a veľmi jednoduché nastavenie môžete nasadiť kanceláriu grid computing systém, ktorý je silný, lacný, Â a škálovateľné všetky v rovnakom čase.
Akonáhle je systém v prevádzke nie je takmer žiadny koniec vyššie úprav a vylepšení môžete urobiť. Napríklad štatistiky benchmarkingu možno ľahko pridať ukazovať hodnotu takéhoto systému každý deň. Nové stroje môžu byť pridané rýchlo a ľahko, ako a kedy dorazí s modernizácie existujúcej hardware posilnenie svojho výpočtového výkonu.
Dúfam, že ste si užil čítanie tejto sérii článkov a vám dal na zamyslenie na prevádzku kancelárie distribučnej sústavy. Toto riešenie tu nebude nevyhnutne fungovať vo všetkých situáciách, ale mali by byť schopné prispôsobiť vám umožní dostať svoje spracovanie dát vykonáva pomocou vlastného riešenia.
Neváhajte a pošlite mi akékoľvek pripomienky, opravy, či vylepšenie a ja budem robiť moje najlepšie, aby tento článok aktualizovaný na zápas.
Články , výpočtovej , grid computing , Linux , PHP , programovanie webu | 
apache , bash , šarže , benchmark , databázy , nasadenie , mriežka , zlepšiť , Linux , mySQL , open source , PHP , replikácie , podvracanie , virtuálne , robotník , Zend Framework , zned
[...] Posledné časti tohto seriálu, vhodne pomenovaný Časť 5, budeme diskutovať o nasadenie tohto systému pre. Budem zhrnúť, čo bolo naučené a [...]
Ahoj tam, Skvelý článok vole! Som unavený pomocou RSS kanály a budete používať twitter, takže môžem sledovať ste tam?: D.
PS: Myslíte si, za uvedenie video do blogu, aby čitatelia viac teší myslím, že to funguje, Roland Gorychka?.
Pozri twitter na pravej strane každej stránky. Vďaka!