Office Grid Computing z Virtual okolja - 5. del
Predstavitev
Delam v podjetju, kjer imamo prost dostop veliko delovnih mest paketno obdelavo milijone zapisov podatkov vsak dan in sem bil pred kratkim razmišljal o vseh strojev, ki sedijo okrog vsak dan nič ne delaš več ur. Ali ne bi bilo dobro, če bi lahko uporaba teh strojev za okrepitev procesorske moči naših sistemov? V ta sklop člankov bom pogled na možne koristi zaposluje urad omrežje z uporabo virtualiziranih okoljih.
V delu 4, sva pogledala z uporabo orodja, ki zagotavljajo, da smo nameščeno najnovejšo različico in virov podatkov kodo tako, da dobljeni rezultati so vedno na tekočem z najnovejšimi poslovnimi informacijami in logiko.
Pre-Deployment
Pred uvedbo vašega omrežnega sistema, če obstaja ena stvar, ki jo naredite, in ena stvar, samo to je merilo vaš trenutni sistem! Ni važno, kaj vam povem, kolegi o tem, koliko dodatnega dela je vaš sistem bo naredil, če imate številke bi to vaš jamstva niso nič. Torej,
- koliko zapisov lahko proces trenutno? Per Day? Na uro?
- Kako dolgo traja običajno obrnil delo?
- Koliko več zmogljivosti imate?
Tam je tudi dodatna vprašanja:
- Če vaš strežnik za obdelavo (ali eden od vaših strežnikov obdelave) gre dol, kako bo to vplivalo na vaše sposobnosti, vam bo invalid?
- Kakšne prednosti si upam / pričakujem, da bi dobili od omrežnega sistema?
- Ali vaši pisarni stroji, ki lahko teče delovna mesta?
- Ali so vaši (ali pa se pretvori delovnih mest) za delo v tem slogu vodenja?
Zadnja večja Bistvo je, da vzamete čas za večje spremembe, kot je ta. Update your obdelave kode dela z novo metodologijo, merilo znova. Morebiti nastavite obdelavo strežnik teči virtualni stroj, ko bo vse vaše predelave server še en delavec (samo zelo močan eno relativno). Pustimo, da se novi postopek za poravnavo.
Deployment
Moj predlog bi bil, da pop v pisarno en vikend opravljajo vse naprave in nastavitev. Ali to tik pred štirinajst dni na počitnice in pustite, da drugi slabo chap k soočanju s posledicami ... morda pa tudi ne ...
Za uvajanje sistema, kot je to treba počasi. Kljub temu, da bi bilo relativno enostavno vzpostaviti sistem, to bo vplivalo na celotno infrastrukturo pisarni (tudi digitalno). Prvič, razvaljamo na nekaj strojev v času, spremljanje omrežnega prometa, kako delavec gosti nastopili na dan za dnem. Morda boste morali spremeniti svoje delo konfiguracijo kot odgovor na vaše ugotovitve.
Ko je sistem poravnana z nekaj stroji (recimo 10% vseh pisarniških strojih, tj 5) voditi za spremljanje omrežnega prometa in gostitelja stroj performance. Next benchmark še enkrat, bi morali sedaj obdelavo 33% več delovnih mest kot svoj prvi meril. Preverite, ali je temu tako, ali da ste vsaj v tem podobno. Če ne, raziskati, kaj se dogaja pred prehodom na. Ponovite ta cikel, dokler ne boste srečno vse pisarniških strojev, ki teče brez ubijanja posameznih učinkovitost stroja ali mletje omrežju do mirovanja.
V vseh časih vodi primerjalno analizo, tudi po tem, ko se je vse uvajanja. Preverite, kako nove posodobitve oznaka vpliva na hitrost vašega sistema, preverite vse delavce, so poročanje v predelavo in delovna mesta. Počasi (zelo počasi) prirastek vaša naloga, konfiguracijo, da bi dobili najboljše od vaših delavcev in omrežje.
Stop!
Kaj pa, če želite ustaviti svoje delavce s tekmovanje v teku na nekaj časa? Vsi so tam teče regeneracijo, in poskuša po svojih najboljših močeh za obdelavo podatkov, kot lačen žuželk. Odgovor se morda zdi očitno, vendar je treba še dodati, samo v primeru, da njen spregledati. Preprosto urejanje obdelavo skript z izhodom (0) or die () ali kakšno drugo izjavo, da bi ubil svojega obdelavo delovnih mest. Pomemben razlog, zakaj smo vedno poskušali posodobiti na najnovejšo obdelavo skript pred vožnjo!
Dokaz System
Da se napisati to niz kratkih člankov sem ustvaril zelo majhna omrežja, da se dokaže tehnologij in metodologij. Prebral sem veliko člankov, vaj, in se uporabljajo različna orodja za namestitev in spremljati, kaj se dogaja. Z ne pomeni, da sem šel ven in nasičenih celo pisarno s prometom in prav sem imel dostop do rednega PC uslužbencev, da vidite, kako je bila prizadeta gostitelja uspešnosti.
Moja predstavitev je bil zelo ponižen res. Včasih sem sam, na običajno pult, ustanovljena kot pomočnik nadzora na delovnem mestu. Na to sem imel umestiti mySQL server nameščen ustanovljena kot mojster razmnoževanja, PHP , Â in SVN povezani preko apache (za dostop prek delavca VM).
Nato sem ustvaril CentOS delavec stroj na VirtualBox na 6 let star laptop Windows XP. I setup redne naloge, določene po kopiranju VM na stroj in pustite, da gredo.
Navidezni stroj je bil ustanovljen s PHP, subverzijo, in mySQL. Preveril sem iz podružnice imenom "delavca" iz moje strežnike nadzora nad delom skladišču in so prepričani, da bi bilo mogoče posodobiti s "svn update". Nato sem setup mySQL kot suženj in preveri, da podatki so bili posnemajo iz mySQL na strežniku nadzora nad delom navzdol na delavca VM. Po vsem tem setup sem bash skripto in cron delovnih mest.
Moj obdelavo skript v bistvu šel po vzoru tega (zelo preprosto stvari):
- Preberite v imenu področju
- Šteje število podobnih imen v tabeli iz vira podatkov, ki jo na VM
- Šteje število imen kot zgoraj, vendar razdelitev ime s presledki (tj. ime, srednje, priimek)
- Ponavljajoče se ta proces 1.000-krat
Vsako delo je trajalo približno 20 minut teči. Na eni točki sem odprl več kopij delavca VM na laptop okna in gledal delovnih mest, je treba preveriti off vsakega delavca IP naslovov. Na tej točki sem tudi potrdil, da replikacije samodejno ponovno zažene.
Leaving laptop pripravljenosti, ki je povzročilo delavec začenja proces delovnih mest iz strežnika nadzora na delovnem mestu. Ko nadaljevanje laptop navada je prišlo do zamude približno 30-60 sekund, je to precej časa in osebja, bo treba zavedati, da lahko njihovi stroj ustavite za kratek čas, ko se vračajo v stroj. Novejši stroji ne smejo imeti pavzo tega dolga. Korist zneska obdelavo, ki jo ti stroji v idle obdobjih bi bilo več, da prevladajo nad uslužbenci bi morali čakati krajše obdobje (recimo 1 minuta), je ob prihodu v njihovi stroji zjutraj (I pogosto čakati dlje, da je to za Windows Defender posodobitev, ki mesto), če so bili seznanjeni s tem (koristen čas, da zgrabite jutranje kave!).
Na splošno preprican sem, da sem dokazal, tehnologije, ki bi jih lahko uporabili za vzpostavitev takšnega sistema. I so pokazale, da tak sistem ne dela na (zelo) majhnem obsegu in z nekaj več eksperimentirati lahko povečajo uporabiti sredstva strojev urada. Če ne pridem do točke, za to bi me zelo zanimalo / videti, ko nekdo drug ne.
Sklepi / vrednotenje
Naslednji korak bi bil očitno dejansko dobil pravi primer svet in začeti, da se uporabi sistem, kot je to v pisarniško okolje in glej kaj se zgodi. Zahtevati od podjetja, da se zavežejo k temu, ne da bi utrl pot družbe dokazati, tehnologijo in učinkovitost, se lahko malo težko. Grid / Distributed računalništvo je zelo priljubljen, je nekaj krogov in ima nekaj velikih aplikacij (BIONC, SETI @ Home, Folding @ Home, itd.) Nisem pa našel v manjšem obsegu in enostaven sistem, kot je to v mojem iskanja, ki bi se lahko izvajale v pisarniško okolje.
Ustvaril sem v bistvu prosti sistem, ki uporablja večinoma odprtokodne programske opreme in orodij na voljo v skoraj vsaki pisarni. Tehnologije, so v bistvu dokazati in pokazati, da izvaja in delujejo po pričakovanjih. Upajmo, da sem pokazati, da z ne veliko dela in z zelo preprosto namestitev lahko uporabi računalniških omrežij, urad, ki je močna, poceni, Â in prilagodljiva vse ob istem času.
Ko sistem je začela delovati skoraj ni konec znesek prilagoditev in izboljšav ki jih lahko naredite. Na primer statistika / benchmarking lahko enostavno doda kaže vredno takšnega sistema vsak dan. New stroje, se lahko doda hitro in enostavno, če in ko prispejo z nadgradnjo obstoječih strojne krepitev svoje procesorske moči.
Upam, da ste uživali branju tega serijo člankov in ti dal za razmislek o tekočih sistem pisarno omrežje. Rešitev, predstavljena tukaj, ne bo nujno, da dela v vseh primerih, vendar morajo biti prilagojeni vam omogočajo, da dobite za obdelavo podatkov opravlja z uporabo svoje rešitve.
Prosim, vas prosimo, da mi pošljete vse pripombe, popravke ali izboljšave in bom naredil moj najboljši, da bo ta članek posodobiti, da se ujemajo.
Členi , računalništvo , Grid Computing , Linux , PHP , spletno programiranje | 
apache , bash , serije , merilo , baze podatkov , uvajanja , omrežja , izboljšanje , Linux , mySQL , odprta koda , PHP , replikacija , subverzijo , virtualno , delavec , Zend okvir , zned
[...] Zadnjem delu te serije, aptly imenovan 5. del, bomo razpravljali o uvajanju tega sistema. Bom povzemajo, kaj se je naučil in [...]
Pozdravljeni tam, Super članek dude! Jaz sem utrujen uporabe RSS in ne uporabljate Cvrkutati, da bom lahko sledite tam?: D.
PS: Ali ste razmišljali polaganje video na svoj blog, da bo bralcem bolj užival mislim, da deluje, Roland Gorychka?.
Oglejte si twitter na desni strani vsake strani. Hvala!