Komentarji (3)

Z Steven Lloyd Watkin in petek 4 december 2009 11:37 pm

Predstavitev

Delam v podjetju, kjer deluje veliko delovnih mest paketno obdelavo milijone zapisov podatkov vsak dan in sem pred kratkim razmišljal o vseh naprav, ki sedijo okrog vsak dan nič ne delaš več ur. Ali ne bi bilo dobro, če bi lahko uporaba teh strojev za okrepitev procesorske moči naših sistemov? V tem sklopu člankov bom pogled na možne koristi zaposlovanja za pisarniško omrežje z uporabo virtualiziranih okolij.

V delu 2 se pogledal v službah, strežnik bo delujejo, in kako je treba delovna mesta nastavljen, da bi dosegli največjo količino obdelave, ob zagotavljanju, da je vsako delovno mesto obdelujejo obvezno.

Nastavitev delavca - ali Limp strežnik

Naslednji korak v procesu je, da vzpostavijo svoje virtualne delavcev. Za to bom uporabite namestitev CentOS z uporabo VirtualBox. Bom namestiti MySQL in PHP na strežniku, znan tudi kot šepanja (Li nux, m ySQL, P KM) Server (sem lahko to ime navzgor).

• Namesti VirtualBox na vašem računalniku Windows (sledite povezavi)
• Prenesite in namestite CentOS (trenutna različica 5.3) v ustvarjen virtualni stroj

Nima smisla me bo to tam je verjetno 1.000 's velikih vaj tam (ok, tukaj je ena: Ustvarjanje in Managing CentOS stvaren stroj v VirtualBox ). Pomembno je tudi omeniti Mislim, da sem poklical moj virtualni stroj GridMachine.

Kar zadeva moje izbire naročnika virtualizacije in operacijskega sistema iti ni velik prepričljiv razlog za vsako izbiro. VirtualBox je nekaj, kar uporabljam na mojem domačem računalniku in je podprt s strani treh glavnih operacijskih sistemih. Sem izbral CentOS so njegove dobre stabilen OS in ga uporabljam na svoj lasten spletni strežnik. Jaz sem velik vernik v pravih orodij za delo (čeprav sem uporabo "uporabo najhitrejši in najlažji za vas" miselnosti tukaj), tako da, če operacijski sistem X teče kodo hitreje in učinkoviteje uporabljati, da namesto :)

Pomembno je zagotoviti, da vaš VM uporablja DHCP, drugače pa je pri vsaki novi virtualni stroj, bi bilo treba posebej nastavljena, ki je nekaj, česar ne want.By uporabljate DHCP nam ni treba nastaviti nastavitve omrežja za posamezno delavcev strojev, bo DHCP roko iz IP za vas. Zato lahko kopirate svojo navidezno napravo o pisarni brez skrbi nastavitev vsakega posebej navzgor (to izboljša prilagodljivost delavcev in zmanjšuje upravo).

Proces si mora prizadevati, da bi dosegli, da pridobi novo fizično stroj, namestitev VirtualBox, nato pa precej razporedi virtualno podobo brez veliko drugega. Morda bi bilo pametno, da nastavite vse svoje delavce na drugem podomrežju, tako da lahko vsaj videli, koliko stroji se izvajajo. Prav tako boste morali nastaviti svoje stroje na dolgoročni zakup ali neomejeno najema DHCP.

Kako teči Jobs na delavca

To je zanimivo področje in obstaja več veljavnih metod za obdelavo delovnih mest na delavca. Tukaj bom samo razpravljali o dveh najbolj očitna:

• Nenehno teče scenarij: scenarij, pa naj bo lupinski skript, ali PHP skripta se izvede enkrat na delavca in poteka kot del neskončne zanke. Sem diskontirajo to metodo kot eno nesreči scenarij in morda se bodo vaši delavci, preneha teči, ne da bi neke vrste intervencije.
• Cron skript temelji izvedba: Vsakih X minut cron daemon začenja klic na svoj scenarij, da bi dobili stvari dogaja. Brez neke preverjanju lahko pride do veliko veliko kopij vašega teka delavcev scenarij.

Moja odločitev je bila, da gredo z cron, ki začenja skripte ukaznih lupin vsakih 10 minutes. Moj shell skript opravlja naslednje naloge:

1. Get proces seznam in grep to za 'php'. Če ni mogoče najti nato nadaljujte.
2. Pokličite svojega delovnega mesta kodo, v mojem primeru bi bilo to nekaj, kar temelji PHP
3. Delavec skript konča svoje teči
4. Pripravljen še enkrat iti na naslednji ustrezni razpis

Moj bash skripta izgleda nekako naslednje:

  #! / Bin / sh
 če ps ax | grep-v grep | grep php> / dev / null
 Nato
     echo "Job trenutno obdelave, izhoda"
 drugega
     echo "Job se ne izvaja, začeti zdaj"
     php yourJobProcessingScript.php
 povezava 

Opomba: echo, so skoraj popolnoma nesmiselno, lahko pa pomaga naslednjo osebo, ki pride skupaj, da bi poskušali urediti in jih.

, Ki zaključuje niz sestavljen iz delavcev virtualni stroj, hitro, preprosto in enostavno kopiranje za vsak nov kos strojne opreme, ki je prejel. "Spretnost" od omrežij, res ni v prikazanim OS, svoje vse storiti z oznako ustvarila za obdelavo delovnih mest, dela konfiguracijo, in pri zagotavljanju, da delo poteka po potrebi (to je, ko je gostitelj prostem teku ).

Nastavitev sistema Windows za inicializacijo Delavci

Prva naloga je izdelati ukaz, potrebne za zagon virtualnega stroja iz ukazni vrstici okna. Če ste namestili VirtualBox v privzetem mestu in ste poimenovali svoj ​​delavcev GridMachine nato ukaz preračunavanja vaš delavec je:

  "C: \ Program Files \ ne \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Kljub temu, da zaženete skript v 'Bezglav To stanje moramo uporabiti:

  "C: \ Program Files \ ne \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off 

To se bo začelo stvaren stroj brez GUI in pustite, da shranite stanje elegantno. Drugi argument izklopi PRP, zato ni v nasprotju z Windows PRP, ali vam sporočilo o posluša na vratih 3389. Navidezni stroj je ime velike in male črke!

Nato bomo morali nastaviti okna do začelo naše delavcev VM, potem ko je bil stroj miruje. Če želite to narediti (na operacijskem sistemu Windows XP), boste morali iti na Start -> Vsi programi -> Pripomočki -> Sistemska orodja -> načrtovanje opravil, kot spodaj:

Nato kliknite na "Dodaj redne naloge" sledi brskanje dodati program po meri. Navigacijo do VBoxManage scenarij in kliknite ok. Urnik opravilo za katero od možnosti (da bomo to spremenili v minuti) in še naprej. Po preskoči naslednji zaslon bo windows vas, ki želite zagnati to nalogo, bi jaz predlagam bodisi "upravitelj" ali z ustvarjanjem novih privilegiran uporabnika. Zapomnite si ne želimo posegati v standardni račun zaposlenih na stroju na kateri koli točki. Kliknite naprej in preverite kažejo napredne možnosti za to nalogo.

Do konca delovanja učbenik dodati svoj ​​niz 'startvm GridMachine' in zagotoviti, da se teči šele, ko prijavljeni ostane unticked. Obiščite urnik nalogo naslednji in spremeniti urnik spustite do možnosti ', ko miruje ", izberite količino časa, ki ga želite stroj v praznem teku pred prehodom na naslednjo kartico.

Končno untick možnost, ki pravi, ustavi nalogo, če poteka že X časa, vendar pa označite možnost, da ustavi nalogo, če naprava ni več prostega teka.

To je bilo takrat za nastavitev gostitelja oken!

Povzetek

V tem delu smo vzpostavili virtualni stroj, ki deluje kot delavec, kot tudi način, kako ga imenujemo in izvajanje naše skripte za obdelavo delovnih mest (za sebe script PHP). Od tu bomo ogledali, kako vzpostaviti svoje kopije operacijskega sistema Windows za zagon navideznega stroja v Bezglav načinu, ko je računalnik postane nedejaven in shranite svoje stanje, ko uporabnik začne ponovno uporabo stroja. Upajmo, da na tej točki ste videli, kako enostavno je vzpostaviti tak sistem in so srbenje, da se nekateri poskusi si bomo!

Naslednjič

V delu 4, bomo morali iskati za uporabo orodja za zagotovitev, da imate nameščen najnovejšo različico virov kode in podatkov, tako da dobljeni rezultati so vedno up-to-date z najnovejšimi poslovnih informacij in logiko.

Komentarji (3)

Z Steven Lloyd Watkin in petek 4 december 2009 11:03 pm

Predstavitev

Delam v podjetju, kjer deluje veliko delovnih mest paketno obdelavo milijone zapisov podatkov vsak dan in sem pred kratkim razmišljal o vseh naprav, ki sedijo okrog vsak dan nič ne delaš več ur. Ali ne bi bilo dobro, če bi lahko uporaba teh strojev za okrepitev procesorske moči naših sistemov? V tem sklopu člankov bom pogled na možne koristi zaposlovanja za pisarniško omrežje z uporabo virtualiziranih okolij.

V delu 4, smo preučevali uporabo orodij za zagotovitev, da smo nameščeno najnovejšo različico virov kode in podatkov, tako da dobljeni rezultati so vedno up-to-date z najnovejšimi poslovnih informacij in logiko.

Pre-Deployment

Pred namestitvijo svojega omrežja sistem, če obstaja ena stvar, ki jo storite, in ena stvar, sam to je merilo vaš trenutni sistem! Ni važno, kaj poveste kolege o tem, koliko dodatno delo, vaš sistem bo naredil, če imate številke bi to potrdili vaše jamstev niso nič. Torej,

• Koliko zapisov lahko obdelali trenutno? Na dan? Na uro?
• Koliko časa običajno traja, da se obrnil službo?
• Koliko več zmogljivosti imate?

Tam je tudi dodatna vprašanja:

• Če je vaš strežnik za obdelavo (ali eden od vaših strežnikov za predelavo) gre dol, kako bo to vplivalo na vaše sposobnosti, vam bo invalid?
• Kakšne prednosti vam upam / pričakujem, da bi dobili od omrežnega sistema?
• So vaši pisarniški stroji pogon delovnih mest?
• Ali vaš (ali pa ste lahko pretvori delovnih mest), da wrok v tem slogu vodenja?

Zadnji večji Bistvo je, da si vzemite čas za večje spremembe, kot je ta. Posodobite obdelavo kodo za delo z novo metodologijo, ki merilo znova. Mogoče nastaviti za obdelavo strežnik teči virtualni stroj, po vsem strežniku obdelave bo samo še en delavec (samo zelo močna 1 relativno). Pustimo, da se nov postopek za poravnavo.

Deployment

Moj predlog bi bil pop v pisarni enega tedna izvajanje vseh naprav in nastavitev. Ali to tik pred počitnicami štirinajstih dneh in pustite, da drugi revni chap za reševanje posledic ... morda pa tudi ne ...

Uvajanje sistem, kot je ta mora biti počasen. Kljub temu, da bi bilo razmeroma preprosto vzpostavitev tega sistema bo vplivala na vaše celotno infrastrukturo urada (tudi digitalni 1). Prvič, razvaljamo na nekaj strojev v času, monitor omrežnega prometa, kako se delavec gostitelji opravljajo na dan za dnem. Morda boste morali spremeniti svoje delo konfiguracijo kot odgovor na vaše ugotovitve.

Ko je sistem rešiti z nekaj strojev (recimo 10% vseh pisarniških strojev, tj 5) vodi za spremljanje prometa omrežja in gostiteljski stroj performance. Naslednja merilo še enkrat, bi morali sedaj predelavo 33% več delovnih mest kot vaših prvih meril. Preverite, to je tako, ali da ste vsaj v tem Športni teren. Če ne, raziskati, kaj se dogaja pred prehodom na. Ponovite ta cikel, dokler ne boste z veseljem vsi pisarniški stroji teče brez ubijanja individualno stroja ali mletje omrežje do zastoja.

Ves čas vodi primerjalno analizo, tudi po tem, ko so na vseh uvajalnih. Preverite, kako nove posodobitve koda vpliva na hitrost vašega sistema, preverite, ali so vsi delavci v poročanje in obdelavo delovnih mest. Počasi (zelo počasi), prirastek svoje delo konfiguracijo, da bi dobili najboljše iz vaših delavcev in mreže.

Stop!

Kaj pa, če želite ustaviti svoje delavce iz teče nekaj časa? Vsi so tam teče regeneracijo, in poskuša po svojih najboljših močeh za obdelavo podatkov, kot so žuželke lačnih. Odgovor se morda zdi očitno, vendar je vredno dodajanjem vsak slučaj njegov spregledati. Preprosto urejanje obdelavo skript, z izhodom (0) ali die () ali kakšno drugo izjavo, da bi ubil svojo obdelavo delo. Pomemben razlog, zakaj smo vedno poskušali posodobiti na najnovejšo scenarij obdelave pred vsako vožnjo!

Prikaz sistema

Da bi napisal to zbirko kratkih člankov sem ustvarila zelo majhen mrežo dokazati tehnologije in metodologije. Prebral sem veliko člankov, vaj in se uporabljajo različna orodja za namestitev in spremljati, kaj se dogaja. Nikakor sem šel ven in nasičenih celo pisarno s prometom in tudi ne sem imel dostop do rednega PC člane osebja, da vidite, kako je vplivala gostitelj delovanje.

Moja demonstracija sistem je bil zelo skromen res. Včasih sem svojo redno namizje ustanovi kot strežnik delovnih nadzora. Na to sem namestiti mySQL strežnik nameščen ustanovljena kot mojster v replikacije, PHP , A in SVN povezana s Apache (za dostop preko VM delavcev).

Nato sem ustvaril stroj delavcev CentOS na VirtualBox na 6 let star laptop Windows XP. Jaz nastaviti predvidene naloge, kot je določeno po kopiranju VM na stroj in pustite, da gredo.

Navidezni stroj je bila ustanovljena z PHP, Subversion in MySQL. Preveril sem ven podružnico z imenom "delavec" iz mojega nadzora delovnih skladišče strežnikov in je prepričan, da bi se lahko posodobijo po ilo posodobitev ". Nato sem nastavitev mySQL kot suženj in preveri, ali podatki so bili posnemanja iz mySQL na strežniku delovnih mest za vodenje delavcu VM. Po vsem tem sem setup bash skripto in cron službo.

Moj obdelavo skript v bistvu šli po vzoru to (zelo preprosta stvar):

• Preberite v polje Ime
• Prešteti število podobnih imen v tabeli iz vira podatkov, ki je potekala v VM
• Prešteti število imen, kot zgoraj, vendar razdelitev imena s presledki (npr. ime, srednja, priimek)
• Postopek se ponovi 1000 krat

Vsako delovno mesto je približno 20 minut teči. V nekem trenutku sem odprl tudi več izvodov delavcev VM na laptop okno in opazoval delovna mesta preveriti off vsaka od naslovov IP delavcev. Na tej točki sem tudi potrdil, da replikacije samodejno ponovno zažene.

Zapusti laptop v stanje povzročilo delavca začne za obdelavo delovnih mest iz strežnika delovnih mest nadzora. Ko nadaljevanje laptop navada je prišlo do zamude približno 30-60 sekund, je to pošteno časa in osebja bi bilo treba zavedati, da je njihova naprava lahko ustavite za kratek čas, ko se vrne na stroju. Novejši stroji ne smejo imeti pavzo, dolgo tako dolgo. Korist za znesek, ki ga opravi obdelavo teh strojev v prostem teku več obdobjih, ki bi prevladali nad uslužbencem, da počaka na kratko obdobje (recimo 1 minuto), ob prihodu na svojih strojih za zjutraj (I pogosto čakati dlje, da je to za Windows Defender posodobiti, da poteka), če so seznanjeni s tem (koristen čas, da zgrabite jutranjo kavo!).

Na splošno sem prepričani, da sem prikazal tehnologije, ki bi jih lahko uporabili za oblikovanje takšnega sistema. I so pokazale, da tak sistem ne dela na (zelo) majhnem obsegu in z nekaj več eksperimentirati lahko povečajo uporabiti sredstva strojev urada je. Če ne dobim do te mere, to bi mi bilo zelo zanimalo, / videli, ko nekdo drug ne.

Sklepi / ocene

Naslednji korak bi bil očitno dejansko dobil pravi zgled svetu in začeti uvajanje sistema, kot je to v pisarniško okolje in videli, kaj se zgodi. Zahtevati podjetja, da se zavežejo, da to brez sled Plamen podjetje dokazati, tehnologija in učinkovitost lahko malo težko. Mreža / porazdeljeni računalniški je zelo priljubljen, je nekaj krogov in ima nekaj velikih aplikacij (BIONC, SETI @ Home, Folding @ Home, itd.) Nisem pa našli v manjšem obsegu in enostaven sistem, kot je ta v svojih iskanjih, ki bi se lahko razvalja v pisarniško okolje.

Ustvaril sem v bistvu brez sistema z uporabo odprtokodne programske opreme v glavnem in orodij na voljo v skoraj vsaki pisarni. Tehnologije so v bistvu dokazati in pokazati, da opravlja delo, in kot je bilo pričakovano. Upajmo, da imam kažejo, da z ne preveč dela in z zelo preprosto namestitev lahko se uporabi računalniške pisarno omrežja sistem, ki je močan, poceni, a in prilagodljiva vse ob istem času.

Ko sistem je začela delovati skoraj ni konec znesek prilagoditev in izboljšav, ki jih lahko dajo. Na primer, lahko statistiko / benchmarking enostavno treba dodati, ki prikazuje vrednost takega sistema vsak dan. Nove naprave se lahko doda hitro in enostavno, če in ko prispejo z nadgradnjo obstoječe strojne opreme za krepitev svoje procesorske moči.

Upam, da ste uživali branju tega serijo člankov in njegove dal snov za razmišljanje o teče sistem pisarniškega omrežja. Rešitev, predstavljena tukaj, ne bo nujno delo v vseh situacijah, vendar morajo biti prilagojeni, da vam omogočajo, da se vaš obdelava podatkov opravi s pomočjo svoje rešitve.

Prosim, vas prosimo, da mi pošljete kakršne koli pripombe, popravke ali izboljšave in bom po svojih najboljših močeh, da bo ta članek posodobljene, da se ujemajo.