Kummenti (3)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 23:37

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Fil -parti 2 ħarisna lejn l-impjiegi server se run, u kif l-impjiegi għandhom jiġu kkonfigurati sabiex jinkiseb akbar ammont ta 'l-ipproċessar filwaqt li jiżgura li kull biċċa xogħol hija pproċessata mingħajr dubju.

Twaqqif ħaddiem tiegħek - jew server limp

Il-pass li jmiss fil-proċess huwa li jitwaqqaf ħaddiema virtwali tiegħek. Għal dan jien ser tuża l-istallazzjoni ta CentOS jużaw VirtualBox. Jien ser tinstalla MySQL u PHP fuq is-server, magħrufa wkoll bħala limp (Nux Li, m ySQL, P HP) Server (I seta 'għamel dak l-isem up).

• Installa VirtualBox fuq magna twieqi tiegħek (segwi link)
• Download u jinstallaw CentOS (kurrenti verżjoni 5.3) fi magna virtwali maħluqa

M'hemm l-ebda punt lili tmur għal dan hemm probabbilment i 1000 "ta 'tutorials kbira hemmhekk (ok, hawnhekk wieħed: Il-ħolqien u Managing CentOS magna virtwali taħt VirtualBox ). Il-punt importanti li wieħed jinnota I jissoponi huwa li I imsejħa magna virtwali tiegħi GridMachine.

Safejn għażliet tiegħi tal-klijent virtwalizzazzjoni u sistema operattiva jmorru hemm l-ebda raġuni konvinċenti kbira għal kull għażla. VirtualBox hija xi ħaġa I użu fuq magna dar tiegħi u hija appoġġjata mill-tliet sistemi operattivi ewlenin. I għażlet CentOS bħala OS tagħha stabbli tajba u I użu fuq server tiegħi stess web. I am a fidi kbira fil-għodod adattati għall-impjieg (għalkemm jien applikazzjoni "tuża l-aktar mgħaġġel u eħfef għalik" mentalità hawn), hekk jekk sistema X joperaw runs kodiċi tiegħek aktar mgħaġġla u aktar effiċjenti użu li minflok :)

Importanti kun żgur li VM tiegħek juża DHCP, inkella għal kull magna virtwali ġdid ikun jeħtieġ li jiġi kkonfigurat separatament li hija xi ħaġa li aħna ma want.By jużaw DHCP ma kellniex bżonn biex jiġi kkonfigurat settings netwerk individwalment għal magni tal-ħaddiema, DHCP se idejn l-IPs għalik. Għalhekk inti tista 'kopja magna virtwali tiegħek dwar l-uffiċċju mingħajr ma jinkwetaw dwar it-twaqqif kull wieħed up (din ittejjeb modularità u jnaqqas l-amministrazzjoni ħaddiem).

Il-proċess inti għandhom jimmiraw li jiksbu ikun li tikseb magna fiżika ġdida, jinstallaw VirtualBox, u mbagħad pretty ħafna jintuża l-immaġni virtwali mingħajr wisq inkella. Jista 'jkun għaqli li setup ħaddiema kollha tiegħek fuq subnet differenti sabiex inti tista' mill-inqas ara kemm magni huma running. Int ser ikollok bżonn ukoll li jitwaqqaf magni tiegħek fuq kirja fit-tul jew illimitat kera DHCP.

Kif biex imexxu l-Impjiegi fuq il-ħaddiem

Dan huwa qasam interessanti u hemm metodi validi diversi għall-ipproċessar impjiegi fuq il-ħaddiem. Hawnhekk I ser biss jiddiskutu l-aktar żewġ ovvju:

• Perpetually taħdem iskrittura: A b'kitba, kemm b'kitba qoxra, jew b'kitba PHP hija esegwita darba fuq il-ħaddiem u tmur bħala parti minn linja infinita. Stajt skontati dan il-metodu bħala wieħed tiġrifa ta 'l-iskrittura u potenzjalment ħaddiema tiegħek se jieqaf milli jiddekorri mingħajr xi tip ta' intervent.
• Bbażata Cron iskrittura eżekuzzjoni: Kull minuta X l-daemon Cron kicks off sejħa għall iskrittura tiegħek biex jaqilgħu l-affarijiet għaddejjin. Mingħajr xi verifika li dan jista 'jwassal għal bosta kopji ħafna tmexxija tiegħek b'kitba ħaddiem.

Deċiżjoni tiegħi kien li jmorru ma cron li kicks off-iskrittura qoxra kull minutes. 10 iskrittura qoxra tiegħi twettaq il-kompiti li ġejjin:

1. Get lista proċess u grep dan għal "PHP". Jekk ma tinstabx mbagħad tkompli.
2. Sejħa kodiċi tax-xogħol tiegħek, fil-każ tiegħi dan ikun PHP xi ħaġa bbażata
3. Iskrittura Ħaddiem tikkompleta run tagħha
4. Lesta li tmur darb'oħra fuq is-sejħa xierqa li jmiss

Iskrittura bash tiegħi jistenna xi ħaġa bħal li ġej:

  #! / Bin / sh
 jekk ps ax | grep-v grep | grep PHP> / DEV / null
 allura
     eku "Job bħalissa ipproċessar, ħruġ"
 inkella
     eku "Job ma tkunx qed taħdem, tibda issa"
     PHP yourJobProcessingScript.php
 Fi 

Nota: il-fuq eku huma kważi kompletament inutli, iżda jista 'jgħin lill-persuna li jmiss li ġejja flimkien biex jippruvaw u jeditjaw minnhom.

Dan jikkonkludi-twaqqif tal-magna ħaddiem virtwali, malajr, sempliċi, u faċli għall-kopja għal kull biċċa ġdida ta 'hardware li huwa riċevut. Il-"cleverness" tas-sistema grid verament mhux fil-OS viżwalizzata, tiegħu kollha biex jagħmlu mal-kodiċi maħluqa għall-impjiegi proċess, il-konfigurazzjoni impjieg, u li taċċerta li l-impjieg jibda meta xieraq (jiġifieri meta l-ospitanti tkun idle ).

Twaqqif Windows sabiex tinbeda 'Ħaddiema

L-ewwel kompitu huwa li jaħdmu l-kmand meħtieġa biex imexxu l-magna virtwali mill-linja tal-kmand twieqi. Jekk inti ħadthom installati VirtualBox fil-post default u inti stajt msemmija ħaddiem GridMachine tiegħek allura l-kmand meħtieġa għal tagħbija ħaddiem tiegħek huwa:

  "C: Program Files \ Ħad \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Madankollu biex imexxu l-iskrittura fi "bla ras" stat għandna bżonn għall-użu:

  "C: Program Files \ Ħad \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off 

Din se tibda l-magna virtwali mingħajr il-GUI u jippermettulha li jiffrankaw l-istat gracefully. It-tieni argument titfi RDP għalhekk ma jkunx f'kunflitt ma 'twieqi PŻR, jew jagħtuk messaġġ dwar smigħ fuq il-port 3389. L-isem magna virtwali huwa każ sensittiv!

Sussegwentement, aħna ser bżonn li jiġu stabbiliti twieqi sa kick off VM ħaddiem tagħna darba l-magna kienet idle. Biex tagħmel dan (fuq Windows XP) li ghandek bzonn biex tmur Start -> All Programs -> Aċċessorji - System Tools> -> Kompiti Skedati kif hawn taħt:

Li jmiss ikklikkja fuq "Żid Task skedata" segwit minn jibbrawżjaw li żżid programm tad-dwana. Mur għall iskrittura VBoxManage tiegħek u ikklikkja ok. Skeda kompitu tiegħek għal kwalunkwe mill-għażliet (aħna ser tbiddel dan fil-minuta) u tkompli. Wara taqbeż l-iskrin li jmiss twieqi ser jgħidlek li inti tixtieq li run dan il-kompitu, I d jissuġġerixxu jew "Amministratur" jew ħolqien ta 'utent privileġġat ġdid. Ftakar aħna ma rridux li jinterferixxi mal-kont persunal standard fuq il-magna fi kwalunkwe punt. Ikklikkja li jmiss u jivverifika l-għażliet juru avvanzati għall dan il-kompitu.

Sat-tmiem tal-kaxxa run żid string tagħna startvm GridMachine "u jiżguraw li run biss meta illoggjat titħalla unticked. Żur il-kompitu iskeda li jmiss u jibdlu l-iskeda drop down għall-għażla "meta wieqfa", jagħżlu l-ammont ta 'ħin li tixtieq l-magna biex tiġi idle qabel ma jimxu fuq il-tab li jmiss.

Fl-aħħarnett untick l-għażla li jgħid twaqqaf il-kompitu li jkun ġie running ammont X ta 'żmien, imma immarka l-għażla biex iwaqqaf il-kompitu jekk il-magna ma tkunx aktar idle.

Li mbagħad għall-setup ospitanti twieqi!

Sommarju

F'din il-parti waqqafna magna virtwali biex jaġixxi bħala ħaddiem, kif ukoll il-mod li bih nagħmlu sejħa u tesegwixxi skripts tagħna ipproċessar tax-xogħol (għal lili nnifsi iskrittura PHP). Minn hawn aħna nħarsu lejn kif stabbilit kopji tagħna ta 'twieqi biex tibda l-magna virtwali fil-modalità bla ras meta l-kompjuter isir idling, u tiffranka l-istat tiegħu meta l-utent jerġa' jibda l-użu tal-magna. Nisperaw f'dan il-punt int tara kemm huwa sempliċi biex iwaqqfu sistema bħal din u huma ħakk biex nikseb xi esperimenti li jmorru ruħek!

Li jmiss ħin

Fil -Parti 4 aħna ser tkun tħares lejn użu ta 'għodod biex jiżguraw li int taħdem l-aħħar verżjoni ta' l-għejun tal-kodiċi u d-data sabiex ir-riżultati miksuba huma dejjem up-to-date ma 'l-informazzjoni kummerċjali u l-aħħar loġika.

Kummenti (3)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 11:03

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Fil -Parti 4 ħarisna lejn użu ta 'għodod biex jiżguraw li aħna qed taħdem l-aħħar verżjoni ta' l-għejun tal-kodiċi u d-data sabiex ir-riżultati miksuba huma dejjem up-to-date ma 'l-informazzjoni kummerċjali u l-aħħar loġika.

Qabel l-Użu

Qabel iskjerament sistema tal-grilja tiegħek jekk hemm ħaġa waħda li inti u ħaġa waħda biss huwa benchmark sistema attwali tiegħek! Ma jimpurtax f'liema inti tgħid kollegi dwar kemm xogħol żejjed sistema tiegħek se tagħmel sakemm ikollok numri li jappoġġjaw dan garanziji tiegħek huma xejn. Allura,

• kemm-rekords tista 'tipproċessa bħalissa? Per Jum? Per Hour?
• Kemm idum ma jieħdu biex tipikament jdur xogħol?
• Kemm aktar kapaċità għandek?

Hemm ukoll mistoqsijiet addizzjonali:

• Jekk l-ipproċessar server tiegħek (jew waħda ta 'servers ta' proċessar tiegħek) jinżel kif dan se jaffettwa l-kapaċitajiet tiegħek, inti se tkun crippled?
• Liema vantaġġi inti tama / jistennew li jiksbu minn sistema tal-grilja?
• Huma magni uffiċċju tiegħek kapaċi taħdem l-impjiegi?
• Qed tiegħek (jew jista inti impjiegi jiġu konvertiti) għal wrok dan l-istil ta 'tmexxija?

Il-punt ewlieni aħħar huwa li tieħu ħin tiegħek dwar kull bidla maġġuri bħal dan. Aġġornament kodiċi ta 'pproċessar tiegħek biex jaħdmu bl-użu tal-metodoloġija, jimmarkaw mill-ġdid. Possibilment jitwaqqaf server ipproċessar tiegħek biex imexxu 'magna virtwali, wara kollox server ipproċessar tiegħek se jkun biss ħaddiem ieħor (biss waħda qawwija ħafna relattivament). Ħalli l-proċess il-ġdid li jsolvi.

Użu

Suġġeriment tiegħi jkun li pop fis-uffiċċju wieħed weekend jwettqu l-installazzjonijiet u s-setup. Tagħmel dan eżatt qabel btala kull hmistax u leave hekk oħra foqra xedaq biex jittrattaw il-konsegwenzi ... forsi mhux ...

Użu għal sistema bħal din jeħtieġ li jkun bil-mod. Minkejja li relattivament sempliċi li jitwaqqaf din is-sistema se jaffettwa kollu uffiċċju tiegħek infrastruttura (ukoll il-wieħed diġitali). L-ewwelnett, ir-roll out għal ftit ta 'magni fi żmien, netwerk monitor traffiku, kif l-ospiti ħaddiem iwettaq fuq bażi jum għal jum. Jista 'jkollok bżonn tibdel konfigurazzjoni xogħol tiegħek bi tweġiba għas-sejbiet tiegħek.

Ladarba s-sistema tkun solvuta bi ftit magni (tikri say 10% tal-magni uffiċċju, jiġifieri 5) iżommu netwerk ta 'monitoraġġ tat-traffiku u l-magna ospitanti performance. benchmark jmiss darb'oħra, inti issa għandu jiġi ipproċessar impjiegi 33% aktar minn punti ta' referenza tiegħek l-ewwel. Iċċekkja dan ikun hekk, jew li int mill-inqas f'dan ballpark. Jekk le, tinvestiga dak li qed jiġri qabel immorru jaħdmu. Irrepeti dan iċ-ċiklu sakemm inti kuntenti li l-magni kollha uffiċċju running mingħajr qtil prestazzjoni magna individwali jew tħin network tiegħek għal waqfien.

Fil-ħinijiet kollha iżommu benchmarking, anke wara li l-implimentazzjonijiet huma magħmula. Iċċekkja kif aġġornamenti ġodda tal-kodiċi jaffettwax il-veloċità tas-sistema tiegħek, iċċekkja l-ħaddiema kollha huma rappurtar u l-ipproċessar l-impjiegi. Bil-mod (bil-mod ħafna) inkrement konfigurazzjoni xogħol tiegħek biex jiksbu l-aħjar mill-ħaddiema tiegħek u netwerk.

Stop!

X'jiġri jekk inti tixtieq li twaqqaf lill-ħaddiema tiegħek milli titħaddem f'xi żmien? Dawn huma kollha hemmhekk running, jirriġenera, u jippruvaw aħjar tagħhom biex jipproċessa data bħal insetti bil-ġuħ. It-tweġiba ovvja iżda l-valur tiegħu jżid biss fil-każ injorati tagħha. Sempliċement jeditjaw b'kitba tiegħek ipproċessar bi ħruġ (0) jew die () jew xi dikjarazzjoni oħra li joqtlu xogħol ipproċessar tiegħek. Raġuni importanti għaliex aħna dejjem jippruvaw jaġġornaw l-iskrittura ipproċessar aktar tard qabel kwalunkwe run!

Sistema Dimostrazzjoni

Sabiex jiktbu dan is-sett ta 'artikli qosra I maħluqa grid żgħir ħafna biex juru t-teknoloġiji u metodoloġiji. Naqra lottijiet ta 'artikoli, tutorials, u użati għodod varji biex setup u jimmonitorjaw dak li kien għaddej. Bl-ebda mod jiena intfiet u saturati uffiċċju kollu mat-traffiku u lanqas ma kelli aċċess għal regolari membri tal-persunal PC biex tara kif il-prestazzjoni ospitanti kien affettwat.

Sistema ta 'dimostrazzjoni tiegħi kien umli ħafna tabilħaqq. I użati desktop regolari tiegħi jistabbilixxu bħala server kontroll impjieg. Fuq din I kien installat mySQL server installati stabbilit bħala kaptan fir-replikazzjoni, PHP , Â u SVN marbuta permezz apache (għal aċċess permezz VM ħaddiem).

I imbagħad ħoloq magna ħaddiem CentOS fuq VirtualBox fuq 6 snin laptop XP qodma twieqi. I setup kompiti skedati kif speċifikat wara jikkopja l VM fuq il-magna u ħallieh għaddej.

Il-magna virtwali ġiet imwaqqfa bl PHP, sovverżjoni, u mySQL. I ċċekkjati fergħa jismu 'ħaddiem mill-impjieg tiegħi servers kontroll repożitorju u għamel żgur tista' tkun aġġornata permezz ta '' SVN aġġornament ". Li jmiss I setup mySQL bħala skjav u kkontrollati li d-data kienet jirreplikaw minn mySQL fuq is-server kontroll xogħol sa l-VM ħaddiem. Wara kollox dan I setup l-iskrittura bash u l-impjieg cron.

Iskrittura ipproċessar tiegħi bażikament marru fuq il-linji ta 'dan (Jittieħed sempliċi ħafna):

• Moqrija fil-qasam isem
• Magħduda l-għadd ta 'ismijiet simili fit-tabella mis-sors tad-data miżmuma fuq il-VM
• Magħduda l-għadd ta 'ismijiet bħal hawn fuq iżda qsim l-isem mill-ispazji (jiġifieri isem, tan-nofs, il-kunjom)
• Ripetuta dan il-proċess 1,000 darba

Kull xogħol ħa madwar 20 minuta jiddekorri. F'punt wieħed I jinfetħu diversi kopji ta 'l-VM ħaddiem fuq il-laptop twieqi u jaraw l-impjiegi jiġu ċċekkjati off billi kull wieħed mill-indirizzi IP ħaddiem. Fuq dan il-punt I kkonfermat ukoll li r-replikazzjoni awtomatikament jerġa 'jinbeda.

Jħallu l-laptop għal idle irriżulta ħaddiem jibdew proċess impjiegi mis-server kontroll impjieg. Meta terġa 'tibda l-użu laptop kien hemm dewmien ta' madwar 30-60 sekonda, dan huwa ammont ġust ta 'żmien u l-persunal jeħtieġ li jkunu konxji li l-apparat tagħhom jistgħu nieqaf għal ħin qasir meta jirritornaw lejn il-magna. Magni Godda ma jistax ikollhom pawża ta 'dan twil. Il-benefiċċju ta 'l-ammont ta' ipproċessar imwettqa minn dawn il-magni matul perjodi fl-idling se aktar li huma akbar membri tal-persunal li jistenna perjodu qasir (jiġifieri 1 minuta) fuq jaslu magni tagħhom ta 'filgħodu (I spiss jistennew aktar li dan għal Konvenuta Windows taġġorna li jseħħ) sakemm saru konxji ta 'dan (ħin utli biex grab kafè dalgħodu!).

Globalment I jħossuhom kunfidenti li I wrew it-teknoloġiji li jistgħu jintużaw biex joħolqu sistema bħal din. I wrew li din is-sistema taħdem fuq skala (ħafna) żgħar u bi ftit aktar jesperimentaw jistgħu jitkabbru tutilizza r-riżorsi ta 'magni 1 uffiċċju ta. Jekk jien ma jasal sal-punt li jagħmlu dan Inkun ħafna interessati li jkunu jafu / tara meta xi ħadd ieħor ma.

Konklużjonijiet / evalwazzjoni

Il-pass ovvju li jmiss ikun li fil-fatt tikseb eżempju dinja reali u jibdew jagħmlu użu minn sistema bħal din fi ħdan ambjent uffiċċju u tara x'jiġri. Tistaqsi negozju li jimpenjaw ruħhom għal dan mingħajr il-kumpannija traċċa tisreġ biex tipprova l-teknoloġija u l-effettività jista 'jkun ftit diffiċli. Grid / kompjuters distribwita hija popolari ħafna hija xi ċrieki u għandha xi applikazzjonijiet kbar (BIONC, SETI @ dar, Folding @ Home, eċċ). I ma, madankollu, issib skala iżgħar u sistema sempliċi bħal din fl-tfittxijiet tiegħi li tista 'tiġi estiża fi ħdan ambjent uffiċċju.

I ħolqot sistema bażikament ħielsa li jużaw l-aktar open source software u għodda disponibbli fi kważi kull uffiċċju. It-teknoloġiji kienu bażikament tidher u turi li jwettaq u jaħdmu kif mistenni. Nisperaw I jkollhom juru li bil-ħidma ma ħafna u bil-setup sempliċi ħafna inti tista 'tuża l-uffiċċju Grid sistema li hija, irħas qawwija, Â u skalabbli kollha fl-istess ħin.

Ladarba sistema tkun qed taħdem hemm kważi ebda għan għall-ammont ta 'customization u titjib inti tista' tagħmel. Għall-istatistika eżempju / benchmarking jistgħu faċilment jiġu miżjuda juru l-valur ta 'tali sistema kuljum. Magni ġodda jistgħu jiġu miżjuda malajr u faċilment kif u meta jaslu ma 'promozzjonijiet għal hardware eżistenti tisħiħ poter ipproċessar tiegħek.

Nispera li inti stajt jgawdu qari dan serje ta 'artikli u l-tak ikel għal riflessjoni fuq tmexxija ta' sistema tal-grilja uffiċċju. Is-soluzzjoni ppreżentati hawnhekk mhux bilfors se taħdem fis-sitwazzjonijiet kollha imma għandhom ikunu adattabbli sabiex jippermettu li tirċievi ipproċessar tad-data tiegħek isir billi tuża soluzzjoni tiegħek.

Jekk jogħġbok tħossok liberu li tibgħatli xi kummenti, korrezzjonijiet, jew titjib u jien ser nagħmlu l-almu tiegħi biex iżommu dan l-artikolu aġġornat biex jaqblu.