Kummenti (2)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 11:59

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Fil -parti 3 ħloqna magna tagħna ipproċessar virtwali u jistabbilixxu magni twieqi li jsiru idle-time.

Tmexxija tal-aħħar kodiċi

Inevitabbilment wara l-ħolqien ħaddiema negozju tiegħek loġika se jinbidlu, bugs se jkun jinstab, il-kodiċi mgħaġġla aktar effiċjenti se jiġu prodotti b'hekk tħalli lill-ħaddiema tiegħek sib madwar ipproċessar tad-data bl-użu kodiċi smelly qodma . Kif mela niżguraw li aħna qed dejjem jużaw l-aħħar verżjoni u l-akbar ta 'skripts ipproċessar tagħna?

Hemm ftit modi ħafna faċli sempliċi nistgħu tagħmel dan, il-trick, madankollu, huwa li tnaqqas l-qawwa ipproċessar u traffiku tan-network biex jinkiseb dan. Tikri tibda bil-eħfef ta 'soluzzjonijiet u titjieb bil-mod matul ftit iterazzjonijiet.

L-ewwel metodu għandu jkun li sempliċiment jgħaqqdu xogħol tagħna ta 'kontroll server (permezz samba, FTP, jew simili) u jiġbdu l-aħħar verżjoni tal-kodiċi. Mhux effiċjenti ħafna, iżda se jagħmlu xogħolhom. Tikri ttejjeb fuq dak xi ftit, kif dwar il-ħolqien iskrittura rsync u l-użu li kull darba minflok? B'mod sussidjarju, liema dwar it-tqegħid iskrittura tagħna ipproċessar aħħar fis sovverżjoni tiċċekkja l-kodiċi inizjalment u mbagħad biss aġġornament kodiċi tagħna fuq kull ġirja ( SVN aġġornament )?

Fl-aħħar nistgħu jispiċċaw bil-iskrittura bash (imsejħa minn cron kull 10 minuti) li tidher sempliċi kemm dan:

  #! / Bin / sh
 jekk ps ax | grep-v grep | grep PHP > / DEV / null
 allura
     eku "Job bħalissa ipproċessar, ħruġ"
 inkella
     eku "Job ma tkunx qed taħdem, tibda issa"
     cd / triq / l / xogħol / kopja
     SVN aġġornament
     PHP yourJobProcessingScript.php
 Fi 

Issa aħna jista 'jkun żgur li ma' kull medda aħna qed definittivament running-kodiċi aktar tard. Aħna qed tiżgura dan billi taġġorna bażi tal-kodiċi tagħna kull darba aħna jwettaq run u t-tnaqqis netwerk tat-traffiku biss minn trasferiment tad-differenzi fajl madwar netwerk tagħna.

Fil setup dimostrazzjoni tiegħi, jien ma eżattament kif hawn fuq. Subversion kien installat fuq server tiegħi proċessar ta 'xogħol u I sempliċiment jinġibed il-kodiċi aħħar minn "ħaddiem" fergħa użu "SVN aġġornament". I miżjuda wkoll tag numru tal-verżjoni l-ipproċessar b'kitba tiegħi li ġiet irritornata fil-database bħala parti mill-qligħ riżultati. Dan il-mod I setgħet tara li l-kodiċi tiegħi kien qed tiġi aġġornata kull darba I kkupjati zokk tiegħi fil-fergħa jiġifieri ħaddiem li kien I definittivament running-iskript ipproċessar aktar tard.

Uża l-aħħar dejta

Jekk l-ipproċessar tax-xogħol tiegħek jagħmel użu ta 'sorsi ta' dejta mbagħad f'xi punt dawn ser ikunu aġġornati wkoll. Sakemm inti sejħa sorsi ta 'data tiegħek fuq bażi frekwenti ħafna int ser għargħar network tiegħek ma' traffiku hekk kif ħaddiema tiegħek tibda taħdem jġibu kollox għal waqfien. Għal soluzzjoni tiegħi I iddeċieda li nixtieq li jiċċaqalqu sorsi tad-data tiegħi madwar VMs tiegħi.

Żomm int żwiemel hemm! X'jiġri jekk sorsi tad-data tiegħi huma enormi? Ukoll dan huwa verament każ ta 'kemm id-data aħna nitkellmu? Jista 'jkun aktar effettiv fl-infiq biex jinstallaw addizzjonali akbar hard drive fis kull magna milli jixtru server addizzjonali ta' pproċessar. Din hija kwistjoni tal-baġit u huwa f'idejn l-kummerċ li jiddeċiedi. Huwa forsi li s-sorsi tad-data tiegħek huma tant kbar li tagħha biss mhux fattibbli biex iżommu dak l-ammont ta 'data fil-magni tal-ħaddiema tiegħek. F'dak il-każ dak li għandek tagħmel? Ukoll nistgħu nħarsu lejn ssejjaħ data server lokali, iżda dan jista 'jikkawża kwistjonijiet mal-netwerk. F'dan il-każ sistema tal-grilja bħal din tista 'ssir realistiku li jinkludu fl-ambjent uffiċċju tiegħek. Jista 'jkun ukoll li inti tista' tħares lejn strateġiji alternattivi running, per eżempju biss sejħa lill-ħaddiema tiegħek 08:00-6:00 kull lejl u / jew it-talbiet throttling data sors.

Nimxu fuq tikri say sorsi tad-data tagħna jammontaw għal 100Gb ta 'data. Well iva dan huwa pjuttost ftit ta 'data li jiċċaqalqu madwar in-netwerk ta' aġġornament. Kif niżguraw li aħna għandna l-aħħar kopja tad-data f'dan il-każ? Rsync possibbiltà, iżda personalment naħseb billi jorganizza aħħar data tiegħek sors fuq server tiegħek proċessar ta 'xogħol u l-istabbiliment dan up bħala kaptan fir-replikazzjoni (bil-log sbieħ bin fit-tul) jista' jkun il-mod biex imorru:

Bl-iffissar kull tal-ħaddiema tiegħek up bħala skjav li l-aġġornamenti ta 'xogħol għal servers ta' kontroll għal sorsi tad-data tiegħek se jaslu s'għand nicely għall-ħaddiema tiegħek mingħajr żieda enormi fl-attività tan-netwerk (jiġifieri sakemm inti twettaq aġġornament tad-data enormi u l-ħaddiema kollha tiegħek jidħlu fis-seħħ f'daqqa). Dan għandu vantaġġi fuq rsync f'dak inti ma tkunx tikseb waqfa twila qabel kull xogħol; bħala l-aġġornamenti tad-database, il- mysql daemon fuq ħaddiem tiegħek kontinwament se jaġġornaw id-dejta tagħha filwaqt li l-ipproċessar tkompli.

Dan huwa kif I stabbilit server dimostrazzjoni tiegħi. Biex titwaqqaf replikazzjoni I segwita l-gwida fuq is-sit mySQL ( Twaqqif replikazzjoni ) u fi żmien 20 minuta kelli ħaddiem inital tiegħi jirreplikaw l-impjieg kontroll servers dataset. Għal kull ħaddiem addizzjonali l-issettjar ta 'replikazzjoni u l-proċess ħadem kull darba meta l-VM kienet kkupjati.

Sommarju

F'din it-taqsima ta 'l-artikolu ħarisna lejn kif faċli u mingħajr tbatija huwa li żżomm kodiċi ta' pproċessar tiegħek aġġornata mill using rsync jew subverion (SVN) biex jagħmlu x-xogħol u jitnaqqas it-traffiku tan-network fl-istess time. Aħna wkoll diskuss kif li jżomm id-data tiegħek sors ta 'informazzjoni aġġornata data billi jippermettilha li jaslu s'għand lil kull wieħed mill-ħaddiema tiegħek. Għalhekk aħna qasam jiżguraw li aħna ilaħħqu mal-loġika tan-negozju u informazzjoni fis-sistema tagħna grid uffiċċju. Hemm ovvjament se jkun alternattivi għadd lill jwettqu dawn il-kompiti, iżda hawnhekk kienu żewġ eżempji sempliċi biex juru kemm hu faċli soluzzjoni hija li ssib.

Li jmiss ħin

Fil-parti finali ta 'din is-serje, adattat issemmiet Parti 5 , aħna ser jiddiskutu iskjerament din is-sistema għall. I ser tqassar dak li kien mitgħallem u dak I rnexxielha toħloq.

Kummenti (3)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 11:03

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Fil -Parti 4 ħarisna lejn użu ta 'għodod biex jiżguraw li aħna qed taħdem l-aħħar verżjoni ta' l-għejun tal-kodiċi u d-data sabiex ir-riżultati miksuba huma dejjem up-to-date ma 'l-informazzjoni kummerċjali u l-aħħar loġika.

Qabel l-Użu

Qabel iskjerament sistema tal-grilja tiegħek jekk hemm ħaġa waħda li inti u ħaġa waħda biss huwa benchmark sistema attwali tiegħek! Ma jimpurtax f'liema inti tgħid kollegi dwar kemm xogħol żejjed sistema tiegħek se tagħmel sakemm ikollok numri li jappoġġjaw dan garanziji tiegħek huma xejn. Allura,

• kemm-rekords tista 'tipproċessa bħalissa? Per Jum? Per Hour?
• Kemm idum ma jieħdu biex tipikament jdur xogħol?
• Kemm aktar kapaċità għandek?

Hemm ukoll mistoqsijiet addizzjonali:

• Jekk l-ipproċessar server tiegħek (jew waħda ta 'servers ta' proċessar tiegħek) jinżel kif dan se jaffettwa l-kapaċitajiet tiegħek, inti se tkun crippled?
• Liema vantaġġi inti tama / jistennew li jiksbu minn sistema tal-grilja?
• Huma magni uffiċċju tiegħek kapaċi taħdem l-impjiegi?
• Qed tiegħek (jew jista inti impjiegi jiġu konvertiti) għal wrok dan l-istil ta 'tmexxija?

Il-punt ewlieni aħħar huwa li tieħu ħin tiegħek dwar kull bidla maġġuri bħal dan. Aġġornament kodiċi ta 'pproċessar tiegħek biex jaħdmu bl-użu tal-metodoloġija, jimmarkaw mill-ġdid. Possibilment jitwaqqaf server ipproċessar tiegħek biex imexxu 'magna virtwali, wara kollox server ipproċessar tiegħek se jkun biss ħaddiem ieħor (biss waħda qawwija ħafna relattivament). Ħalli l-proċess il-ġdid li jsolvi.

Użu

Suġġeriment tiegħi jkun li pop fis-uffiċċju wieħed weekend jwettqu l-installazzjonijiet u s-setup. Tagħmel dan eżatt qabel btala kull hmistax u leave hekk oħra foqra xedaq biex jittrattaw il-konsegwenzi ... forsi mhux ...

Użu għal sistema bħal din jeħtieġ li jkun bil-mod. Minkejja li relattivament sempliċi li jitwaqqaf din is-sistema se jaffettwa kollu uffiċċju tiegħek infrastruttura (ukoll il-wieħed diġitali). L-ewwelnett, ir-roll out għal ftit ta 'magni fi żmien, netwerk monitor traffiku, kif l-ospiti ħaddiem iwettaq fuq bażi jum għal jum. Jista 'jkollok bżonn tibdel konfigurazzjoni xogħol tiegħek bi tweġiba għas-sejbiet tiegħek.

Ladarba s-sistema tkun stabbilita bil-magni ftit (tikri say 10% tal-magni uffiċċju, jiġifieri 5) iżommu netwerk ta 'monitoraġġ tat-traffiku u l-magna ospitanti performance. benchmark jmiss darb'oħra, inti issa għandu jiġi ipproċessar impjiegi 33% aktar minn punti ta' referenza tiegħek l-ewwel. Iċċekkja dan ikun hekk, jew li int mill-inqas f'dan ballpark. Jekk le, tinvestiga dak li qed jiġri qabel immorru jaħdmu. Irrepeti dan iċ-ċiklu sakemm inti kuntenti li l-magni kollha uffiċċju running mingħajr qtil prestazzjoni magna individwali jew tħin network tiegħek għal waqfien.

Fil-ħinijiet kollha iżommu benchmarking, anke wara li l-implimentazzjonijiet huma magħmula. Iċċekkja kif aġġornamenti ġodda tal-kodiċi jaffettwax il-veloċità tas-sistema tiegħek, iċċekkja l-ħaddiema kollha huma rappurtar u l-ipproċessar l-impjiegi. Bil-mod (bil-mod ħafna) inkrement konfigurazzjoni xogħol tiegħek biex jiksbu l-aħjar mill-ħaddiema tiegħek u netwerk.

Stop!

X'jiġri jekk inti tixtieq li twaqqaf lill-ħaddiema tiegħek milli titħaddem f'xi żmien? Dawn huma kollha hemmhekk running, jirriġenera, u jippruvaw aħjar tagħhom biex jipproċessa data bħal insetti bil-ġuħ. It-tweġiba ovvja iżda l-valur tiegħu jżid biss fil-każ injorati tagħha. Sempliċement jeditjaw b'kitba tiegħek ipproċessar bi ħruġ (0) jew die () jew xi dikjarazzjoni oħra li joqtlu xogħol ipproċessar tiegħek. Raġuni importanti għaliex aħna dejjem jippruvaw jaġġornaw l-iskrittura ipproċessar aktar tard qabel kwalunkwe run!

Sistema Dimostrazzjoni

Sabiex jiktbu dan is-sett ta 'artikli qosra I maħluqa grid żgħir ħafna biex juru t-teknoloġiji u metodoloġiji. Naqra lottijiet ta 'artikoli, tutorials, u użati għodod varji biex setup u jimmonitorjaw dak li kien għaddej. Bl-ebda mod jiena intfiet u saturati uffiċċju kollu mat-traffiku u lanqas ma kelli aċċess għal regolari membri tal-persunal PC biex tara kif il-prestazzjoni ospitanti kien affettwat.

Sistema ta 'dimostrazzjoni tiegħi kien umli ħafna tabilħaqq. I użati desktop regolari tiegħi jistabbilixxu bħala server kontroll impjieg. Fuq din I kien installat mySQL server installati stabbilit bħala kaptan fir-replikazzjoni, PHP , Â u SVN marbuta permezz apache (għal aċċess permezz VM ħaddiem).

I imbagħad ħoloq magna ħaddiem CentOS fuq VirtualBox fuq 6 snin laptop XP qodma twieqi. I setup kompiti skedati kif speċifikat wara jikkopja l VM fuq il-magna u ħallieh għaddej.

Il-magna virtwali ġiet imwaqqfa bl PHP, sovverżjoni, u mySQL. I ċċekkjati fergħa jismu 'ħaddiem mill-impjieg tiegħi servers kontroll repożitorju u għamel żgur tista' tkun aġġornata permezz ta '' SVN aġġornament ". Li jmiss I setup mySQL bħala skjav u kkontrollati li d-data kienet jirreplikaw minn mySQL fuq is-server kontroll xogħol sa l-VM ħaddiem. Wara kollox dan I setup l-iskrittura bash u l-impjieg cron.

Iskrittura ipproċessar tiegħi bażikament marru fuq il-linji ta 'dan (Jittieħed sempliċi ħafna):

• Moqrija fil-qasam isem
• Magħduda l-għadd ta 'ismijiet simili fit-tabella mis-sors tad-data miżmuma fuq il-VM
• Magħduda l-għadd ta 'ismijiet bħal hawn fuq iżda qsim l-isem mill-ispazji (jiġifieri isem, tan-nofs, il-kunjom)
• Ripetuta dan il-proċess 1,000 darba

Kull xogħol ħa madwar 20 minuta jiddekorri. F'punt wieħed I jinfetħu diversi kopji ta 'l-VM ħaddiem fuq il-laptop twieqi u jaraw l-impjiegi jiġu ċċekkjati off billi kull wieħed mill-indirizzi IP ħaddiem. Fuq dan il-punt I kkonfermat ukoll li r-replikazzjoni awtomatikament jerġa 'jinbeda.

Jħallu l-laptop għal idle irriżulta ħaddiem jibdew proċess impjiegi mis-server kontroll impjieg. Meta terġa 'tibda l-użu laptop kien hemm dewmien ta' madwar 30-60 sekonda, dan huwa ammont ġust ta 'żmien u l-persunal jeħtieġ li jkunu konxji li l-apparat tagħhom jistgħu nieqaf għal ħin qasir meta jirritornaw lejn il-magna. Magni Godda ma jistax ikollhom pawża ta 'dan twil. Il-benefiċċju ta 'l-ammont ta' ipproċessar imwettqa minn dawn il-magni matul perjodi fl-idling se aktar li huma akbar membri tal-persunal li jistenna perjodu qasir (jiġifieri 1 minuta) fuq jaslu magni tagħhom ta 'filgħodu (I spiss jistennew aktar li dan għal Konvenuta Windows taġġorna li jseħħ) sakemm saru konxji ta 'dan (ħin utli biex grab kafè dalgħodu!).

Globalment I jħossuhom kunfidenti li I wrew it-teknoloġiji li jistgħu jintużaw biex joħolqu sistema bħal din. I wrew li din is-sistema taħdem fuq skala (ħafna) żgħar u bi ftit aktar jesperimentaw jista 'jiġi jitkabbru tutilizza r-riżorsi ta' magni 1 uffiċċju ta. Jekk jien ma jasal sal-punt li jagħmlu dan Inkun ħafna interessati li jkunu jafu / tara meta xi ħadd ieħor ma.

Konklużjonijiet / evalwazzjoni

Il-pass ovvju li jmiss ikun li fil-fatt tikseb eżempju dinja reali u jibdew jagħmlu użu minn sistema bħal din fi ħdan ambjent uffiċċju u tara x'jiġri. Tistaqsi negozju li jimpenjaw ruħhom għal dan mingħajr il-kumpannija traċċa tisreġ biex tipprova l-teknoloġija u l-effettività jista 'jkun ftit diffiċli. Grid / kompjuters distribwita hija popolari ħafna hija xi ċrieki u għandha xi applikazzjonijiet kbar (BIONC, SETI @ dar, Folding @ Home, eċċ). I ma, madankollu, issib skala iżgħar u sistema sempliċi bħal din fl-tfittxijiet tiegħi li tista 'tiġi estiża fi ħdan ambjent uffiċċju.

I ħolqot sistema bażikament ħielsa li jużaw l-aktar open source software u għodda disponibbli fi kważi kull uffiċċju. It-teknoloġiji kienu bażikament tidher u turi li jwettaq u jaħdmu kif mistenni. Nisperaw I jkollhom juru li bil-ħidma ma ħafna u bil-setup sempliċi ħafna inti tista 'tuża l-uffiċċju Grid sistema li hija, irħas qawwija, Â u skalabbli kollha fl-istess ħin.

Ladarba sistema tkun qed taħdem hemm kważi ebda għan għall-ammont ta 'customization u titjib inti tista' tagħmel. Għall-istatistika eżempju / benchmarking jistgħu faċilment jiġu miżjuda juru l-valur ta 'tali sistema kuljum. Magni ġodda jistgħu jiġu miżjuda malajr u faċilment kif u meta jaslu ma 'promozzjonijiet għal hardware eżistenti tisħiħ poter ipproċessar tiegħek.

Nispera li inti stajt jgawdu qari dan serje ta 'artikli u l-tak ikel għal riflessjoni fuq tmexxija ta' sistema tal-grilja uffiċċju. Is-soluzzjoni ppreżentati hawnhekk mhux bilfors se taħdem fis-sitwazzjonijiet kollha imma għandhom ikunu adattabbli sabiex jippermettu li tirċievi ipproċessar tad-data tiegħek isir billi tuża soluzzjoni tiegħek.

Jekk jogħġbok tħossok liberu li tibgħatli xi kummenti, korrezzjonijiet, jew titjib u jien ser nagħmlu l-almu tiegħi biex iżommu dan l-artikolu aġġornat biex jaqblu.