Kummenti (2)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 11:59

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Fil -parti 3 ħloqna magna tagħna ipproċessar virtwali u jistabbilixxu magni twieqi li jsiru idle-time.

Tmexxija tal-aħħar kodiċi

Inevitabbilment wara l-ħolqien ħaddiema negozju tiegħek loġika se jinbidlu, bugs se jkun jinstab, il-kodiċi mgħaġġla aktar effiċjenti se jiġu prodotti b'hekk tħalli lill-ħaddiema tiegħek sib madwar ipproċessar tad-data bl-użu kodiċi smelly qodma . Kif mela niżguraw li aħna qed dejjem jużaw l-aħħar verżjoni u l-akbar ta 'skripts ipproċessar tagħna?

Hemm ftit modi faċli ħafna sempliċi nistgħu tagħmel dan, il-trick, madankollu, huwa li tnaqqas l-qawwa ipproċessar u traffiku tan-network biex jinkiseb dan. Tikri tibda bil-eħfef ta 'soluzzjonijiet u titjieb bil-mod matul ftit iterazzjonijiet.

L-ewwel metodu għandu jkun li sempliċiment jgħaqqdu xogħol tagħna ta 'kontroll server (permezz samba, FTP, jew simili) u jiġbdu l-aħħar verżjoni tal-kodiċi. Mhux effiċjenti ħafna, iżda se jagħmlu xogħolhom. Tikri ttejjeb fuq dak xi ftit, kif dwar il-ħolqien iskrittura rsync u l-użu li kull darba minflok? B'mod sussidjarju, liema dwar it-tqegħid iskrittura tagħna ipproċessar aħħar fis sovverżjoni tiċċekkja l-kodiċi inizjalment u mbagħad biss aġġornament kodiċi tagħna fuq kull ġirja ( SVN aġġornament )?

Fl-aħħar nistgħu jispiċċaw bil-iskrittura bash (imsejħa minn cron kull 10 minuti) li tidher sempliċi kemm dan:

  #! / Bin / sh
 jekk ps ax | grep-v grep | grep PHP > / DEV / null
 allura
     eku "Job bħalissa ipproċessar, ħruġ"
 inkella
     eku "Job ma tkunx qed taħdem, tibda issa"
     cd / triq / l / xogħol / kopja
     SVN aġġornament
     PHP yourJobProcessingScript.php
 Fi 

Issa aħna jista 'jkun żgur li ma' kull medda aħna qed definittivament running-kodiċi aktar tard. Aħna qed tiżgura dan billi taġġorna bażi tal-kodiċi tagħna kull darba aħna jwettaq run u t-tnaqqis netwerk tat-traffiku biss minn trasferiment tad-differenzi fajl madwar netwerk tagħna.

Fil setup dimostrazzjoni tiegħi, jien ma eżattament kif hawn fuq. Subversion kien installat fuq server tiegħi proċessar ta 'xogħol u I sempliċiment jinġibed il-kodiċi aħħar minn "ħaddiem" fergħa użu "SVN aġġornament". I miżjuda wkoll tag numru tal-verżjoni l-ipproċessar b'kitba tiegħi li ġiet irritornata fil-database bħala parti mill-qligħ riżultati. Dan il-mod I setgħet tara li l-kodiċi tiegħi kien qed tiġi aġġornata kull darba I kkupjati zokk tiegħi fil-fergħa jiġifieri ħaddiem li kien I definittivament running-iskript ipproċessar aktar tard.

Uża l-aħħar dejta

Jekk l-ipproċessar tax-xogħol tiegħek jagħmel użu ta 'sorsi ta' dejta mbagħad f'xi punt dawn ser ikunu aġġornati wkoll. Sakemm inti sejħa sorsi ta 'data tiegħek fuq bażi frekwenti ħafna int ser għargħar network tiegħek ma' traffiku hekk kif ħaddiema tiegħek tibda taħdem jġibu kollox għal waqfien. Għal soluzzjoni tiegħi I iddeċieda li nixtieq li jiċċaqalqu sorsi tad-data tiegħi madwar VMs tiegħi.

Żomm int żwiemel hemm! X'jiġri jekk sorsi tad-data tiegħi huma enormi? Ukoll dan huwa verament każ ta 'kemm id-data aħna nitkellmu? Jista 'jkun aktar effettiv fl-infiq biex jinstallaw addizzjonali akbar hard drive fis kull magna milli jixtru server addizzjonali ta' pproċessar. Din hija kwistjoni tal-baġit u huwa f'idejn l-kummerċ li jiddeċiedi. Huwa forsi li s-sorsi tad-data tiegħek huma tant kbar li tagħha biss mhux fattibbli biex iżommu dak l-ammont ta 'data fil-magni tal-ħaddiema tiegħek. F'dak il-każ dak li għandek tagħmel? Ukoll nistgħu nħarsu lejn ssejjaħ data server lokali, iżda dan jista 'jikkawża kwistjonijiet mal-netwerk. F'dan il-każ sistema tal-grilja bħal din tista 'ssir realistiku li jinkludu fl-ambjent uffiċċju tiegħek. Jista 'jkun ukoll li inti tista' tħares lejn strateġiji alternattivi running, per eżempju biss sejħa lill-ħaddiema tiegħek 08:00-6:00 kull lejl u / jew it-talbiet throttling data sors.

Nimxu fuq tikri say sorsi tad-data tagħna jammontaw għal 100Gb ta 'data. Well iva dan huwa pjuttost ftit ta 'data li jiċċaqalqu madwar in-netwerk ta' aġġornament. Kif niżguraw li aħna għandna l-aħħar kopja tad-data f'dan il-każ? Rsync possibbiltà, iżda personalment naħseb billi jorganizza aħħar data tiegħek sors fuq server tiegħek proċessar ta 'xogħol u l-istabbiliment dan up bħala kaptan fir-replikazzjoni (bil-log sbieħ bin fit-tul) jista' jkun il-mod biex imorru:

Bl-iffissar kull tal-ħaddiema tiegħek up bħala skjav li l-aġġornamenti ta 'xogħol għal servers ta' kontroll għal sorsi tad-data tiegħek se jaslu s'għand nicely għall-ħaddiema tiegħek mingħajr żieda enormi fl-attività tan-netwerk (jiġifieri sakemm inti twettaq aġġornament tad-data enormi u l-ħaddiema kollha tiegħek jidħlu fis-seħħ f'daqqa). Dan għandu vantaġġi fuq rsync f'dak inti ma tkunx tikseb waqfa twila qabel kull xogħol; bħala l-aġġornamenti tad-database, il- mysql daemon fuq ħaddiem tiegħek kontinwament se jaġġornaw id-dejta tagħha filwaqt li l-ipproċessar tkompli.

Dan huwa kif I stabbilit server dimostrazzjoni tiegħi. Biex titwaqqaf replikazzjoni I segwita l-gwida fuq is-sit mySQL ( Twaqqif replikazzjoni ) u fi żmien 20 minuta kelli ħaddiem inital tiegħi jirreplikaw l-impjieg kontroll servers dataset. Għal kull ħaddiem addizzjonali l-issettjar ta 'replikazzjoni u l-proċess ħadem kull darba meta l-VM kienet kkupjati.

Sommarju

F'din it-taqsima ta 'l-artikolu ħarisna lejn kif faċli u mingħajr tbatija huwa li żżomm kodiċi ta' pproċessar tiegħek aġġornata mill using rsync jew subverion (SVN) biex jagħmlu x-xogħol u jitnaqqas it-traffiku tan-network fl-istess time. Aħna wkoll diskuss kif li jżomm id-data tiegħek sors ta 'informazzjoni aġġornata data billi jippermettilha li jaslu s'għand lil kull wieħed mill-ħaddiema tiegħek. Għalhekk aħna qasam jiżguraw li aħna ilaħħqu mal-loġika tan-negozju u informazzjoni fis-sistema tagħna grid uffiċċju. Hemm ovvjament se jkun alternattivi għadd għal jwettqu dawn il-kompiti, iżda hawnhekk kienu żewġ eżempji sempliċi biex juru kemm hu faċli soluzzjoni hija li ssib.

Li jmiss ħin

Fil-parti finali ta 'din is-serje, adattat issemmiet Parti 5 , aħna ser jiddiskutu iskjerament din is-sistema għall. I ser tqassar dak li kien mitgħallem u dak I rnexxielha toħloq.