Kummenti (2)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 11:59

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Fil -parti 3 ħloqna magna tagħna ipproċessar virtwali u jistabbilixxu magni twieqi li jsiru idle-time.

Tmexxija tal-aħħar kodiċi

Inevitabbilment wara l-ħolqien ħaddiema negozju tiegħek loġika se jinbidlu, bugs se jkun jinstab, il-kodiċi mgħaġġla aktar effiċjenti se jiġu prodotti b'hekk tħalli lill-ħaddiema tiegħek sib madwar ipproċessar tad-data bl-użu kodiċi smelly qodma . Kif mela niżguraw li aħna qed dejjem jużaw l-aħħar verżjoni u l-akbar ta 'skripts ipproċessar tagħna?

Hemm ftit modi faċli ħafna sempliċi nistgħu tagħmel dan, il-trick, madankollu, huwa li tnaqqas l-qawwa ipproċessar u traffiku tan-network biex jinkiseb dan. Tikri tibda bil-eħfef ta 'soluzzjonijiet u titjieb bil-mod matul ftit iterazzjonijiet.

L-ewwel metodu għandu jkun li sempliċiment jgħaqqdu xogħol tagħna ta 'kontroll server (permezz samba, FTP, jew simili) u jiġbdu l-aħħar verżjoni tal-kodiċi. Mhux effiċjenti ħafna, iżda se jagħmlu xogħolhom. Tikri ttejjeb fuq dak xi ftit, kif dwar il-ħolqien iskrittura rsync u l-użu li kull darba minflok? B'mod sussidjarju, liema dwar it-tqegħid iskrittura tagħna ipproċessar aħħar fis sovverżjoni tiċċekkja l-kodiċi inizjalment u mbagħad biss aġġornament kodiċi tagħna fuq kull ġirja ( SVN aġġornament )?

Fl-aħħar nistgħu jispiċċaw bil-iskrittura bash (imsejħa minn cron kull 10 minuti) li tidher sempliċi kemm dan:

  #! / Bin / sh
 jekk ps ax | grep-v grep | grep PHP > / DEV / null
 allura
     eku "Job bħalissa ipproċessar, ħruġ"
 inkella
     eku "Job ma tkunx qed taħdem, tibda issa"
     cd / triq / l / xogħol / kopja
     SVN aġġornament
     PHP yourJobProcessingScript.php
 Fi 

Issa aħna jista 'jkun żgur li ma' kull medda aħna qed definittivament running-kodiċi aktar tard. Aħna qed tiżgura dan billi taġġorna bażi tal-kodiċi tagħna kull darba aħna jwettaq run u t-tnaqqis netwerk tat-traffiku biss minn trasferiment tad-differenzi fajl madwar netwerk tagħna.

Fil setup dimostrazzjoni tiegħi, jien ma eżattament kif hawn fuq. Subversion kien installat fuq server tiegħi proċessar ta 'xogħol u I sempliċiment jinġibed il-kodiċi aħħar minn "ħaddiem" fergħa użu "SVN aġġornament". I miżjuda wkoll tag numru tal-verżjoni l-ipproċessar b'kitba tiegħi li ġiet irritornata fil-database bħala parti mill-qligħ riżultati. Dan il-mod I setgħet tara li l-kodiċi tiegħi kien qed tiġi aġġornata kull darba I kkupjati zokk tiegħi fil-fergħa jiġifieri ħaddiem li kien I definittivament running-iskript ipproċessar aktar tard.

Uża l-aħħar dejta

Jekk l-ipproċessar tax-xogħol tiegħek jagħmel użu ta 'sorsi ta' dejta mbagħad f'xi punt dawn ser ikunu aġġornati wkoll. Sakemm inti sejħa sorsi ta 'data tiegħek fuq bażi frekwenti ħafna int ser għargħar network tiegħek ma' traffiku hekk kif ħaddiema tiegħek tibda taħdem jġibu kollox għal waqfien. Għal soluzzjoni tiegħi I iddeċieda li nixtieq li jiċċaqalqu sorsi tad-data tiegħi madwar VMs tiegħi.

Żomm int żwiemel hemm! X'jiġri jekk sorsi tad-data tiegħi huma enormi? Ukoll dan huwa verament każ ta 'kemm id-data aħna nitkellmu? Jista 'jkun aktar effettiv fl-infiq biex jinstallaw addizzjonali akbar hard drive fis kull magna milli jixtru server addizzjonali ta' pproċessar. Din hija kwistjoni tal-baġit u huwa f'idejn l-kummerċ li jiddeċiedi. Huwa forsi li s-sorsi tad-data tiegħek huma tant kbar li tagħha biss mhux fattibbli biex iżommu dak l-ammont ta 'data fil-magni tal-ħaddiema tiegħek. F'dak il-każ dak li għandek tagħmel? Ukoll nistgħu nħarsu lejn ssejjaħ data server lokali, iżda dan jista 'jikkawża kwistjonijiet mal-netwerk. F'dan il-każ sistema tal-grilja bħal din tista 'ssir realistiku li jinkludu fl-ambjent uffiċċju tiegħek. Jista 'jkun ukoll li inti tista' tħares lejn strateġiji alternattivi running, per eżempju biss sejħa lill-ħaddiema tiegħek 08:00-6:00 kull lejl u / jew it-talbiet throttling data sors.

Nimxu fuq tikri say sorsi tad-data tagħna jammontaw għal 100Gb ta 'data. Well iva dan huwa pjuttost ftit ta 'data li jiċċaqalqu madwar in-netwerk ta' aġġornament. Kif niżguraw li aħna għandna l-aħħar kopja tad-data f'dan il-każ? Rsync possibbiltà, iżda personalment naħseb billi jorganizza aħħar data tiegħek sors fuq server tiegħek proċessar ta 'xogħol u l-istabbiliment dan up bħala kaptan fir-replikazzjoni (bil-log sbieħ bin fit-tul) jista' jkun il-mod biex imorru:

Bl-iffissar kull tal-ħaddiema tiegħek up bħala skjav li l-aġġornamenti ta 'xogħol għal servers ta' kontroll għal sorsi tad-data tiegħek se jaslu s'għand nicely għall-ħaddiema tiegħek mingħajr żieda enormi fl-attività tan-netwerk (jiġifieri sakemm inti twettaq aġġornament tad-data enormi u l-ħaddiema kollha tiegħek jidħlu fis-seħħ f'daqqa). Dan għandu vantaġġi fuq rsync f'dak inti ma tkunx tikseb waqfa twila qabel kull xogħol; bħala l-aġġornamenti tad-database, il- mysql daemon fuq ħaddiem tiegħek kontinwament se jaġġornaw id-dejta tagħha filwaqt li l-ipproċessar tkompli.

Dan huwa kif I stabbilit server dimostrazzjoni tiegħi. Biex titwaqqaf replikazzjoni I segwita l-gwida fuq is-sit mySQL ( Twaqqif replikazzjoni ) u fi żmien 20 minuta kelli ħaddiem inital tiegħi jirreplikaw l-impjieg kontroll servers dataset. Għal kull ħaddiem addizzjonali l-issettjar ta 'replikazzjoni u l-proċess ħadem kull darba meta l-VM kienet kkupjati.

Sommarju

F'din it-taqsima ta 'l-artikolu ħarisna lejn kif faċli u mingħajr tbatija huwa li żżomm kodiċi ta' pproċessar tiegħek aġġornata mill using rsync jew subverion (SVN) biex jagħmlu x-xogħol u jitnaqqas it-traffiku tan-network fl-istess time. Aħna wkoll diskuss kif li jżomm id-data tiegħek sors ta 'informazzjoni aġġornata data billi jippermettilha li jaslu s'għand lil kull wieħed mill-ħaddiema tiegħek. Għalhekk aħna qasam jiżguraw li aħna ilaħħqu mal-loġika tan-negozju u informazzjoni fis-sistema tagħna grid uffiċċju. Hemm ovvjament se jkun alternattivi għadd għal jwettqu dawn il-kompiti, iżda hawnhekk kienu żewġ eżempji sempliċi biex juru kemm hu faċli soluzzjoni hija li ssib.

Li jmiss ħin

Fil-parti finali ta 'din is-serje, adattat issemmiet Parti 5 , aħna ser jiddiskutu iskjerament din is-sistema għall. I ser tqassar dak li kien mitgħallem u dak I rnexxielha toħloq.

Kummenti (1)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 11:23

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Bħala PHP iżviluppatur jien ser jużaw għodod li nuża kull jum jiġifieri, Linux, mySQL , PHP, VirtualBox u sovverżjoni (SVN). Madankollu Nispera li din il-gwida se jadattaw għall-lingwi u teknoloġiji oħra biss ukoll.

Is-soluzzjoni I jipprovdu se jkun ħafna laxk bbażata fuq it-tip ta 'proċessar aħna'd bżonn biex jintlaħqu madankollu dan ma jistax ikun veru permezz tal-artikolu kollu kif ser ibiddlu l-affarijiet għall-sempliċità, jew biex jipproduċu xenarji użu aktar interessanti.

Dawn l-ambjenti virtualised se jimxu fuq il-magni twieqi peress li dan huwa dak li l-maġġoranza ta 'uffiċċji run. L-ipproċessar li l-magni uffiċċju ma għandux jinterferixxi mal-persunal juża dawk il-magni, għandhom jeħtieġu l-ebda manutenzjoni fil-magna, u jkun faċilment skjerati għal magni ġodda hekk kif isiru disponibbli. Ukoll, magni virtwali ġodda ma jkunx jeħtieġ konfigurazzjoni addizzjonali kif dan inaqqas ħafna l-modularità u l-faċilità li biha s-sistema grilja jistax jiġi estiż.

Għaliex Tiskjera 1 Grid Kompjuter Uffiċċju?

L-ewwelnett inti tista 'taħseb, għaliex mhux biss tuża riżorsa sħaba computing bħal pjattaforma Amazon EC2 ? Ukoll ir-raġunijiet tista 'tkun diversi, per eżempju:

• Inti mhux ser tafda ċerti data għal ambjent sħaba computing
• Inti ma tistax tpoġġi ċerta data fis f'ambjent ta 'komputerizzar sħaba għal raġunijiet legali (eż. data li jħallu l-pajjiż), potenzjalment għal raġunijiet legali, eż rekords NHS.
• Inti tixtieq li żżomm unitajiet għall-ipproċessar tiegħek qrib u għandhom kontroll sħiħ fuq il-hardware wisq
• Inti ma għandekx il-fondi tal-proġett biex imexxu każijiet sħaba
• Uffiċċju tiegħek ma jkollux konnessjoni mal-internet u għalhekk mhux possibbli li tuża riżorsa sħaba
• Inti ma bħall-xita, sħab jissuġġerixxu xita, għalhekk inti żżomm lil hinn sew

Jien żgur li l-lista tista 'tkompli, iżda naħseb li l-biżżejjed għal issa.

Vantaġġi ta 'Grid Kompjuter Uffiċċju

Ukoll, tikri jagħmlu xi matematika (u fl-istil fiżika veru tikri tagħmel xi suppożizzjonijiet knis). Immaġina li inti għandek kbir mimli ipproċessar server running 100 impjieg għal kull jum. Fl-uffiċċju tiegħek għandek 50 magni li huma idle 16 siegħa kuljum, kull wieħed minn dawn il-magni hija 10% bħala qawwi qtugħ tiegħek ipproċessar mimli. (Ir-riżultati kollha hawn huma approssimati għall jissottovalutaw jiżdiedu l-prestazzjoni).

Allura, 1 magna * qawwa 10% * 2/3 time = 0.067 jiġifieri l-1 desktop ipproċessar fil-ħin idle setgħu jipproċessaw 6 impjiegi full kuljum.

Jekk inti issa iskala dan up li tieħu 15 desktops idle biex jipproċessaw l-impjiegi kif ħafna kuljum bħala server tiegħek ipproċessar prinċipali ma.

Allura fil-kariga nippretendu tagħna ta '50 magni nistgħu iżidu l-poter ipproċessar tagħna mill-1 server sa 4 servers ipproċessar sħiħ, jew nistgħu jiġu ipproċessar 400 impjieg għal kull jum minflok 100.

Avviż, għall-ebda investiment fil-hardware ġdid kumpanija tiegħek għadu kif żiedet il-kapaċità tagħha ipproċessar tal-lott 4 darbiet! Potenzjalment int ser iżidu l-użu qawwa tiegħek imma minn ambjenti uffiċċju aktar stajt ġiet għal magni huma ġeneralment jitħallew fuq matul il-lejl xorta waħda, sabiex inti tista 'tara dan bħala inizjattiva aħdar.

Vantaġġi oħra jfisser ukoll li l-investiment ġdid (jew aġġornati) servers ipproċessar tista 'tiddewwem jekk magni uffiċċju tiegħek huma biżżejjed u li kif inti itejbu l-enerġija ta' magni uffiċċju tiegħek grilja uffiċċju tiegħek issir aktar qawwija awtomatikament.

Teknoloġiji

Dak li għandek bżonn? (Jew aktar korrett dak li ma I użu):

• Magni Inattiv uffiċċju (fil-każ tiegħi żejda qodma twieqi laptop XP)
• VirtualBox (jew ieħor client software virtwalizzazzjoni)
• Magna virtwali ma PHP, mySQL running tmexxija tnaqqis isfel OS, jien ssejjaħ dawn is-servers limp tiegħi :)
• Impjiegi biex imexxu
• Server Job (jista 'jkun magna oħra virtwali x'imkien)

Impjiegi tipiċi

It-tipi ta 'impjiegi li din is-sistema hija mfassla biex imexxu huwa kif ġej:

• Sistema jirċievi lista ta 'dejta li fuqhom għandna bżonn li jqabbel u rizultati
• Tqabbil jinvolvi l-kontroll / tiftix diversi sorsi (pjuttost statiku) data
• Riżultati minn sorsi ta 'data jistgħu jeħtieġu aktar validazzjoni, li qed jingħaqdu, kontroll ta' sorsi ta 'data addizzjonali b'reazzjoni għal riżultati
• Data huwa rritornat mar-rekords li jaqblu, kompletament validati u pproċessati
• Kull rekord fi impjieg huwa indipendenti mill-bqija

Allura bażikament aħna qed tħares lejn tmexxija impjiegi li jeħtieġu taħlita ta 'reverse database u xi crunching numru, xenarju pjuttost tipika f'ambjent tan-negozju.

Soluzzjonijiet Grid mhux biss huma vantaġġjużi għall-ipproċessar impjiegi ta 'dan it-tip. Bażikament, kull proċess li jista 'jinqasam f'unitajiet indipendenti jistgħu jitmexxew b'mod parallel. Ara dan Wikipedia eżempji u aktar informazzjoni: Kompjuter Grid , iżda ftit eżempji famużi huma SETI @ dar u BIONC . Hemm oqfsa għat-tmexxija grids kompjuters, u dawn huma ukoll jiswew tħares lejn.

X'se nistgħu nilħqu?

Sa l-aħħar ta 'dawn l-artikoli Nittama li juru li bagħtet grid uffiċċju m'għandhomx għalfejn ikunu jikkunsmaw għali wisq jew il-ħin. Jien ser jiddiskuti:

• It-twaqqif sistema ta 'kontroll tax-xogħol, il-konfigurazzjoni xogħol
• Ħolqien ta 'magna li tipproċessa xieraq virtwali
• Kif setup tas-sistema fuq magna twieqi
• L-iżgurar qed tuża l-aħħar kodiċi u d-data
• Użu u benchmarking
• Inħarsu 'l quddiem

I ser tkun bini (ok I mibnija, allura kiteb dan) applikazzjoni eżempju biex jittestjaw il-kunċetti fuq magna lokali tuża twieqi XP u "GridMachine" tiegħi magna virtwali. Server tiegħi kontroll impjiegi se jkunu magna prinċipali tiegħi li runs Fedora 11 .

Dan huwa bl-ebda mod maħsuba biex turi ta 'sistema robusta sħiħ tax-xogħol, tiegħu fisser aktar ta' dimostrazzjoni u tiddiskuti turi li dawn l-affarijiet jista 'jinkiseb fi spazju raġonevolment qasir ta' żmien u bi spejjeż żgħar. Jekk jogħġbok tħossok liberu li tibgħatli xi kummenti, korrezzjonijiet, jew titjib u jien ser nagħmlu l-almu tiegħi biex iżommu dan l-artikolu aġġornat biex jaqblu.

Li jmiss ħin

Fil -parti 2 I se tibda billi tħares lejn sistema ta 'kontroll tax-xogħol, u ħarsa lejn kif l-impjiegi għandhom jiġu kkonfigurati sabiex jinkiseb akbar ammont ta' l-ipproċessar filwaqt li jiżgura li kull biċċa xogħol hija pproċessata mingħajr dubju.

Kummenti (1)

Billi Steven Lloyd Watkin , il-Ġimgħa 4 Diċembru, 2009 11:23

Introduzzjoni

I xogħol fil-kumpanija fejn aħna run impjiegi lott ħafna ipproċessar miljuni ta 'rekords ta' data kull jum u stajt ġiet ħsieb reċentement dwar l-magni li tiltaqa madwar kull jum tagħmel xejn għal bosta sigħat. Mhux se jkun tajjeb jekk nistgħu jużaw dawk il-magni li jsaħħu l-qawwa l-ipproċessar tas-sistemi tagħna? F'dan sett ta 'oġġetti jien ser tħares lejn l-benefiċċji potenzjali għall-impjieg ta' l-uffiċċju grilja użu ambjenti virtualised.

Fil -Parti 1 I taw ħarsa ġenerali tas-sistema u t-teknoloġiji I se tkun qed tuża kif ukoll diskuss wħud mir-raġunijiet potenzjali għala inti tixtieq li joħolqu netwerk uffiċċju.

Kontroll tax-Xogħol

Jekk int ser tkun qed taħdem impjiegi allura int se jeħtieġu xi ftit mod biex imexxuhom. Impjieg kontroll tiegħek sistema (fuq is-server xogħol tiegħek) jeħtieġ li jiġi verament maħsub sew qabel saħansitra jippruvaw imexxu 'grid uffiċċju. Allura l-ewwelnett, liema huma l-kompiti għal sistema ta 'kontroll tax-xogħol:

• Idejn impjiegi fuq talba mill-ħaddiema
• Għid liema tip ta 'ħaddiema impjiegi jiddekorri
• Track-impjiegi
• Tiżgura li l-impjiegi huma biss run darba
• Ipprovdi data xogħol għall-ħaddiema, jew għall-inqas jgħidulhom fejn biex tiksbu

Is-sistema jeħtieġ ukoll li jkun estensibbli, soluzzjoni li taħdem għal issa f'każ wieħed jista 'jiġi estiż biex imexxu diversi tipi ta' impjiegi bħala l-kummerċ jara l-valur f'soluzzjoni grid. Per eżempju, l-impjiegi jistgħu jiksbu prijoritajiet, it-tip tax-xogħol aktar minn jista 'jeżisti (bażijiet jiġifieri kodiċi diversi), eventwalment inti tista' anki run diversi magni differenti ħaddiem li huma ottimizzati għal kull tip ta 'xogħol (għalkemm dan ma jitbiegħed mill-ħaddiem "ġeneriċi ) idea ". Dejjem ipprova li jaħsbu dwar il-futur meta iżvilupp ta 'sistemi, viżjoni għal żmien qasir jistgħu jwasslu għal frustrazzjoni itwal u l-ħin iżvilupp akbar.

Server Job

Aħna ser bżonn x'imkien biex jikkontrollaw l-impjiegi tagħna minn, dan għandu jkun l-unika sistema fil-grid tiegħek li għandu riżorsa locator fiss, tkun dik l-indirizz IP, l-isem ospitanti, ikteb (bl-użu intern DNS), eċċ Dan huwa minħabba il-ħaddiema għandhom bżonn ikunu jafu fejn tfittex għal impjiegi, il-ħaddiema bżonn issib l-sistema ta 'kontroll tax-xogħol (mhux is-sistema ta' kontroll tax-xogħol isibu l-ħaddiema).

Il-server xogħol innifsu ma verament ikollhom kompitu kkumplikata (f'sistema bażika xorta), jeħtieġ li taħżen lista ta 'impjiegi, idejn l-impjiegi, jirċievi r-riżultati, u sussegwentement jaħżinhom għal irkupru aktar tard. Kif dawn il-partijiet ("idejn impjiegi" bħal) huma definiti jistgħu jkunu ħafna bażiku. Aktar tard nistgħu jestendu s-sistema li tinkludi interface amministrazzjoni li jżidu, teditja, iħassru, jissospendu l-impjiegi iżda dan huwa lil hinn minn dan l-eżerċizzju.

M'hemm l-ebda raġuni allura li server xogħol tiegħek ma jista 'jkun magna virtwali tmexxija fi ħdan server tiegħek ipproċessar prinċipali sakemm dan ma drain wisq riżorsi minnha. Il-server xogħol madankollu ma bżonn disponibbiltà għolja, jekk din tmur isfel fuq Ġimgħa filgħaxija int ser jitilfu weekend sħiħ ta 'l-ipproċessar, potenzjalment inti tiswa ftit ġimgħat jiswew ta' ħin għall-ipproċessar (meta mqabbla ma 'prinċipali tiegħek ipproċessar server biss) . Inti tista 'tixtieq li jikkunsidraw tqegħid server xogħol tiegħek dwar ambjent bbilanċjat għall-disponibbiltà għolja.

Bażiku Setup

Il-setup bażiku għall-server xogħol tagħna se tikkonsisti dak li jien sejħa 1 ta 'servers limp tiegħi (jiġifieri Nux Li, m ySql, P HP). Il-kodiċi li jaħdem fuq ħaddiema Thea se attwalment jaħdmu barra dak l-impjiegi tista 'taħdem permezz ta' interazzjoni ma 'xogħol ma' databases tas-sistema ta 'kontroll. Aktar tard nistgħu toħloq servizz web u fil-fatt naħa l-impjiegi aktar milli jkollhom l-ħaddiema jagħmlu x-xogħol iebes infushom, iżda għal issa aħna ser ikomplu jużaw il- prinċipju KISS (Żommha sempliċi, Stupid!).

Allura, tikri joħolqu tliet MySQL tabelli biex jittrattaw l-impjiegi. Dawn se jkunu `impjiegi ',` jobRecords', u `jobResults '.

Hawnhekk jien użu SQL Buddy alternattiva ftit kbir biex phpMyAdmin biss minħabba eħfef tagħha li jinstallaw fuq CentOS (għal oħrajn ara: 10 alternattivi Gran lill phpMyAdmin )

Din it-tabella tal-5 jikkonsisti oqsma sempliċi,

• id: Unikament tidentifika l-impjieg
• Isem: Jista 'jkun referenza klijent, jew kwalunkwe numru ta' identifikaturi oħrajn
• Status: Inti għandek bżonn tkun taf fejn l-impjieg hija, eż
  • 0: Mhux beda
  • 1: Qabad
  • 2: Completed
• started_by: Min bdiet tagħmel l-impjieg? Dan mhux kollox meħtieġ iżda huwa sbieħ li jkollhom. I d jissuġġerixxu ħaddiema traċċar mill-indirizz IP tagħhom fuq network tiegħek
• started_at: Meta ma l-ħaddiem jibda l-impjieg? Minn tracking impjiegi li ma temmewx fl-ammont X ta 'ħin nafu li għandna bżonn li jtellgħu l-impjieg għal darb'oħra u tibda ipproċessar minn ħaddiem. Ħaddiema tista 'twaqqaf l-ipproċessar / tmur offline għal kull numru ta' raġunijiet, nuqqas ta 'enerġija, crash, telf tan-netwerk, eċċ

Huwa faċli kif din it-tabella jista 'jiġi estiż bil-oqsma addizzjonali ftit biex jippermettu għall-istatistika traċċar, kolonna ħin finitura biex tara kemm l-impjieg ħa, kontro biex tara kemm ħaddiema telgħet l-impjieg (ovvjament dan jeħtieġ li t-tendenza li 1), il-prijorità tax-xogħol, il-lista tista 'tmur fuq u fuq. Fil-xenarji ta 'xogħol aktar kumplessi ikun possibbli li wieħed jispeċifika kemm-memorja tal-ħaddiem jeħtieġu aċċess għal (u għalhekk jużaw biss ħaddiema xierqa), jew saħansitra liema tip ta' ħaddiem tkun meħtieġa.

Tikri żid ftit impjiegi eżempju ftit:

It-tabella li jmiss darb'oħra huwa pjuttost faċli biex tifhimhom, dawn huma r-rekords tax-xogħol tagħna. Huma marbuta mal-tabella impjiegi prinċipali permezz ta 'kolonna' jobs_id '. Il-għamla ta 'din it-tabella ħafna jiddependi fuq id-data li għandek bżonn biex jipprovdu lill-ħaddiema tiegħek, tikri jagħmlu eżempju sempliċi ħafna fejn għandna erba' kolonni:

• id: ID tar-rekord
• Isem: Isem Persuna ta
• : Indirizz Persuna ta
• jobs_id: L-ID xogħol li dan ir-rekord huwa marbut ma '

It-tabella 3 u finali magħmul minn tabella riżultati, hija għandha l-istess jagħmlu bħala tabella rekords tagħna, u biż-żieda ta 'xi kolonni tista' tkun parti tat-tabella rekords:

• job_record_id: Link r-riżultat għall-mejda tax-xogħol
• riżultat: Id-data riżultat

... U li kollox għandek bżonn għall-kontroll tax-xogħol! (Għalkemm f'livell bażika ħafna) Fil-każ tiegħi jien osservat għal ieħor tabella fejn id-data tiegħi għall-proċess kien jinsab, iżda dan jista daqstant faċilment ġew fajl, il-parametri biex imexxu kodiċi simulazzjoni, inti isem li bih.

Għażla ta 'xogħol

Kif intqal qabel, il-ħaddiema se jagħmlu ġestjoni xogħol tagħna għalina għal issa, hekk kollha għandna bżonn verament tagħmel huwa isibu impjieg li jeħtieġ l-ipproċessar u jiksbu l-informazzjoni. Kif nagħmlu dan? Ukoll pick kriterji tagħna għażla ta 'xogħol u tfittex għal impjiegi, fil SQL I ma' dan li ġej:

1. Ħu xi impjiegi li m'humiex immarkati bħala komplet iżda mill-ħaddiema tagħna u reset minnhom (sostitut ME__ __ b'identifikatur, eħfef ikun indirizz IP):

     AĠĠORNAMENT `impjiegi` SET `istatus` = 0 fejn `istatus` = 1 U `started_by` = __ ME__; 

2. Użu ta 'kriterji ta' għażla tagħna ta 'xogħol, tagħżel xogħol u tell-sistema ta' kontroll li dan il-ħaddiem qed jinnegozjaw:

     AĠĠORNAMENT `impjiegi` SET `istatus` = 1, `started_by` = __ ME__, 'started_at `= ISSA () FEJN` istatus `= 0 jew
    (`Istatus` = 1 U `started_at`> DATE_SUB (ISSA (), intervall X siegħa)) ORDNI MILL `id ASC`; 

   Billi l-impjiegi ħtif li ma ritornati riżultati fl-ammont X ta 'żmien niżguraw li l-impjiegi kollha huma mmexxija fil-każ ta' ħaddiem jiġġarrfu jew sejrin AWOL.

3. Sussegwentement grab-dettalji impjiegi segwiti mill-rekords nfushom:

     TAGĦŻEL * MILL `impjiegi` FEJN `started_by` = __ ME__ LIMITU 1;
    TAGĦŻEL * MILL `job_records` FEJN `id` = __ JOBID__; 

Mat-tlestija tal-impjieg aħna daħħal rekords riżultat tagħna u mmarka l-impjieg bħala komplet. Ftakar bħala l-impjiegi tista 'tissospendi / jerġa' fi kwalunkwe ħin titħalla ċerta robustezza b'kitba tiegħek. Jista 'jkun li l-kompitu tissospendi nofs triq permezz aġġornament tal-sistema ta' kontroll tax-xogħol, sabiex iċċekkjar tal-numru ta 'rekords fl-impjieg u n-numru ta' riżultati salvati lura lejn sistema ta 'kontroll ix-xogħol ser tkun pass għaqli.

Barra minn hekk, filwaqt li dan juri kif l-impjiegi jistgħu jiġu magħżula u mmexxija minn qafas SQL-mistoqsija inti għandek verament tkun abstracting kontroll xogħol tiegħek hekk li jekk inti tiddeċiedi li jaqilbu għal użu ta 'servizz web, sistema fajl bbażata, XML , jew kull numru ta 'sistemi mhux se jaffettwa l-kodiċi hawn fuq.

Konfigurazzjoni Job

L-aspett li wieħed għandu jikkonsidra huwa daqs xogħol u l-konfigurazzjoni. Permezz playing mal-konfigurazzjoni xogħol nistgħu ssib bilanċ eċċellenti bejn il-veloċità, replikazzjoni proċess, u affidabilità. Ħu xenarji ofa koppja:

1. Impjiegi tieħu 1 jum kull jiddekorri: Dan ifisser li l-ħaddiema tiegħek bżonn 15-il jum biex jipproċessaw kull biċċa xogħol (ftakar 10% tal-enerġija għall 2/3rds tal-ħin). Dan huwa b'mod ċar mhix maħsuba konfigurazzjoni għaqli, id-daqs tax-xogħol tiegħek huwa mod wisq kbir! Hija se tieħu mill-inqas doppju tal-ħin li jsibu xogħol ipproċessat għandu l-ħaddiem inizjali tmur AWOL (żmien li pick up li huwa ma rritornax riżultat flimkien ma 'ħin riproċessar). Fi ideali youd jkollu mill-inqas impjieg full faċilment approvati sal-aħħar ta 'kull perjodu idle twil, il-mod inti żżomm l-impjiegi timmarka fuq u fl-agħar każ xogħol se jieħu jumejn biex il-proċess għandu l-ewwel jisparixxi.
2. Impjiegi jieħu 1 minuta biex imexxu: Dan ifisser li l-ħaddiema tiegħek jieħu madwar 15 minuta biex imexxu kull biċċa xogħol. Filwaqt li dan jista 'jidher fil-bidu ideali, inti jiksbu l-ipproċessar xogħol addizzjonali matul il-ħin ikla, pawżi kafè, laqgħat, eċċ dan ix-xenarju tpoġġi pressjoni fuq oqsma oħra tas-sistema tiegħek u tintroduċi problemi tagħha stess. Per eżempju, l-ewwelnett proporzjon tiegħek ħin setup / ipproċessar huwa se jmorru dritt isfel, għalhekk jitilfu l-effiċjenza tas-sistema. Network tiegħek se tkun kontinwament streaming inkarigati bit-tagħrif lill-persunal ħaddiema varji frustranti li huma dong ġurnata tagħhom għax-xogħol kuljum. Inti wkoll se jagħmlu pressjoni aktar fuq server tiegħek proċessar ta 'xogħol minħabba li għandu dixx lottijiet u lottijiet ta' biċċiet żgħar ta 'xogħol fuq bażi regolari. Fl-aħħar nett, f'din is-sitwazzjoni jekk server xogħol tiegħek jinżel int ser toħloq reġistru lura kbir ta 'xogħol inkompleti billi impjiegi ikbar jista tad kompliet ipproċessar blissfully konxji li s-server xogħol kienet qed tesperjenza diffikultajiet.

Fir-realtà se jkun hemm ebda konfigurazzjoni ideali 1 għall-setup grilja tiegħek, ħafna jiddependi fuq ir-riżorsi disponibbli, tipi ta 'xogħol, rekwiżiti tax-xogħol ħin tibdil, kapaċità tan-netwerk, u l-bqija. Madankollu xi linji gwida tkun:

• Impjiegi Daqs sabiex kull ħaddiem tista 'tikseb permezz inqas impjiegi 3-4 fil-perjodu ta' 15-il siegħa (l-itwal perjodu probabbli ħin wieqaf)
• Play mad-daqs impjieg sabiex dak iż-żmien setup isir pjuttost insinifikanti meta mqabbla mal-ħin għall-ipproċessar (b'kont meħud tal-punt hawn fuq).
• Jekk ix-xogħol ma tkunx kompluta fir-doppju tal-ammont ta 'ħin (forsi inqas) inti tistenna li jitlesta jassumi li AWOL tagħha marret u tibda l-ipproċessar ma ħaddiem ieħor. Dan ifisser li inti jista 'jkollok tistenna sa tliet darbiet it-tul normali ta' xogħol għal li jlesti (possibilment itwal jekk l-impjieg sussegwenti jonqos). Inti tista 'tixtieq li tnaqqas dan iż-żmien, imma jkun attent li ma jitnaqqas wisq kif inti tista' tibda tidduplika kompiti ipproċessar fuq bażi regolari.
• Impjiegi għandhom ikunu indipendenti ta 'rekwiżiti barra kemm jista' jkun. Il-server xogħol, per eżempju, għandhom biss jiġu kkuntattjati fil-bidu u tmiem ta 'kull impjieg.
• Ma saturat network tiegħek, dan se jkollu żewġ effetti negattivi, il-persunal bi nhar tiegħek se ssib użu ta 'network frustranti u l-problemi jistgħu jiġu esperjenzati bil-konnessjonijiet timing out problema li se jkomplu jsiru biss agħar kif inti iskala grilja tiegħek.
• Jiżguraw l-impjiegi tista 'taħdem fuq il-ħaddiema tiegħek. Jekk l-impjiegi sar wisq memorja impjiegi intensivi jew disk ispazju intensiv se tibda jabortja u l-unika ħaġa tkun taf Avviż huwa tnaqqis fin-numru ta 'impjiegi ipproċessati bl-ebda raġuni vera għaliex.

Riżultati Sottomissjoni ta 'Job

Meta jissottomettu r-riżultati ta 'impjieg huwa importanti ħafna li tivverifika li r-riżultati ma ġewx sottomessi minn xi ħaddiem, speċjalment jekk il-ħaddiem attwali kien rieqed għal xi żmien.

Meta r-riżultati jiġu ppreżentati jiżgura li n-numru ta 'riżultati jaqbel man-numru ta' rekords fi ħdan l-impjieg.

Kif intqal qabel, u ma tistax tkun enfasizzata, jibnu tolleranza ta 'difetti fis-irkupru xogħol u r-riżultati sottomissjoni. Il-ħaddiema jistgħu (u probabbilment se) tispeċifika l-mod tissospendi l-aktar inkonvenjenti ta 'drabi u dan jeħtieġ li jiġu provduti. Ukoll għal darb'oħra abstracting bogħod riżultati sottomissjoni tiegħek se jgħin jilqgħu għall-bidliet futuri xogħol kontroll tiegħek sistema ħafna aktar faċli biex jittrattaw.

Sommarju

F'dan section ħarisna lejn dak server kontroll xogħol teħtieġ li tagħmel u kif tikseb sistema bażika ħafna stabbilit. Iddiskutejna kif tkun irkuprata xogħol mis-sistema ta 'kontroll u kif l-aħjar biex jiġi kkonfigurat l-impjiegi biex jiksbu l-aktar tagħna ta' sistema tiegħek grilja uffiċċju. Biex jintemm, il-paragrafu jew tnejn fuq sottomessi riżultati lura lis-server kontroll impjieg kien ippreżentat.

• A server kontroll xogħol tamministra l-impjiegi u jiżgura li l-unitajiet tax-xogħol huma kompletati
• Billi abstracting xogħol tiegħek tagħżel / riżultati sottomissjoni nistgħu nbiddlu l-teknoloġija tas-server kontroll mingħajr problemi ħafna
• Kkonfigurat l-impjiegi tiegħek biex tiżgura li dawn huma mmexxija malajr u b'mod effiċjenti mingħajr tqegħid wisq pressjoni fuq l-infrastruttura tan-netwerk tiegħek, u mingħajr ma jiddupplikaw kompiti ipproċessar fuq bażi regolari.
• Jiżguraw li inti tibni tolleranza ta 'difetti u checking żball fis rutini tiegħek, il-ħaddiema tista' tissospendi u terġa 'tibda u l-aktar inkonvenjenti ta' drabi. Ftakar li tikkontrolla jekk ir-riżultati jkunu diġà ġew sottomessi minn ħaddiem ieħor.

Li jmiss ħin

Fil -parti 3 aħna ser joħolqu magna tagħna ipproċessar virtwali u twaqqaf magni twieqi tagħna biex issir idle-time.