Evilprofessor.co.uk »rrjetit

Posts tagged: rrjeti

Grid Computing Zyra e ambiente duke përdorur Virtual - Pjesa 4

Nga Steven Lloyd Watkin , e premte 4 Dhjetor 2009 23:59

Hyrje

Unë punoj në një kompani ku kemi drejtuar shumë punë grumbull përpunimit miliona e të dhënave e të dhënave çdo ditë dhe unë kam qenë duke menduar kohët e fundit për të gjitha makinat që ulen çdo ditë duke bërë asgjë për disa orë. A nuk do të jetë mirë në qoftë se ne mund të përdorni këto makina për të forcuar pushtetin e përpunimit të sistemeve tona? Në këtë grup të neneve Unë do të shikojmë në përfitimet potenciale të punësuar një zyrë rrjet duke përdorur mjedise virtualised.

Në pjesën 3 ne krijuar virtuale makinë tona të përpunimit dhe të ngritur dritaret e makinave të bëhen boshe në kohë punëtorë.

Drejtimin kodin fundit

Në mënyrë të pashmangshme, pas krijimit të punëtorëve logjikën e biznesit tuaj do të ndryshojë, bugs do të gjendet, kodi më të shpejtë më efikase do të prodhohet duke lënë punëtorët tuaj të ulur rreth përpunimit të të dhënave duke përdorur kodin e vjetër erë të keq . Si atëherë nuk kemi të siguruar që ne jemi gjithmonë duke përdorur versionin më të fundit dhe më të mëdha të përpunimit Scripts tona?

Ka disa mënyra shumë e lehtë të thjeshta që ne mund të bëjmë këtë, mashtrim, megjithatë, është për të reduktuar fuqinë përpunuese dhe trafikut të rrjetit në arritjen e kësaj. Lejon të fillojë me thjeshte e zgjidhjeve dhe për të përmirësuar atë ngadalë gjatë disa iterations.

Metoda e parë do të ishte thjesht lidheni me serverin kontrollit tonë të punës (përmes samba, ftp, ose të ngjashme) dhe tërheq poshtë versionin e fundit të kodit. Jo shumë efikas, por kjo do të bëjë punë. Lejon të përmirësuar disi që, si për krijimin e një script rsync dhe duke përdorur atë kohë për çdo vend? Përndryshe çfarë në lidhje me vënien fundit script tona të përpunimit në përmbysje të kontrolluar nga kodin fillimisht dhe pastaj vetëm përditësimin kodin tonë në çdo të drejtuar ( svn Azhurimi )?

Në fund mund të përfundojë me një script bash (i quajtur nga cron çdo 10 minuta), e cila duket e thjeshtë si kjo:

  #! / Bin / sh
 nëse ps sëpatë | grep grep v-| grep php > / dev / null
 pastaj
     echo "Jobi është aktualisht përpunimi, dalje"
 tjetër
     echo "Jobi nuk është në ekzekutim, fillojnë tani"
     cd / path / to / pune / kopje
     svn Azhurimi
     php yourJobProcessingScript.php
 fi

Tani ne mund të jetë i sigurt që me çdo afat ne jemi patjetër drejtimin kodin fundit. Ne jemi të siguruar këtë me azhurnimin e bazës tonë kodit kohë çdo Ne kryerjen e një të kandidojë dhe reduktimin e trafikut të rrjetit nga vetëm transferimin e dallimeve skedar nëpër rrjetin tonë.

Në setup tim demonstrim, kam bërë pikërisht si më sipër. Përmbysje ishte instaluar në serverin e përpunimit të punës time dhe unë thjesht tërhoqi kodin e fundit nga një degë s Gallery punetorit duke përdorur 'svn freskimi'. Kam gjithashtu shtoi një tag numër versioni të shkrimit tim të përpunimit i cili u kthye në bazën e të dhënave si pjesë e kthimit të rezultateve. Në këtë mënyrë unë mund të shoh se kodi im ishte duke u përditësuar çdo herë që unë kopjuar trungun tim në dmth degës punëtor që unë isha patjetër drejtimin e shkrimit të fundit të përpunimit.

Duke përdorur të dhënat më të fundit

Nëse përpunimi tuaj të punës e bën përdorimin e burimeve të të dhënave, atëherë në disa pika këto do të jenë të përditësuar shumë. Nëse ju telefononi burimeve të të dhënave tuaja në një bazë shumë të rrallë do të jeni të përmbytjeve rrjetin tuaj me trafik sa më shpejt që punëtorët tuaj të filloni duke e çuar çdo gjë në vend numëro. Për zgjidhjen e mia unë kam vendosur që do të doja të lëvizur burimet e mia të dhënave rreth me VMs mia.

Mbajeni ju jeni kuaj atje! Çfarë ndodh nëse burimet e mia të dhënat janë të mëdha? E pra kjo është me të vërtetë një rast se sa të dhëna jemi duke folur? Kjo mund të jetë me kosto më efektive për të instaluar një disk shtesë të madhe të vështirë në çdo makinë se për të blerë një server shtesë të përpunimit. Kjo është një pyetje e buxhetit dhe deri në të biznesit për të vendosur. Kjo ndoshta që burimet tuaja të dhënat janë kaq të mëdha që e saj vetëm pamundur për të mbajtur atë sasinë e të dhënave në makinat tuaja punëtore. Në këtë rast çfarë do të bëni? E pra ne mund të shikojmë në duke e quajtur një server lokal të dhënave, por kjo mund të shkaktojë probleme me rrjetin. Në këtë rast një sistem të rrjetit të tilla si kjo mund të bëhet realiste për të përfshirë në mjedisin tuaj zyre. Ajo mund gjithashtu të jetë që ju mund të shikoni në strategjitë alternative running, për shembull, vetëm duke e quajtur punëtorët tuaj midis ores 8 të mbrëmjes dhe 6 çdo natë dhe / ose të dhënat throttling kërkesa burim.

Lëvizja më lejon të thonë se shuma e të dhënave tona burimet me 100GB e të dhënave. E pra po kjo është mjaft pak e të dhënave të lëvizë në rrjetin në një update. Si do të kemi siguruar që ne kemi kopje të fundit të të dhënave në këtë rast? Rsync është një mundësi, por personalisht mendoj se me drejtimin e burimit të fundit tuaj e të dhënave në server të përpunimit tuaj të punës dhe ngritjen kjo lart si një mjeshtër në replikimin (me një regjistër të bukur të gjatë bin) mund të jetë rruga për të shkuar:

Me vendosjen e secilit prej punëtorëve tuaj si një skllav të rejat e kontrollit të punës server burimeve të të dhënave tuaja do të rrjedh poshtë nicely për punëtorët tuaj pa një rritje të madhe në veprimtarinë e rrjetit (që është nëse nuk keni kryer një përditësim të madh e të dhënave dhe të gjithë punëtorët tuaj shkelm në në të njëjtën kohë). Kjo ka përparësi mbi rsync në se ju nuk do të merrni një pauzë të gjatë para çdo punë, si përditësime dhënave, mysql daemon për punonjësit tuaj do të vazhdimisht update të dhënat e saj, ndërsa përpunimi vazhdon.

Kjo është se si unë të ngritur serverin tim demonstrim. Për të ngritur replikimin kam ndjekur udhëzues në faqen MySQL simbolit Ngritja replikimin ) dhe brenda 20 minutash kam pasur punonjës time inital përsëritjes së kontrollit të punës dataset servers. Për çdo punonjës shtesë parametrat e replikimit dhe procesi ka punuar çdo herë kur VM është kopjuar.

Përmbledhje

Në këtë seksion të nenit kemi shikuar se sa e lehtë dhe pa dhimbje ajo është që të mbajë kodin tuaj të përpunimit deri në datën nga usingÂ rsync ose subverion simbolit SVN) për të bërë punën dhe për të zvogëluar trafikun e rrjetit në të njëjtën time.Â Ne gjithashtu diskutuam se si për të mbajtur informacionin tuaj të dhënave burim up-to-date me e lejuar atë të rrjedh poshtë për secilin prej punëtorëve tuaj. Kështu ne zona siguruar se do të vazhdojmë deri me logjikën e biznesit dhe informacionin në sistemin e rrjetit të zyrës sonë. Ka padyshim do të jetë alternativa të panumërta për kryerjen e këtyre detyrave, por këtu janë dy shembuj të thjeshtë për të treguar se sa e lehtë është një zgjidhje që do të vijnë nga.

Herën tjetër

Në pjesën e fundit të kësaj serie, të quajtur me vend Part 5 , ne do të diskutuar vendosjen e këtij sistemi për të. Unë do të përmblidhni atë që është mësuar dhe atë që kam arritur të krijojë.

Artikuj , Computing , Grid Computing , Linux , PHP , Programim Web | Përditëso

Grid Computing Zyra e ambiente duke përdorur Virtual - Pjesa 3

Komente (3)

Nga Steven Lloyd Watkin , e premte 4 dhjetor 2009 11:37 pm

Hyrje

Në pjesën e 2 kemi shikuar në punë një server do të kandidojë, dhe sa punë duhet të konfigurohet në mënyrë që të arrihet shuma më e madhe e përpunimit ndërsa të siguruar që çdo punë është përpunuar pa dyshim.

Ngritja punëtor tuaj - ose server butë

Hapi i ardhshëm në këtë proces është për të ngritur punëtorët tuaj virtuale. Për këtë unë jam duke shkuar për të përdorur një instalimin e CentOS përdorur VirtualBox. Unë jam duke shkuar për të instaluar MySQL dhe PHP në server, i njohur gjithashtu si (nux Li, m ySQL, P HP) ServerÂ butë (i mund të ketë bërë që emri i lart).

Install VirtualBox në dritaret kompjuterin tuaj (ndiqni lidhjen)
Shkarkoni dhe instaloni CentOS simbolit aktual version 5.3) brenda një makine të krijuar virtuale

Nuk ka asnjë pikë unë do të këtë ka ndoshta s 1000 'e mësime të mëdha atje (në rregull, këtu është një: Krijimi dhe ManagingÂ CentOS makinë virtuale nën VirtualBox ). Pika e rëndësishme të theksohet që unë mendoj është se unë i quajtur makinë im virtual GridMachine.

Sa i përket zgjedhje e mi të klientit virtualisation dhe sistemin operativ të shkuar nuk ka asnjë arsye bindëse e madhe për çdo zgjedhje. VirtualBox është diçka që unë e përdor në kompjuterin tim në shtëpi dhe është mbështetur nga tre sistemet operative të mëdha. Unë zgjodha CentOS si një OS të saj të mirë të qëndrueshme dhe unë e përdorin atë në serverin tim web. Unë jam një besimtar i madh në mjetet e duhura për punë (edhe pse unë jam duke aplikuar "përdorni të shpejtë dhe të lehtë për ju 'mentalitetit këtu), kështu që nëse X sistemit operativ shkon kodin tuaj të shpejtë dhe më efikase të përdorin që në vend :)

E rëndësishme të sigurohemi që VM juaj përdor DHCP, ndryshe për çdo makinë të re virtuale do të duhet të jetë konfiguruar vete e cila është diçka që ne nuk want.By përdorur DHCP ne nuk kemi nevojë për konfigurimin e rrjetit settings individualisht për makinat punëtore, DHCP do t'ia nga IPS për ju. Prandaj, ju mund të kopjoni kompjuterin tuaj virtuale në lidhje me zyrën e pa shqetësuese në lidhje me vendosjen e çdo një dorë (kjo përmirëson scalability dhe redukton administratën punëtor).

Procesi që ju duhet të synojë për të arritur do të jetë për të marrë një makinë të re fizike, install VirtualBox, dhe pastaj shumë e shumë të vendosur imazhin virtual pa shumë tjetër. Kjo mund të jetë i mençur për të setup të gjithë punëtorët tuaj në një subnet të ndryshme në mënyrë që ju mund të paktën të shihni se sa shumë makina të vrapojnë. Ju gjithashtu duhet për të ngritur makina tuaja në një qira të gjatë apo të pakufizuar qira DHCP.

Si për të kandiduar Punësim në punëtori

Kjo është një fushë interesante dhe ka disa metoda të vlefshme për përpunimin e vendeve të punës në punëtori. Këtu unë do të diskutojë vetëm dy më të qartë:

Përherë drejtimin e shkrimit: Një skenar, të jetë ajo një script shell, apo një script PHP kryhet një herë në punëtorit dhe shkon si pjesë e një lak pafund. Unë kam zbritur këtë metodë si një përplasje e shkrimit dhe potencialisht punëtorët tuaj do të pushojë për të drejtuar pa një lloj ndërhyrjeje.
Bazuar cron script ekzekutimin: Çdo minuta X daemon cron nis një thirrje për shkrimin tuaj për të marrë gjërat e sipër. Pa disa kontrollin kjo mund të çojë në shumë kopje shumë për drejtimin e shkrimit tuaj punëtor.

Vendimi im ishte për të shkuar me cron-i cili nis një skenar shell çdo minutes.Â 10 dorëshkrim ime shell kryen detyrat e mëposhtme:

Merrni një listë proces dhe ky grep për 'php-së. Nëse nuk u gjet pastaj të vazhdojë.
Telefononi kodin tuaj të punës, në rastin tim kjo do të jetë PHP diçka në bazë
Script punëtor përfundon garën e saj
Gati për të shkuar përsëri në thirrjen e ardhshme të përshtatshme

Script im bash duket diçka si në vijim:

  #! / Bin / sh
 nëse ps sëpatë | grep grep v-| grep php> / dev / null
 pastaj
     echo "Jobi është aktualisht përpunimi, dalje"
 tjetër
     echo "Jobi nuk është në ekzekutim, fillojnë tani"
     php yourJobProcessingScript.php
 fi

Shënim: echo-së janë pothuajse krejtësisht e pakuptimtë, por mund të ndihmojë personin tjetër që vjen së bashku të përpiqen dhe të redaktoni ato.

Që përfundon në ngritjen e makinës virtuale punëtor, të shpejtë, i thjeshtë dhe e lehtë për të kopjoni çdo pjesë të re të pajisjeve që është marrë. The 'zgjuarsia "e sistemit të rrjetit të vërtetë nuk është në OS visualized, të saj të gjithë të bëjnë me kodin e krijuar në punët e procesit, konfigurimi të punës, dhe në bërjen e sigurt se puna shkon kur është e përshtatshme (dmth. kur ushtria është i papunë ).

Ngritja e Windows në nisje Punëtorëve

Detyra e parë është që të punojë jashtë komandën e nevojshme për të drejtuar makinën virtuale nga command line dritaret. Nëse e keni instaluar VirtualBox në vendin e paracaktuar dhe e keni emrin GridMachine tuaj punëtor, atëherë komanda e nevojshme për të ngarkesës deri punëtor juaj është:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine

Megjithatë për të drejtuar script ne nje shtetit 'pa kokë' ne duhet të përdorni:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off

Kjo do të fillojë në makinë virtuale pa GUI dhe ta lejojë atë për të ruajtur shtetin gracefully. Argumenti i dytë fiket RDP kështu që nuk ka konflikt me dritaret RDP, apo të ju jap një mesazh për të dëgjuar në portin 3389. Emri virtuale makinë është çështje të ndjeshme!

Tjetra, ne do të duhet për të vendosur dritaret deri me shkelm off VM tonë punëtor herë në makinë ka qenë i papunë. Për ta bërë këtë (në Windows XP) ju do të duhet të shkoni Start -> Programs -> Te gjitha Accessories -> Sistemit Tools -> detyrat kohore si më poshtë:

Klikoni Next për 'Shto detyrë kohore s Gallery ndjekur nga shfletoni për të shtuar një program me porosi. Shkoni tek shkrimin tuaj VBoxManage dhe klikoni OK. Orari detyrën tuaj për ndonjë prej opsioneve (ne do të ndryshojë këtë në një minutë) dhe të vazhdojë. Pas duke lënë mënjanë ekranin e ardhshëm dritaret do t'ju kërkojë që ju doni të drejtuar këtë detyrë, unë do të sugjeroj ose 'Administrator' ose duke krijuar një përdorues të ri të privilegjuar. Mos harroni ne nuk duam të ndërhyjë në llogarinë e stafit standarde në makinë në çdo pikë. Kliko ardhshëm dhe të shikoni opsionet e tregojnë të avancuara për këtë detyrë.

Deri në fund të textbox drejtuar shtoni vargun tonë 'startvm GridMachine' dhe të sigurojë që të kandidojë vetëm kur keni hyrë në është lënë unticked. Vizitoni detyrën orar tjetër dhe të ndryshojë orarin e zbritur poshtë në opsionin 'kur boshe', të zgjedhin sasinë e kohës që ju dëshironi makinë të jetë boshe para se të lëvizin për në butonin e ardhshëm.

Së fundi untick opsionin i cili thotë ndaluar detyrën në qoftë se ajo ka qenë duke sasi të X të kohës, por mos shënoni mundësi për të ndaluar detyrën nëse makina nuk është më e papunë.

Kjo është ajo pastaj për setup pritës dritare!

Përmbledhje

Në këtë pjesë ne kemi ngritur një makinë virtuale për të vepruar si një punëtor, si dhe mënyrën në të cilën ne e quajmë dhe ekzekutuar të përpunimit tona të punës Scripts (për vete një script PHP). Nga këtu shohim se si për të krijuar kopje tona e dritareve ta nisni makinë virtuale në mënyrë të pa kokë kur kompjuteri bëhet i papunë, dhe për të shpëtuar gjendjen e saj kur përdoruesi rifillon përdorimin e makinës. Shpresojmë në këtë pikë ju jeni duke parë sa e thjeshtë është për të ngritur një sistem të tillë dhe janë të kruhet për të marrë disa eksperimente do veten!

Herën tjetër

Në Pjesën 4 ne do të jetë në kërkim të përdorur mjetet për të siguruar që ju xhironi versionin më të fundit të burimeve të kodit dhe të dhënat në mënyrë që rezultatet e arritura janë gjithmonë up-to-date me informacionin e biznesit të fundit dhe logjikës.

Artikuj , Computing , Përgjithshëm , Linux , PHP , Programim Web | Aplikimi , CentOS , rrjetit , boshe , Limp , Linux , PHP , detyrat e planifikuara , Sun , VBoxManage , virtuale , virtual machine , VirtualBox , Windows XP , punëtor , Zend

Grid Computing Zyra e ambiente duke përdorur Virtual - Pjesa 2

Komente (1)

Nga Steven Lloyd Watkin , e premte 4 dhjetor 2009 11:23 pm

Hyrje

Në Pjesën 1 I dha një pasqyrë të sistemit dhe teknologjive unë do të përdorni, si dhe u diskutua si disa nga arsyet e mundshme pse ju do të doni për të krijuar një rrjet zyre.

Kontrolli i punës

Nëse ju do të jeni të konkurrojnë punë, atëherë ju do të jeni nevojë për disa rrugë për të menaxhuar ato. Kontrollit tuaj punë të sistemit (në serverin tuaj të punës) duhet të jetë me të vërtetë menduar mirë para se edhe u përpjekur për të drejtuar një rrjet zyre. Pra, së pari, cilat janë detyrat për një sistem të kontrollit të punës:

Dorë nga punët me kërkesë të punëtorëve
Tregoj punëtorë çfarë lloji i Punë për të drejtuar
Punë në Track
Sigurohuni që Punë janë drejtuar vetëm një herë
Sigurimi i të dhënave të punës për punëtorët, ose të paktën tregoni atyre se ku mund të merrni atë

Sistemi gjithashtu duhet të jetë e zgjeruar, një zgjidhje që punon për tani në një rast të vetëm mund të zgjatet për të kandiduar disa lloje të vendeve të punës si biznesin e sheh me vlerë në një zgjidhje të rrjetit. Për shembull, mund të fitojë Punë në prioritetet, më shumë se një lloj punë mund të ekzistojnë (Bazat dmth. disa code), përfundimisht ju mund të drejtuar edhe disa makina të ndryshme punonjësit që janë optimizuar për secilin lloj të punës (megjithëse kjo do të lëvizin larg nga punonjesi gjenerik 'ide). Gjithmonë të përpiqemi të mendojmë për të ardhmen, kur zhvillimin e sistemeve, një vizion afat shkurtër mund të çojë në frustrimit afat më të gjatë dhe kohë të rritjes e zhvillimit.

Server Job

Ne do të jeni nevojë diku për të kontrolluar punën tonë nga, kjo duhet të jetë sistemi i vetëm në rrjetin tuaj që ka një locator fikse të burimeve, të jetë që një adresë IP, emri i host, URL (duke përdorur të brendshme DNS), etj Kjo është për shkak se punëtorët duhet të dini ku të kërkoni për punë, punëtorët kanë nevojë për të gjetur sistemin e kontrollit të punës (nuk i kontrollit punë të sistemit të gjetur punëtorë).

Serveri punë në vetvete nuk ka të vërtetë kanë një detyrë të komplikuar (në një sistem themelor gjithsesi), ajo ka nevojë për të ruajtur një listë të vendeve të punës, dora nga puna, për të marrë rezultatet, dhe më pas ruajtur ato për rikthim më vonë. Si këto pjesë ('dorë nga punë' të tilla si) janë përcaktuar mund të jetë shumë themelore. Më vonë ne mund të zgjasë e sistemit të përfshijë një ndërfaqe të administratës për të shtuar, modifikoni, fshini, të pezullojë punët por kjo është përtej këtij ushtrimi.

Nuk ka asnjë arsye whatsoever atëherë që serveri juaj punë nuk mund të jetë një makinë virtuale drejtimin brenda serverit tuaj kryesore të përpunimit me kusht që ajo nuk thahet burime shumë prej saj. Serveri punë megjithatë ka nevojë për disponueshmërinë e lartë, në qoftë se ajo shkon poshtë në një mbrëmje të premten do të jeni të humbur një fundjavë e tërë e përpunimit, potencialisht ju kushton disa javë me vlerë të madhe të kohës të përpunimit (kur krahasohet me kryesore serverin tuaj të përpunimit të vetëm) . Ju mund të dëshirojnë të marrin në konsideratë vendosjen e serverit tuaj të punës në një mjedis të ngarkesës të ekuilibruar për disponueshmërinë e lartë.

Setup bazë

Skema themelore për serverin tonë të punës do të përbëhet nga ajo që unë jam duke e quajtur një nga serverat e mi squllur, që është nux Li, m ySql, P HP). Kodi kandidon për punëtorët Thea vërtetë do të punojnë jashtë çfarë Punë mund të drejtuar nga bashkëveprojmë me me bazat e të dhënave të kontrollit të punës e sistemit. Më vonë ne mund të krijojë një shërbim të internetit dhe në fakt dorën jashtë vendeve të punës në vend se punonjësit bëjnë punën e vështirë vetë, por tani për tani ne do të vazhdojmë duke përdorur parimin KISS (Keep it Simple, Stupid!).

Pra, ju lejon të krijojë tre MySQL tavolina për t'u marrë me punë. Këto do të jenë `Punë`, `jobRecords`, dhe `jobResults`.

Ja unë jam duke përdorur SQL Buddy një alternativë e madhe pak për phpMyAdmin vetëm për shkak se më e lehtë të saj për të instaluar në CentOS (për të tjerët e shohin: 10 alternativa të madhe për phpMyAdmin )

Kjo tabelë përbëhet nga 5 fusha të thjeshta,

id: Unike të identifikuar punën
Emri: Mund të jetë një referencë e klientit, ose ndonjë numër identifikues të tjera
Statusi: Ju duhet të dini se ku puna është në, p.sh.
- 0: Nuk ka filluar
- 1: kap
- 2: Kompletuar
started_by: Kush filloi bërë këtë punë? Kjo nuk është e nevojshme tërësisht, por është një e mirë që të ketë. Unë do të sugjeroj punëtorë ndjekja me adresën e tyre IP në rrjetin tuaj
started_at: Kur ka punëtor të filluar punë? Nga ndjekja e punët që nuk kanë përfunduar brenda shumës X kohe ne e dimë se ne duhet të marr në punë një herë dhe të fillojnë të përpunimit nga një tjetër punëtor. Punëtorët mund të ndalojë përpunimin / shkoni e shkëputur për çdo numër arsyesh, e dështimit të pushtetit, Crash, humbje të rrjetit etj

Është e lehtë se si kjo tabelë mund të zgjatet me një disa fusha të tjera për të lejojnë për ndjekjen e statistikave, një kohë të përfundojë kolonë për të parë se sa kohë punë mori, një kundër për të parë se sa punëtorë të kap punë (natyrisht kjo duhet të kujdesen për 1), prioritet punë, lista mund të vazhdojë dhe më. Në skenarët punë më komplekse do të ishte e mundur që të përcaktojë se sa memorie punonjës do të duhet qasje (dhe prandaj përdorni vetëm punëtorë të përshtatshme), apo edhe se çfarë lloji i punëtorit do të jetë e nevojshme.

Lejon të shtoni një punë disa shembuj:

Tabela e ardhshëm përsëri është mjaft e thjeshtë për të kuptuar, këto janë të dhënat tona të punës. Ata janë të lidhur me kryesore tryezë punë nga një kolonë `s jobs_id`. Make up i kësaj tryeze shumë varet nga të dhënat që ju duhet të furnizimit të punëtorëve tuaj, ju lejon të bërë një shembull shumë të thjeshtë ku ne kemi katër kolona:

id: ID e procesverbalit
Emri: Emri i personit
Adresa: Adresa e personit
jobs_id: ID punë që ky rekord është i lidhur me

Tabela e tretë dhe i fundit përbëhet nga një tryezë e rezultateve, ajo ka shumë e njëjtë të bërë deri sa të dhënat tryezën tonë, dhe me shtimin e disa shtyllave mund të jetë pjesë e tabelës të dhënat:

job_record_id: Link rezultatin në tryezën e punës
Rezultati: Të dhënat rezultojnë

... Dhe kjo është e gjitha që ju duhet për kontrollin e punës! (Edhe pse në një nivel shumë bazik) Në rastin tim unë jam i vuri në një tjetër tryezë ku të dhënat e mia proces ishte vendosur, por kjo mund vetëm si lehtësisht qenë një file, parametrat për të drejtuar kodin simulim, ju atë emër.

Zgjedhjen e një punë

Siç u tha më parë, punëtorët do të bëjnë menaxhimin e punës tonë për ne tani për tani, kështu që të gjithë ne kemi nevojë të vërtetë të bëni është të gjeni një punë që ka nevojë për përpunim dhe për të marrë informacion. Si do ta bëjmë këtë? Pra i bie zgjedhjen tonë të punës kriteret dhe të kërkoni për punë, në SQL kam bërë në vijim:

Merrni ndonjë punë që nuk janë shënuar si të plotë, por nga punonjësit tonë dhe ktheni ato (zëvendësim ME__ dokumentin me një identifikues, lehtë do të jetë adresa IP):
```
  UPDATE s `Punë` SET `status` = 0 KU `status` = 1 DHE `started_by` = __ ME__; 
```
Duke përdorur zgjedhjen tonë të punës kriteret, zgjidhni një punë dhe tregoni sistemin e kontrollit se ky punëtor ka të bëjë me atë:
```
  UPDATE s `Punë` SET `status` = 1, `started_by` = __ ME__, `started_at` = NOW () KU `status` = 0 APO
 (`Status` = 1 DHE `started_at`> DATE_SUB (NOW (), Interval X ORE)) ORDER BY `id` s KLV; 
```
Nga punët grabbing që nuk janë kthyer rezultatet në sasi X kohe ne kemi siguruar që të gjitha punët janë drejtuar në rast të një punëtori crashing ose duke shkuar AWOL.

Next kap detajet punëve ndjekura nga të dhënat e vetë:

  SELECT * Nga `punë` KU `started_by` = __ ME__ AFATI 1;
 SELECT * Nga job_records `` `id` KU = __ JOBID__;

Pas përfundimit të punës kemi futur të dhënat tona të rezultojnë dhe të shënojë punë si i plotë. Mos harroni si Punë mund të pezullojë / rinisë në çdo kohë të lejojë për disa Fuqia në shkrimin tuaj. Kjo mund të jetë se detyra pezullon gjysmë rrugë nëpërmjet përditësimit sistemin e kontrollit të punës, në mënyrë të kontrolluar numrin e regjistrimeve në një punë dhe numrin e rezultateve të ruajtur përsëri në sistemin e kontrollit të punës do të jetë një veprim i mençur.

Përveç kësaj, ndërsa kjo demonstron se si Punë mund të përzgjidhen dhe menaxhohen nga një kuadër SQL-query ju duhet të vërtetë të abstraguar kontrollin tuaj të punës në mënyrë që nëse ju vendosni të kaloni për të përdorur një shërbim web, një sistem file bazë, XML , ose ndonjë tjetër numri i sistemeve ajo nuk do të ndikojë në kodin e mësipërm të.

Konfigurimi Job

Aspekti tjetër për t'u marrë parasysh është madhësia punë dhe konfigurimit. Duke luajtur me konfigurimin e punës që ne mund të arrijnë një ekuilibër të shkëlqyer midis shpejtësisë, riperteritja e procesit, dhe besueshmërinë. Merrni një skenarë MKO çift:

Punë të marrë 1 ditë çdo për të drejtuar: Kjo do të thotë se punëtorët tuaj duhet 15 ditë për të proceduar çdo punë (kujtoni 10 për qind të fuqisë për 2/3rds të kohës). Kjo nuk është qartë një konfiguracion i mençur, madhësisë tuaj të punës është mënyrë shumë e madhe! Ajo do të marrë të paktën dy herë kohën për të marrë një punë të përpunuara duhet punëtor fillestar të shkojë AWOL (koha të marr se ajo nuk i ka kthyer një rezultat plus kohë ripërpunimin). Në një ideal që ju do të keni të paktën një punë të plotë pastruar lehtë deri në fund të çdo periudhe të gjatë boshe, në këtë mënyrë ju mbani punët troket mbi dhe në të keqe rastin e një punë do të marrë dy ditë për procesin duhet së pari shkojnë të zhdukur.
Punë marrin 1 minutë për të kandiduar: Kjo do të thotë se punëtorët tuaj të marrë rreth 15 minuta për të drejtuar çdo punë. Përderisa kjo mund të duket fillimisht ideal, keni fituar përpunimin shtesë të punës gjatë kohës së drekës, të prishet kafe, takime, etj, ky skenar vë tendosje në zona të tjera të sistemit tuaj dhe paraqet problemet e veta. Për shembull, së pari raporti Setup / përpunimit kohën tuaj do të shkoni djathtas poshtë, pra humbur efikasitetin e sistemit. Rrjeti juaj do të jetë informacioni vazhdimisht streaming punë të ndryshme stafit punëtorëve frustruese që janë kar ditën e tyre për punën e përditshme. Ju jeni gjithashtu do të vënë më shumë tendosje në serverin e përpunimit tuaj të punës si ajo ka për të shpërndaj shumë dhe shumë e copa të vogla të punës në një bazë të rregullt. Së fundi, në këtë situatë, nëse serveri juaj puna shkon poshtë ju do të jeni për të krijuar një regjistër të madh mbrapa e punës së pambaruar, ndërsa punët e mëdha mund të vazhduar përpunimin blissfully dijeni se serveri punë u përjetuar vështirësi.

Në realitet nuk do të ketë një konfigurim ideal për setup tuaj rrjetit, shumë varet nga burimet në dispozicion, llojet e Jobit, kthesën kërkesat punë me kohë, aftësive të rrjetit, dhe kështu me radhë. Megjithatë, disa udhëzime do të jenë:

Punë Madhësia në mënyrë që çdo punëtor mund ta merrni nëpërmjet të paktën punëve 3-4 në një periudhë prej 15 orëve (gjatë gjasa periudha boshe kohë)
Luaj me madhësinë e punës në mënyrë që koha organizim bëhet mjaft i parëndësishëm në krahasim me kohën e përpunimit (duke pasur parasysh pika lart).
Nëse një punë nuk e bën të plotë në vlerë të dyfishtë të të kohës (ndoshta me pak) ju presin që ai të përfundojë ajo supozohet se AWOL tij shkuar dhe të fillojnë përpunimin atë me një tjetër punëtor. Kjo do të thotë që ju mund të duhet të presin deri në tri herë gjatësinë normale të punës për atë për të përfunduar (ndoshta më shumë në qoftë se puna pasuese dështon). Ju mund të dëshironi të reduktuar këtë kohë, por të jenë të kujdesshëm për të mos zvogëluar atë shumë si ju mund të filloni dublikuar detyra të përpunimit në një bazë të rregullt.
Punë në duhet të jetë i pavarur nga kërkesat e jashtme sa më shumë të jetë e mundur. Serveri punë, për shembull, duhet vetëm të kontaktohet në fillim dhe në fund të çdo punë.
Mos njom rrjetit tuaj, kjo do të ketë dy efekte negative, personeli juaj gjatë ditës do të gjeni duke përdorur rrjetin frustruese dhe problemet mund të jetë me përvojë me lidhjet kohen nga një problem që vetëm do të merrni më keq si ju shkallë rrjetit tuaj.
Sigurimi Punë mund të kandidojë në punëtorët tuaj. Nëse Punë të bëhet shumë memorie Punë intensive apo disk hapësirë intensive do të fillojë ndërpres dhe e vetmja gjë që ju do të vëreni është një rënie në numrin e vendeve të punës të përpunuara me asnjë arsye reale pse.

Rezultatet dorëzimin e një Jobit

Kur paraqitur rezultatet e një punë është e rëndësishme që të kontrolloni se rezultatet nuk janë dorëzuar nga një tjetër punonjës, veçanërisht në qoftë se punonjësi aktual ka qenë në gjumë për disa kohë.

Kur rezultatet janë paraqitur të sigurojë që numri i rezultateve të përputhet me numrin e të dhënave në punë.

Siç u tha më parë, dhe nuk mund të jetë mbi theksoi, të ndërtuar tolerancë gabimi në rikthim të punës dhe rezultateve nënshtrim. Punëtorët mund (dhe më shumë gjasa do të) shkojnë në mënyrë të pezullojë në më të papërshtatshëm të kohës dhe kjo duhet të catered për të. Gjithashtu edhe një herë abstraguar larg rezultatet paraqitjen tuaj do t'ju ndihmojë të kujdesem për ndryshimet e ardhshme në sistemin e kontrollit tuaj të punës shumë më e lehtë për t'u marrë me të.

Përmbledhje

Në këtë sectionÂ kemi shikuar në atë që një kontroll punë server duhet të bëjnë dhe si të merrni një sistem shumë bazë ngritur. Ne diskutuam se si për të tërhequr një punë nga sistemi i kontrollit dhe si më e mirë për të konfiguruar punë për të marrë shumicën tonë i sistemit të rrjetit zyrën tuaj. Për të përfunduar, një paragraf ose dy në paraqitjen e rezultateve përsëri në server të kontrollit të punës u paraqit.

Një kontroll punë server menaxhon punët dhe siguron që të gjitha njësitë e punës janë përfunduar
Duke abstraguar punën tuaj Përzgjidhe / Rezultatet paraqitja ne mund të ndryshojmë teknologjinë e serverit kontrollit pa probleme shumë
Konfiguro punën tuaj për të siguruar që ata janë drejtuar shpejt dhe me efikasitet, pa vënë shumë presion në infrastrukturën e rrjetit tuaj, dhe pa dublikuar detyra të përpunimit në një bazë të rregullt.
Sigurohuni që ju të ndërtuar tolerancë gabimi dhe checkingÂ gabim në rutinat tuaj, punëtorët mund të pezullojë dhe të rinisë dhe më të papërshtatshëm të kohës. Mos harroni të kontrolloni nëse rezultatet tashmë janë dorëzuar nga një tjetër punëtor.

Herën tjetër

In pjesën 3 ne do të krijoni virtuale makinë tona të përpunimit dhe të ngritur makina dritaret tona të bëhen boshe në kohë punëtorë.

Artikuj , Computing , Grid Computing , Linux , PHP , Programim Web | Aplikimi , grumbull , database , db , rrjetit , kontroll punë , punë , Linux , mySQL , PHP , përpunimin , virtuale , VirtualBox , dritaret

Grid Computing Zyra e ambiente duke përdorur Virtual - Pjesa 5

Komente (3)

Nga Steven Lloyd Watkin , e premte 4 dhjetor 2009 11:03 pm

Hyrje

Në Pjesën 4 ne shikuar në duke përdorur mjete për të siguruar që ne xhironi versionin më të fundit të burimeve të kodit dhe të dhënat në mënyrë që rezultatet e arritura janë gjithmonë up-to-date me informacionin e biznesit të fundit dhe logjikës.

Para-vendosjen

Para vendosjen e sistemit tuaj të rrjetit, nëse ka një gjë që ju bëni dhe një gjë vetëm se është pikë referimi sistemin tuaj aktual! Pa marrë parasysh se çfarë ju tregoni me kolegët rreth asaj se si shumë punë shtesë sistemin tuaj do të bëjë nëse nuk keni numrat për të mbështetur këtë ide garancitë tuaja nuk janë asgjë. Pra,

sa të dhënat mund të përpunojë momentalisht? Per Day? Në orë?
Sa kohë e bën atë në mënyrë tipike të marrë për ta kthyer rreth një punë?
Sa më shumë kapacitet keni?

Ka edhe pyetje shtesë:

Nqs serveri juaj e përpunimit (ose një nga serverat tuaj të përpunimit) shkon poshtë si do të ndikojë kjo aftësitë tuaja, do të jeni të gjymtuar?
Cilat jane avantazhet e ju shpresoni / presin për të marrë nga një sistem rrjetit?
Janë makina zyrën tuaj në gjendje të konkurrojnë në punë?
A juaj (ose mund Punë të konvertohet) që wrok në këtë stil të rrjedhshëm?

Pika e fundit e madhe është që të marrë kohën tuaj për çdo ndryshim të madh si ky. Update kodin tuaj të përpunimit të punojnë duke përdorur metodologjinë e re, reperit përsëri. Ndoshta krijuar serverin tuaj të përpunimit të drejtuar një makinë virtuale, pas gjithë serverin tuaj të përpunimit do të jetë vetëm një tjetër punëtor (vetëm një shumë të fuqishme relativisht). Lejo proces i ri për të zgjidhur.

Dislokimi

Sugjerimi im do të jetë për pop në një fundjavë të zyrës të kryejnë të gjitha instalimet dhe setup. Bëni këtë vetëm para dy javë pushim dhe lënë kështu të tjera të varfër chap të merren me pasojat ... ndoshta jo ...

Vendosja e një sistemi si ky duhet të jetë i ngadalshëm. Pavarësisht nga kjo janë relativisht të thjeshtë për të ngritur këtë sistem do të ndikojë në tërë infrastrukturën tuaj zyre (edhe një digjital). Së pari, rrokulliset nga një çift të makinave në një kohë, trafiku monitorimin e rrjetit, si pret punonjësi të kryer mbi një bazë të ditë-për-ditë. Ju mund të kenë nevojë për të ndryshuar konfigurimin tuaj të punës në përgjigje të gjetjeve tuaja.

Pasi sistemi i ka zgjidhur me një makineri pak (lejon thonë se 10% e të gjitha makinave të zyrës, dmth 5) të mbajtur rrjet të trafikut të monitorimit dhe makinë host performance.Â etapë tjetër përsëri, ju duhet tani të përpunimit punë 33% më shumë se standardeve tuaj të parë. Kontrolloni kjo është kështu, ose që ju jeni të paktën në këtë ballpark. Nëse jo, të hetojë atë që po ndodh para se të lëvizin. Përsëriteni këtë cikël deri sa ju për fat të mirë kanë të gjitha makinat e zyrës duke vrarë pa performancën individuale apo makine bluarje rrjetin tuaj në vend numëro.

Në të gjitha kohërat të mbajtur krahasime, edhe pas të gjitha dislokimet janë bërë. Kontrolloni se si përditësime të reja kod të ndikojë në shpejtësinë e sistemit tuaj, kontrolloni të gjithë punëtorët janë raportuar në përpunimin dhe vende pune. Ngadalë (shumë ngadalë) Rritja konfigurimin tuaj të punës për të marrë maksimumin nga punëtorët tuaj dhe rrjetit.

Stop!

Çfarë ndodh nëse ju dëshironi të ndaluar punëtorët tuaj të kandidonte në një kohë? Ata janë të gjithë atje duke, regjeneruese, dhe duke u përpjekur të mirën e tyre për një proces të dhënave si insekte uritur. Përgjigja mund të duket e qartë, por me vlerë të tij duke shtuar se vetëm në rast se neglizhohet saj. Thjesht editojnë shkrimit tuaj të përpunimit me një dalje (0) ose vdesin () ose disa deklarata të tjera për të vrarë punën tuaj të përpunimit. Një arsye e rëndësishme pse ne gjithmonë përpiqemi për të rinovuar të shkrimit të fundit të përpunimit para çdo afat!

Sistemi Demonstration

Në mënyrë që të shkruaj këtë sërë artikujsh të shkurtër dhe unë krijuar një rrjet shumë të vogël për të demonstruar e teknologjive dhe metodologji. Kam lexuar shumë artikuj, mësime, dhe të përdoren mjete të ndryshme për të setup dhe vëzhguar se çfarë po ndodhte. Në asnjë mënyrë nuk kam shkuar jashtë dhe i ngopur një zyrë të tërë me trafikun dhe as kam pasur akses në një PC të rregullt anëtarët e stafit për të parë se si performanca host ishte prekur.

Sistemi im demonstratë ishte shumë e përulur të vërtetë. I përdorur desktop tim të rregullt të ngritur si një server të kontrollit të punës. Në këtë kisha instaluar mySQL server instaluara ngritur si një mjeshtër në përsëritje, PHP , Â dhe SVN të lidhura nëpërmjet Apache (për qasje nëpërmjet VM punëtor).

Unë pastaj krijuar një makinë punëtor CentOS në VirtualBox në një 6 vjeçar laptop të vjetër Windows XP. Unë të setup detyrave të planifikuara siç specifikohet pas kopjuar VM mbi makinë dhe le të shkojnë.

Makina virtuale u ngrit me PHP, përmbysje, dhe mySQL. I kontrolluar nga një degë të quajtur 'punonjës' nga kontrolli depo tim të punës servers dhe e bëri që ajo të mund të përditësuar duke përdorur 'svn freskimi'. Next kam Setup MySQL si një skllav dhe kontrolluar se të dhënat u përsëritur nga MySQL në server të kontrollit të punës deri në VM punëtor. Pas gjithë kësaj unë setup script bash dhe punë cron.

Script ime përpunimit thelb shkoi përgjatë vijave të këtë (gjëra shumë e thjeshtë):

Lexoni në fushën e emrit
Numëruar numrin e emrave të ngjashme në një tryezë nga burimi i të dhënave të mbajtur në VM
Counted the number of names as above but splitting the name by spaces (ie forename, middle, surname)
Repeated this process 1,000 times

Each job took approximately 20 minutes to run. At one point I opened several copies of the worker VM on the windows laptop and watched the jobs be checked off by each of the worker IP addresses. At this point I also confirmed that replication automatically restarted.

Leaving the laptop to idle resulted in a worker starting to process jobs from the job control server. When resuming laptop usage there was a delay of about 30-60 seconds, this is a fair amount of time and staff would need to be made aware that their machine may pause for a short while when returning to the machine. Newer machines may not have a pause of this long. The benefit of the amount of processing performed by these machines during idle periods would more that outweigh staff members having to wait a short period (say 1 minute) on arriving at their machines of a morning (I frequently wait longer that this for a Windows Defender update to take place) provided they were made aware of this (useful time to grab a morning coffee!).

Overall I feel confident that I have demonstrated the technologies that could be used to create such a system. I have shown that such a system does work on a (very) small scale and with some more experimenting could be scaled up utilise the resources of an office's machines. If I don't get to the point of doing this I would be very interested to know/see when someone else does.

Conclusions / Evaluation

The next obvious step would be to actually get a real world example and start to deploy a system such as this within an office environment and see what happens. Asking a business to commit to this without a trail blazing company to prove the technology and effectiveness may be a little difficult. Grid/Distributed computing is very popular is some circles and has some large applications (BIONC, SETI@Home, Folding@Home, etc). I did not, however, find a smaller scale and simple system like this in my searches that could be rolled out within an office environment.

I created a basically free system using mostly open source software and tools available in almost any office. The technologies were basically demonstrated and show to perform and work as expected. Hopefully I have show that with not much work and with a very simple setup you can deploy an office grid computing system that is powerful, cheap,Â and scalable all at the same time.

Once a system is up and running there is almost no end to the amount of customisation and improvements you can make. For example statistics / benchmarking can easily be added showing the worth of such a system every day. New machines can be added quickly and easily as and when they arrive with upgrades to existing hardware bolstering your processing power.

I hope you've enjoyed reading this series of articles and its given you food for thought on running an office grid system. The solution presented here won't necessarily work in all situations but should be adaptable to allow you to get your data processing done using your own solution.

Ju lutem mos ngurroni të më dërgoni ndonjë koment, korrigjimeve, ose përmirësimet dhe unë do të bëj çmos që ta mbajmë këtë artikull përditësuar të ndeshjes.

Articles , Computing , Grid Computing , Linux , PHP , Web Programming | apache , bash , batch , benchmark , database , deployment , grid , improve , Linux , mySQL , open source , PHP , replication , subversion , virtual , worker , Zend Framework , zned