Grid Computing Zyra e ambiente duke përdorur Virtual - Pjesa 4
Komente (2) Hyrje
Unë punoj në një kompani ku kemi drejtuar shumë punë grumbull përpunimit miliona e të dhënave e të dhënave çdo ditë dhe unë kam qenë duke menduar kohët e fundit për të gjitha makinat që ulen çdo ditë duke bërë asgjë për disa orë. A nuk do të jetë mirë në qoftë se ne mund të përdorni këto makina për të forcuar pushtetin e përpunimit të sistemeve tona? Në këtë grup të neneve Unë do të shikojmë në përfitimet potenciale të punësuar një zyrë rrjet duke përdorur mjedise virtualised.
Në pjesën 3 ne krijuar virtuale makinë tona të përpunimit dhe të ngritur dritaret e makinave të bëhen boshe në kohë punëtorë.
Drejtimin kodin fundit
Në mënyrë të pashmangshme, pas krijimit të punëtorëve logjikën e biznesit tuaj do të ndryshojë, bugs do të gjendet, kodi më të shpejtë më efikase do të prodhohet duke lënë punëtorët tuaj të ulur rreth përpunimit të të dhënave duke përdorur kodin e vjetër erë të keq . Si atëherë nuk kemi të siguruar që ne jemi gjithmonë duke përdorur versionin më të fundit dhe më të mëdha të përpunimit Scripts tona?
Ka disa mënyra shumë e lehtë të thjeshta që ne mund të bëjë këtë, mashtrim, megjithatë, është për të reduktuar fuqinë përpunuese dhe trafikut të rrjetit në arritjen e kësaj. Lejon të fillojë me thjeshte e zgjidhjeve dhe për të përmirësuar atë ngadalë gjatë disa iterations.
Metoda e parë do të ishte thjesht lidheni me serverin kontrollit tonë të punës (përmes samba, ftp, ose të ngjashme) dhe tërheq poshtë versionin e fundit të kodit. Jo shumë efikas, por kjo do të bëjë punë. Lejon të përmirësuar disi që, si për krijimin e një script rsync dhe duke përdorur atë kohë për çdo vend? Përndryshe çfarë në lidhje me vënien fundit script tona të përpunimit në përmbysje të kontrolluar nga kodin fillimisht dhe pastaj vetëm përditësimin kodin tonë në çdo të drejtuar ( svn Azhurimi )?
Në fund mund të përfundojë me një script bash (i quajtur nga cron çdo 10 minuta), e cila duket e thjeshtë si kjo:
#! / Bin / sh nëse ps sëpatë | grep grep v-| grep php > / dev / null pastaj echo "Jobi është aktualisht përpunimi, dalje" tjetër echo "Jobi nuk është në ekzekutim, fillojnë tani" cd / path / to / pune / kopje svn Azhurimi php yourJobProcessingScript.php fi
Tani ne mund të jetë i sigurt që me çdo afat ne jemi patjetër drejtimin kodin fundit. Ne jemi të siguruar këtë me azhurnimin e bazës tonë kodit kohë çdo Ne kryerjen e një të kandidojë dhe reduktimin e trafikut të rrjetit nga vetëm transferimin e dallimeve skedar nëpër rrjetin tonë.
Në setup tim demonstrim, kam bërë pikërisht si më sipër. Përmbysje ishte instaluar në serverin e përpunimit të punës time dhe unë thjesht tërhoqi kodin e fundit nga një degë s Gallery punetorit duke përdorur 'svn freskimi'. Kam gjithashtu shtoi një tag numër versioni të shkrimit tim të përpunimit i cili u kthye në bazën e të dhënave si pjesë e kthimit të rezultateve. Në këtë mënyrë unë mund të shoh se kodi im ishte duke u përditësuar çdo herë që unë kopjuar trungun tim në dmth degës punëtor që unë isha patjetër drejtimin e shkrimit të fundit të përpunimit.
Duke përdorur të dhënat më të fundit
Nëse përpunimi tuaj të punës e bën përdorimin e burimeve të të dhënave, atëherë në disa pika këto do të jenë të përditësuar shumë. Nëse ju telefononi burimeve të të dhënave tuaja në një bazë shumë të rrallë do të jeni të përmbytjeve rrjetin tuaj me trafik sa më shpejt që punëtorët tuaj të filloni duke e çuar çdo gjë në vend numëro. Për zgjidhjen e mia unë kam vendosur që do të doja të lëvizur burimet e mia të dhënave rreth me VMs mia.
Mbajeni ju jeni kuaj atje! Çfarë ndodh nëse burimet e mia të dhënat janë të mëdha? E pra kjo është me të vërtetë një rast se sa të dhëna jemi duke folur? Kjo mund të jetë me kosto më efektive për të instaluar një disk shtesë të madhe të vështirë në çdo makinë se për të blerë një server shtesë të përpunimit. Kjo është një pyetje e buxhetit dhe deri në të biznesit për të vendosur. Kjo ndoshta që burimet tuaja të dhënat janë kaq të mëdha që e saj vetëm pamundur për të mbajtur atë sasinë e të dhënave në makinat tuaja punëtore. Në këtë rast çfarë do të bëni? E pra ne mund të shikojmë në duke e quajtur një server lokal të dhënave, por kjo mund të shkaktojë probleme me rrjetin. Në këtë rast një sistem të rrjetit të tilla si kjo mund të bëhet realiste për të përfshirë në mjedisin tuaj zyre. Ajo mund gjithashtu të jetë që ju mund të shikoni në strategjitë alternative running, për shembull, vetëm duke e quajtur punëtorët tuaj midis ores 8 të mbrëmjes dhe 6 çdo natë dhe / ose të dhënat throttling kërkesa burim.
Lëvizja më lejon të thonë se shuma e të dhënave tona burimet me 100GB e të dhënave. E pra po kjo është mjaft pak e të dhënave të lëvizë në rrjetin në një update. Si do të kemi siguruar që ne kemi kopje të fundit të të dhënave në këtë rast? Rsync është një mundësi, por personalisht mendoj se me drejtimin e burimit të fundit tuaj e të dhënave në server të përpunimit tuaj të punës dhe ngritjen kjo lart si një mjeshtër në replikimin (me një regjistër të bukur të gjatë bin) mund të jetë rruga për të shkuar:
Me vendosjen e secilit prej punëtorëve tuaj si një skllav të rejat e kontrollit të punës server burimeve të të dhënave tuaja do të rrjedh poshtë nicely për punëtorët tuaj pa një rritje të madhe në veprimtarinë e rrjetit (që është nëse nuk keni kryer një përditësim të madh e të dhënave dhe të gjithë punëtorët tuaj shkelm në në të njëjtën kohë). Kjo ka përparësi mbi rsync në se ju nuk do të merrni një pauzë të gjatë para çdo punë, si përditësime dhënave, mysql daemon për punonjësit tuaj do të vazhdimisht update të dhënat e saj, ndërsa përpunimi vazhdon.
Kjo është se si unë të ngritur serverin tim demonstrim. Për të ngritur replikimin kam ndjekur udhëzues në faqen MySQL simbolit Ngritja replikimin ) dhe brenda 20 minutash kam pasur punonjës time inital përsëritjes së kontrollit të punës dataset servers. Për çdo punonjës shtesë parametrat e replikimit dhe procesi ka punuar çdo herë kur VM është kopjuar.
Përmbledhje
Në këtë seksion të nenit kemi shikuar se sa e lehtë dhe pa dhimbje ajo është që të mbajë kodin tuaj të përpunimit deri në datën nga using rsync ose subverion simbolit SVN) për të bërë punën dhe për të zvogëluar trafikun e rrjetit në të njëjtën time. Ne gjithashtu diskutuam se si për të mbajtur informacionin tuaj të dhënave burim up-to-date me e lejuar atë të rrjedh poshtë për secilin prej punëtorëve tuaj. Kështu ne zona siguruar se do të vazhdojmë deri me logjikën e biznesit dhe informacionin në sistemin e rrjetit të zyrës sonë. Ka padyshim do të jetë alternativa të panumërta për kryerjen e këtyre detyrave, por këtu janë dy shembuj të thjeshtë për të treguar se sa e lehtë është një zgjidhje që do të vijnë nga.
Herën tjetër
Në pjesën e fundit të kësaj serie, të quajtur me vend Part 5 , ne do të diskutuar vendosjen e këtij sistemi për të. Unë do të përmblidhni atë që është mësuar dhe atë që kam arritur të krijojë.
Artikuj , Computing , Grid Computing , Linux , PHP , Programim Web | 
Përditëso
