Komente (3)

Nga Steven Lloyd Watkin , e premte 4 dhjetor 2009 11:37 pm

Hyrje

Unë punoj në një kompani ku kemi drejtuar shumë punë grumbull përpunimit miliona e të dhënave e të dhënave çdo ditë dhe unë kam qenë duke menduar kohët e fundit për të gjitha makinat që ulen çdo ditë duke bërë asgjë për disa orë. A nuk do të jetë mirë në qoftë se ne mund të përdorni këto makina për të forcuar pushtetin e përpunimit të sistemeve tona? Në këtë grup të neneve Unë do të shikojmë në përfitimet potenciale të punësuar një zyrë rrjet duke përdorur mjedise virtualised.

Në pjesën e 2 kemi shikuar në punë një server do të kandidojë, dhe sa punë duhet të konfigurohet në mënyrë që të arrihet shuma më e madhe e përpunimit ndërsa të siguruar që çdo punë është përpunuar pa dyshim.

Ngritja punëtor tuaj - ose server butë

Hapi i ardhshëm në këtë proces është për të ngritur punëtorët tuaj virtuale. Për këtë unë jam duke shkuar për të përdorur një instalimin e CentOS përdorur VirtualBox. Unë jam duke shkuar për të instaluar MySQL dhe PHP në server, i njohur gjithashtu si (nux ​​Li, m ySQL, P HP) Server butë (i mund të ketë bërë që emri i lart).

• Install VirtualBox në dritaret kompjuterin tuaj (ndiqni lidhjen)
• Shkarkoni dhe instaloni CentOS simbolit aktual version 5.3) brenda një makine të krijuar virtuale

Nuk ka asnjë pikë unë do të këtë ka ndoshta s 1000 'e mësime të mëdha atje (në rregull, këtu është një: Krijimi dhe Managing CentOS makinë virtuale nën VirtualBox ). Pika e rëndësishme të theksohet që unë mendoj është se unë i quajtur makinë im virtual GridMachine.

Sa i përket zgjedhje e mi të klientit virtualisation dhe sistemin operativ të shkuar nuk ka asnjë arsye bindëse e madhe për çdo zgjedhje. VirtualBox është diçka që unë e përdor në kompjuterin tim në shtëpi dhe është mbështetur nga tre sistemet operative të mëdha. Unë zgjodha CentOS si një OS të saj të mirë të qëndrueshme dhe unë e përdorin atë në serverin tim web. Unë jam një besimtar i madh në mjetet e duhura për punë (edhe pse unë jam duke aplikuar "përdorni të shpejtë dhe të lehtë për ju 'mentalitetit këtu), kështu që nëse X sistemit operativ shkon kodin tuaj të shpejtë dhe më efikase të përdorin që në vend :)

E rëndësishme të sigurohemi që VM juaj përdor DHCP, ndryshe për çdo makinë të re virtuale do të duhet të jetë konfiguruar vete e cila është diçka që ne nuk want.By përdorur DHCP ne nuk kemi nevojë për konfigurimin e rrjetit settings individualisht për makinat punëtore, DHCP do t'ia nga IPS për ju. Prandaj, ju mund të kopjoni kompjuterin tuaj virtuale në lidhje me zyrën e pa shqetësuese në lidhje me vendosjen e çdo një dorë (kjo përmirëson scalability dhe redukton administratën punëtor).

Procesi që ju duhet të synojë për të arritur do të jetë për të marrë një makinë të re fizike, install VirtualBox, dhe pastaj shumë e shumë të vendosur imazhin virtual pa shumë tjetër. Kjo mund të jetë i mençur për të setup të gjithë punëtorët tuaj në një subnet të ndryshme në mënyrë që ju mund të paktën të shihni se sa shumë makina të vrapojnë. Ju gjithashtu duhet për të ngritur makina tuaja në një qira të gjatë apo të pakufizuar qira DHCP.

Si për të kandiduar Punësim në punëtori

Kjo është një fushë interesante dhe ka disa metoda të vlefshme për përpunimin e vendeve të punës në punëtori. Këtu unë do të diskutojë vetëm dy më të qartë:

• Përherë drejtimin e shkrimit: Një skenar, të jetë ajo një script shell, apo një script PHP kryhet një herë në punëtorit dhe shkon si pjesë e një lak pafund. Unë kam zbritur këtë metodë si një përplasje e shkrimit dhe potencialisht punëtorët tuaj do të pushojë për të drejtuar pa një lloj ndërhyrjeje.
• Bazuar cron script ekzekutimin: Çdo minuta X daemon cron nis një thirrje për shkrimin tuaj për të marrë gjërat e sipër. Pa disa kontrollin kjo mund të çojë në shumë kopje shumë për drejtimin e shkrimit tuaj punëtor.

Vendimi im ishte për të shkuar me cron-i cili nis një skenar shell çdo minutes. 10 dorëshkrim ime shell kryen detyrat e mëposhtme:

1. Merrni një listë proces dhe ky grep për 'php-së. Nëse nuk u gjet pastaj të vazhdojë.
2. Telefononi kodin tuaj të punës, në rastin tim kjo do të jetë PHP diçka në bazë
3. Script punëtor përfundon garën e saj
4. Gati për të shkuar përsëri në thirrjen e ardhshme të përshtatshme

Script im bash duket diçka si në vijim:

  #! / Bin / sh
 nëse ps sëpatë | grep grep v-| grep php> / dev / null
 pastaj
     echo "Jobi është aktualisht përpunimi, dalje"
 tjetër
     echo "Jobi nuk është në ekzekutim, fillojnë tani"
     php yourJobProcessingScript.php
 fi 

Shënim: echo-së janë pothuajse krejtësisht e pakuptimtë, por mund të ndihmojë personin tjetër që vjen së bashku të përpiqen dhe të redaktoni ato.

Që përfundon në ngritjen e makinës virtuale punëtor, të shpejtë, i thjeshtë dhe e lehtë për të kopje për çdo pjesë të re të pajisjeve që është marrë. "Zgjuarsi" të sistemit të rrjetit të vërtetë nuk është në OS visualized, të saj të gjithë të bëjnë me kodin e krijuar në punët e procesit, konfigurimi të punës, dhe në bërjen e sigurt se puna shkon kur është e përshtatshme (dmth. kur pritës është i papunë ).

Ngritja e Windows në nisje Punëtorëve

Detyra e parë është që të punojë jashtë komandën e nevojshme për të drejtuar makinën virtuale nga command line dritaret. Nëse e keni instaluar VirtualBox në vendin e paracaktuar dhe e keni emrin GridMachine tuaj punëtor, atëherë komanda e nevojshme për të ngarkesës deri punëtor juaj është:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Megjithatë për të drejtuar script ne nje shtetit 'pa kokë' ne duhet të përdorni:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off 

Kjo do të fillojë në makinë virtuale pa GUI dhe ta lejojë atë për të ruajtur shtetin gracefully. Argumenti i dytë fiket RDP kështu që nuk ka konflikt me dritaret RDP, apo të ju jap një mesazh për të dëgjuar në portin 3389. Emri virtuale makinë është çështje të ndjeshme!

Tjetra, ne do të duhet për të vendosur dritaret deri me shkelm off VM tonë punëtor herë në makinë ka qenë i papunë. Për ta bërë këtë (në Windows XP) ju do të duhet të shkoni Start -> Programs -> Te gjitha Accessories -> Sistemit Tools -> detyrat kohore si më poshtë:

Klikoni Next për 'Shto detyrë kohore s Gallery ndjekur nga shfletoni për të shtuar një program me porosi. Shkoni tek shkrimin tuaj VBoxManage dhe klikoni OK. Orari detyrën tuaj për ndonjë prej opsioneve (ne do të ndryshojë këtë në një minutë) dhe të vazhdojë. Pas duke lënë mënjanë ekranin e ardhshëm dritaret do t'ju kërkojë që ju dëshironi për të drejtuar këtë detyrë, unë do të sugjeroj ose 'Administrator' ose duke krijuar një përdorues të ri të privilegjuar. Mos harroni ne nuk duam të ndërhyjë në llogarinë e stafit standarde në makinë në çdo pikë. Kliko ardhshëm dhe të shikoni opsionet e tregojnë të avancuara për këtë detyrë.

Deri në fund të textbox drejtuar shtoni vargun tonë 'startvm GridMachine' dhe të sigurojë që të kandidojë vetëm kur keni hyrë në është lënë unticked. Vizitoni detyrën orar tjetër dhe të ndryshojë orarin zbritur poshtë në opsionin 'kur boshe', të zgjedhin sasinë e kohës që ju dëshironi makinë të jetë boshe para se të lëvizin për në butonin e ardhshëm.

Së fundi untick opsionin i cili thotë ndaluar detyrën në qoftë se ajo ka qenë duke sasi të X të kohës, por mos shënoni mundësi për të ndaluar detyrën nëse makina nuk është më e papunë.

Kjo është ajo pastaj për setup pritës dritare!

Përmbledhje

Në këtë pjesë ne kemi ngritur një makinë virtuale për të vepruar si një punëtor, si dhe mënyrën në të cilën ne e quajmë dhe ekzekutuar të përpunimit tona të punës Scripts (për vete një script PHP). Nga këtu shohim se si për të krijuar kopje tona e dritareve ta nisni makinë virtuale në mënyrë të pa kokë kur kompjuteri bëhet i papunë, dhe për të shpëtuar gjendjen e saj kur përdoruesi rifillon përdorimin e makinës. Shpresojmë në këtë pikë ju jeni duke parë sa e thjeshtë është për të ngritur një sistem të tillë dhe janë të kruhet për të marrë disa eksperimente do veten!

Herën tjetër

Në Pjesën 4 ne do të jetë në kërkim të përdorur mjetet për të siguruar që ju xhironi versionin më të fundit të burimeve të kodit dhe të dhënat në mënyrë që rezultatet e arritura janë gjithmonë up-to-date me informacionin e biznesit të fundit dhe logjikës.

Komente (3)

Nga Steven Lloyd Watkin , e premte 4 dhjetor 2009 11:03 pm

Hyrje

Unë punoj në një kompani ku kemi drejtuar shumë punë grumbull përpunimit miliona e të dhënave e të dhënave çdo ditë dhe unë kam qenë duke menduar kohët e fundit për të gjitha makinat që ulen çdo ditë duke bërë asgjë për disa orë. A nuk do të jetë mirë në qoftë se ne mund të përdorni këto makina për të forcuar pushtetin e përpunimit të sistemeve tona? Në këtë grup të neneve Unë do të shikojmë në përfitimet potenciale të punësuar një zyrë rrjet duke përdorur mjedise virtualised.

Në Pjesën 4 ne shikuar në duke përdorur mjete për të siguruar që ne xhironi versionin më të fundit të burimeve të kodit dhe të dhënat në mënyrë që rezultatet e arritura janë gjithmonë up-to-date me informacionin e biznesit të fundit dhe logjikës.

Para-vendosjen

Para vendosjen e sistemit tuaj të rrjetit, nëse ka një gjë që ju bëni dhe një gjë vetëm se është pikë referimi sistemin tuaj aktual! Pa marrë parasysh se çfarë ju tregoni me kolegët rreth asaj se si shumë punë shtesë sistemin tuaj do të bëjë nëse nuk keni numrat për të mbështetur këtë ide garancitë tuaja nuk janë asgjë. Pra,

• sa të dhënat mund të përpunojë momentalisht? Per Day? Në orë?
• Sa kohë e bën atë në mënyrë tipike të marrë për ta kthyer rreth një punë?
• Sa më shumë kapacitet keni?

Ka edhe pyetje shtesë:

• Nqs serveri juaj e përpunimit (ose një nga serverat tuaj të përpunimit) shkon poshtë si do të ndikojë kjo aftësitë tuaja, do të jeni të gjymtuar?
• Cilat jane avantazhet e ju shpresoni / presin për të marrë nga një sistem rrjetit?
• Janë makina zyrën tuaj në gjendje të konkurrojnë në punë?
• A juaj (ose mund Punë të konvertohet) që wrok në këtë stil të rrjedhshëm?

Pika e fundit e madhe është që të marrë kohën tuaj për çdo ndryshim të madh si ky. Update kodin tuaj të përpunimit të punojnë duke përdorur metodologjinë e re, reperit përsëri. Ndoshta krijuar serverin tuaj të përpunimit për të drejtuar një makinë virtuale, pas gjithë serverin tuaj të përpunimit do të jetë vetëm një tjetër punëtor (vetëm një shumë të fuqishme relativisht). Lejo proces i ri për të zgjidhur.

Dislokimi

Sugjerimi im do të jetë për pop në një fundjavë të zyrës të kryejnë të gjitha instalimet dhe setup. Bëni këtë vetëm para dy javë pushim dhe lënë kështu të tjera të varfër djalë që të merren me pasojat ... ndoshta jo ...

Vendosja e një sistemi si ky duhet të jetë i ngadalshëm. Pavarësisht nga kjo janë relativisht të thjeshtë për të ngritur këtë sistem do të ndikojë në tërë infrastrukturën tuaj zyre (edhe një digjital). Së pari, rrokulliset nga një çift të makinave në një kohë, trafiku monitorimin e rrjetit, si pret punonjësi të kryer mbi një bazë të ditë-për-ditë. Ju mund të kenë nevojë për të ndryshuar konfigurimin tuaj të punës në përgjigje të gjetjeve tuaja.

Pasi sistemi i ka zgjidhur me një makineri pak (lejon thonë se 10% e të gjitha makinave të zyrës, dmth 5) të mbajtur rrjet të trafikut të monitorimit dhe makinë host performance. etapë tjetër përsëri, ju duhet tani të përpunimit punë 33% më shumë se standardeve tuaj të parë. Kontrolloni kjo është kështu, ose që ju jeni të paktën në këtë ballpark. Nëse jo, të hetojë atë që po ndodh para se të lëvizin. Përsëriteni këtë cikël deri sa ju për fat të mirë kanë të gjitha makinat e zyrës duke vrarë pa performancën individuale apo makine bluarje rrjetin tuaj në vend numëro.

Në të gjitha kohërat të mbajtur krahasime, edhe pas të gjitha dislokimet janë bërë. Kontrolloni se si përditësime të reja kod të ndikojë në shpejtësinë e sistemit tuaj, kontrolloni të gjithë punëtorët janë raportuar në përpunimin dhe vende pune. Ngadalë (shumë ngadalë) Rritja konfigurimin tuaj të punës për të marrë maksimumin nga punëtorët tuaj dhe rrjetit.

Stop!

Çfarë ndodh nëse ju doni për të ndaluar punëtorët tuaj të kandidonte në një kohë? Ata janë të gjithë atje duke, regjeneruese, dhe duke u përpjekur të mirën e tyre për një proces të dhënave si insekte uritur. Përgjigja mund të duket e qartë, por me vlerë të tij duke shtuar se vetëm në rast se neglizhohet saj. Thjesht editojnë shkrimit tuaj të përpunimit me një dalje (0) ose vdesin () ose disa deklarata të tjera për të vrarë punën tuaj të përpunimit. Një arsye e rëndësishme pse ne gjithmonë përpiqemi për të rinovuar të shkrimit të fundit të përpunimit para çdo afat!

Sistemi Demonstration

Në mënyrë që të shkruaj këtë sërë artikujsh të shkurtër dhe unë krijuar një rrjet shumë të vogël për të demonstruar e teknologjive dhe metodologji. Kam lexuar shumë artikuj, mësime, dhe të përdoren mjete të ndryshme për të setup dhe vëzhguar se çfarë po ndodhte. Në asnjë mënyrë nuk kam shkuar jashtë dhe i ngopur një zyrë të tërë me trafikun dhe as kam pasur akses në një PC të rregullt anëtarët e stafit për të parë se si performanca host ishte prekur.

Sistemi im demonstratë ishte shumë e përulur të vërtetë. I përdorur desktop tim të rregullt të ngritur si një server të kontrollit të punës. Në këtë kisha instaluar mySQL server instaluara ngritur si një mjeshtër në përsëritje, PHP , Â dhe SVN të lidhura nëpërmjet Apache (për qasje nëpërmjet VM punëtor).

Unë pastaj krijuar një makinë punëtor CentOS në VirtualBox në një 6 vjeçar laptop të vjetër Windows XP. Unë të setup detyrave të planifikuara siç specifikohet pas kopjimin e VM mbi makinë dhe le të shkojnë.

Makinë virtuale u ngrit me PHP, përmbysje, dhe mySQL. I kontrolluar nga një degë të quajtur 'punonjës' nga kontrolli depo tim të punës servers dhe e bëri që ajo të mund të përditësuar duke përdorur 'svn freskimi'. Next kam Setup MySQL si një skllav dhe kontrolluar se të dhënat u përsëritur nga MySQL në server të kontrollit të punës deri në VM punëtor. Pas gjithë kësaj unë setup script bash dhe punë cron.

Script ime përpunimit thelb shkoi përgjatë vijave të këtë (gjëra shumë e thjeshtë):

• Lexoni në fushën e emrit
• Numëruar numrin e emrave të ngjashme në një tryezë nga burimi i të dhënave të mbajtur në VM
• Numëruar numrin e emrave, si emrit të mësipërm, por ndarjen e hapësirave nga ana dmth emri, të mesëm, mbiemri)
• Përsëritet këtë proces 1000 herë

Çdo punë e mori rreth 20 minuta për të kandiduar. Në një moment kam hapur disa kopje të VM punëtor në laptopë dritaret dhe shikonte punët e të kontrolluar nga jashtë, secili prej adresave IP punëtore. Në këtë pikë unë gjithashtu konfirmoi se përsëritje automatikisht rifilluar.

Lënia laptopë për të papunë rezultoi në një punëtor filluar të përpunojë punë nga serveri kontrollit të punës. Kur rifillimin e përdorimit laptop ka pasur një vonesë prej rreth 30-60 sekonda, kjo është një sasi e drejtë të kohës dhe stafi do të duhet të bëhen të vetëdijshëm se makina e tyre mund të bëj një pauzë për një kohë të shkurtër, kur kthehen në makinë. Makina të reja nuk mund të ketë një pauzë për këtë kohë. Përfitimi i shumës së përpunimit të kryera nga këto makina gjatë periudhave të kota do të jenë më të mëdha më shumë se anëtarë të stafit që kanë të prisni një periudhë të shkurtër (të themi 1 minutë) erdhi në makinat e tyre të një mëngjes (unë shpesh presin më gjatë se kjo për një mbrojtës e Windows rinovuar për të marrë vendin) me kusht që ato janë bërë të vetëdijshëm për këtë (koha e dobishme për të rrëmbyer një kafe në mëngjes!).

Në përgjithësi unë të ndjehen të sigurt që kam treguar e teknologjive që mund të përdoren për të krijuar një sistem të tillë. Unë kam treguar se një sistem i tillë funksionon në një shkallë të (shumë) të vogël dhe me disa më shumë eksperimente mund të shkallëzuar deri të shfrytëzojë burimet e makinave në një zyrë. Nëse unë nuk do të marrë deri në pikën e bërë këtë unë do të jetë shumë i interesuar të di / shohim kur dikush tjetër bën.

Konkluzionet e vlerësimit /

Hapi i ardhshëm do të jetë e qartë që në fakt të marrë një shembull të vërtetë botërore dhe të fillojnë për të vendosur një sistem të tillë si ky brenda një mjedis zyre dhe shikoni se çfarë ndodh. Kërkuar një biznes që të angazhohen për këtë pa një kompani gjurmë që flakëron për të provuar të teknologjisë dhe të efektivitetit mund të jetë pak e vështirë. Grid / informatikë Shpërndarë është shumë popullor është disa qarqe dhe ka disa aplikacione të madhe të ushqimit (BIONC, SETI @ Home, Folding @ Home, etj). Unë nuk e bëri, megjithatë, të gjejnë një shkallë të vogël dhe të sistemit të thjeshtë si kjo në kërkimet e mia që mund të jetë i mbështjellë brenda një mjedis zyre.

I krijuar një sistem në thelb të lirë duke përdorur software më së shumti me burim të hapur dhe mjetet në dispozicion në pothuajse çdo zyrë. Teknologjitë u demonstruan në thelb dhe të tregojë për të kryer dhe të punojnë ashtu siç pritet. Shpresojmë që unë kam treguar se me punë jo shumë dhe me një organizim shumë të thjeshtë ju mund të vendosë një rrjet zyre sistem informatikë që është i fuqishëm, të lirë, Â shkallëzuar dhe të gjithë në të njëjtën kohë.

Pasi një sistem është dhe drejtimin nuk ka pothuajse asnjë fund në shumën e customization dhe përmirësime ju mund të bëni. Për statistikat shembull / benchmarking lehtë mund të shtohet duke treguar vlerën e një sistemi të tillë çdo ditë. Makina të reja mund të shtohen shpejt dhe me lehtësi si dhe kur ata arrijnë me përmirësimet hardware ekzistues të përkrahur pushtetin tuaj përpunimit.

Unë shpresoj se ju kam gëzuar lexuar këtë seri artikujsh dhe saj ju dha ushqim për të menduar në drejtimin e një sistemi të rrjetit zyre. Zgjidhja e paraqitur këtu jo domosdoshmërisht do të punojë në të gjitha situatat, por duhet të jetë i adaptueshëm për të lejuar ju që të merrni përpunimi i të dhënave juaj bëhet duke përdorur zgjidhjen tuaj.

Ju lutem mos ngurroni të më dërgoni ndonjë koment, korrigjimeve, ose përmirësimet dhe unë do të bëj çmos që ta mbajmë këtë artikull përditësuar të ndeshjes.