Evilprofessor.co.uk »papunë

Posts tagged: boshe

Grid Computing Zyra e ambiente duke përdorur Virtual - Pjesa 3

Nga Steven Lloyd Watkin , e premte 4 dhjetor 2009 11:37 pm

Hyrje

Unë punoj në një kompani ku kemi drejtuar shumë punë grumbull përpunimit miliona e të dhënave e të dhënave çdo ditë dhe unë kam qenë duke menduar kohët e fundit për të gjitha makinat që ulen çdo ditë duke bërë asgjë për disa orë. A nuk do të jetë mirë në qoftë se ne mund të përdorni këto makina për të forcuar pushtetin e përpunimit të sistemeve tona? Në këtë grup të neneve Unë do të shikojmë në përfitimet potenciale të punësuar një zyrë rrjet duke përdorur mjedise virtualised.

Në pjesën e 2 kemi shikuar në punë një server do të kandidojë, dhe sa punë duhet të konfigurohet në mënyrë që të arrihet shuma më e madhe e përpunimit ndërsa të siguruar që çdo punë është përpunuar pa dyshim.

Ngritja punëtor tuaj - ose server butë

Hapi i ardhshëm në këtë proces është për të ngritur punëtorët tuaj virtuale. Për këtë unë jam duke shkuar për të përdorur një instalimin e CentOS përdorur VirtualBox. Unë jam duke shkuar për të instaluar MySQL dhe PHP në server, i njohur gjithashtu si (nux Li, m ySQL, P HP) ServerÂ butë (i mund të ketë bërë që emri i lart).

Install VirtualBox në dritaret kompjuterin tuaj (ndiqni lidhjen)
Shkarkoni dhe instaloni CentOS simbolit aktual version 5.3) brenda një makine të krijuar virtuale

Nuk ka asnjë pikë unë do të këtë ka ndoshta s 1000 'e mësime të mëdha atje (në rregull, këtu është një: Krijimi dhe ManagingÂ CentOS makinë virtuale nën VirtualBox ). Pika e rëndësishme të theksohet që unë mendoj është se unë i quajtur makinë im virtual GridMachine.

Sa i përket zgjedhje e mi të klientit virtualisation dhe sistemin operativ të shkuar nuk ka asnjë arsye bindëse e madhe për çdo zgjedhje. VirtualBox është diçka që unë e përdor në kompjuterin tim në shtëpi dhe është mbështetur nga tre sistemet operative të mëdha. Unë zgjodha CentOS si një OS të saj të mirë të qëndrueshme dhe unë e përdorin atë në serverin tim web. Unë jam një besimtar i madh në mjetet e duhura për punë (edhe pse unë jam duke aplikuar "përdorim të shpejtë dhe të lehtë për ju 'mentalitetit këtu), kështu që nëse X sistemit operativ shkon kodin tuaj të shpejtë dhe më efikase të përdorin që në vend :)

E rëndësishme të sigurohemi që VM juaj përdor DHCP, ndryshe për çdo makinë të re virtuale do të duhet të jetë konfiguruar vete e cila është diçka që ne nuk want.By përdorur DHCP ne nuk kemi nevojë për konfigurimin e rrjetit settings individualisht për makinat punëtore, DHCP do t'ia nga IPS për ju. Prandaj, ju mund të kopjoni kompjuterin tuaj virtuale në lidhje me zyrën e pa shqetësuese në lidhje me vendosjen e çdo një dorë (kjo përmirëson scalability dhe redukton administratën punëtor).

Procesi që ju duhet të synojë për të arritur do të jetë për të marrë një makinë të re fizike, install VirtualBox, dhe pastaj shumë e shumë të vendosur imazhin virtual pa shumë tjetër. Kjo mund të jetë i mençur për të setup të gjithë punëtorët tuaj në një subnet të ndryshme në mënyrë që ju mund të paktën të shihni se sa shumë makina të vrapojnë. Ju gjithashtu duhet për të ngritur makina tuaja në një qira të gjatë apo të pakufizuar qira DHCP.

Si për të kandiduar Punësim në punëtori

Kjo është një fushë interesante dhe ka disa metoda të vlefshme për përpunimin e vendeve të punës në punëtori. Këtu unë do të diskutojë vetëm dy më të qartë:

Përherë drejtimin e shkrimit: Një skenar, të jetë ajo një script shell, apo një script PHP kryhet një herë në punëtorit dhe shkon si pjesë e një lak pafund. Unë kam zbritur këtë metodë si një përplasje e shkrimit dhe potencialisht punëtorët tuaj do të pushojë për të drejtuar pa një lloj ndërhyrjeje.
Bazuar cron script ekzekutimin: Çdo minuta X daemon cron nis një thirrje për shkrimin tuaj për të marrë gjërat e sipër. Pa disa kontrollin kjo mund të çojë në shumë kopje shumë për drejtimin e shkrimit tuaj punëtor.

Vendimi im ishte për të shkuar me cron-i cili nis një skenar shell çdo minutes.Â 10 dorëshkrim ime shell kryen detyrat e mëposhtme:

Merrni një listë proces dhe ky grep për 'php-së. Nëse nuk u gjet pastaj të vazhdojë.
Telefononi kodin tuaj të punës, në rastin tim kjo do të jetë PHP diçka në bazë
Script punëtor përfundon garën e saj
Gati për të shkuar përsëri në thirrjen e ardhshme të përshtatshme

Script im bash duket diçka si në vijim:

  #! / Bin / sh
 nëse ps sëpatë | grep grep v-| grep php> / dev / null
 pastaj
     echo "Jobi është aktualisht përpunimi, dalje"
 tjetër
     echo "Jobi nuk është në ekzekutim, fillojnë tani"
     php yourJobProcessingScript.php
 fi

Shënim: echo-së janë pothuajse krejtësisht e pakuptimtë, por mund të ndihmojë personin tjetër që vjen së bashku të përpiqen dhe të redaktoni ato.

Që përfundon në ngritjen e makinës virtuale punëtor, të shpejtë, i thjeshtë dhe e lehtë për të kopje për çdo pjesë të re të pajisjeve që është marrë. The 'zgjuarsia "e sistemit të rrjetit të vërtetë nuk është në OS visualized, të saj të gjithë të bëjnë me kodin e krijuar në punët e procesit, konfigurimi të punës, dhe në bërjen e sigurt se puna shkon kur është e përshtatshme (dmth. kur ushtria është i papunë ).

Ngritja e Windows në nisje Punëtorëve

Detyra e parë është që të punojë jashtë komandën e nevojshme për të drejtuar makinën virtuale nga command line dritaret. Nëse e keni instaluar VirtualBox në vendin e paracaktuar dhe e keni emrin GridMachine tuaj punëtor, atëherë komanda e nevojshme për të ngarkesës deri punëtor juaj është:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine

Megjithatë për të drejtuar script ne nje shtetit 'pa kokë' ne duhet të përdorni:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off

Kjo do të fillojë në makinë virtuale pa GUI dhe ta lejojë atë për të ruajtur shtetin gracefully. Argumenti i dytë fiket RDP kështu që nuk ka konflikt me dritaret RDP, apo të ju jap një mesazh për të dëgjuar në portin 3389. Emri virtuale makinë është çështje të ndjeshme!

Tjetra, ne do të duhet për të vendosur dritaret deri me shkelm off VM tonë punëtor herë në makinë ka qenë i papunë. Për ta bërë këtë (në Windows XP) ju do të duhet të shkoni Start -> Programs -> Te gjitha Accessories -> Sistemit Tools -> detyrat kohore si më poshtë:

Klikoni Next për 'Shto detyrë kohore s Gallery ndjekur nga shfletoni për të shtuar një program me porosi. Shkoni tek shkrimin tuaj VBoxManage dhe klikoni OK. Orari detyrën tuaj për ndonjë prej opsioneve (ne do të ndryshojë këtë në një minutë) dhe të vazhdojë. Pas duke lënë mënjanë ekranin e ardhshëm dritaret do t'ju kërkojë që ju dëshironi për të drejtuar këtë detyrë, unë do të sugjeroj ose 'Administrator' ose duke krijuar një përdorues të ri të privilegjuar. Mos harroni ne nuk duam të ndërhyjë në llogarinë e stafit standarde në makinë në çdo pikë. Kliko ardhshëm dhe të shikoni opsionet e tregojnë të avancuara për këtë detyrë.

Deri në fund të textbox drejtuar shtoni vargun tonë 'startvm GridMachine' dhe të sigurojë që të kandidojë vetëm kur keni hyrë në është lënë unticked. Vizitoni detyrën orar tjetër dhe të ndryshojë orarin e zbritur poshtë në opsionin 'kur boshe', të zgjedhin sasinë e kohës që ju dëshironi të makinës që të jetë boshe para se të lëvizin për në butonin e ardhshëm.

Së fundi untick opsionin i cili thotë ndaluar detyrën në qoftë se ajo ka qenë duke sasi të X të kohës, por mos shënoni mundësi për të ndaluar detyrën nëse makina nuk është më e papunë.

Kjo është ajo pastaj për setup pritës dritare!

Përmbledhje

Në këtë pjesë ne kemi ngritur një makinë virtuale për të vepruar si një punëtor, si dhe mënyrën në të cilën ne e quajmë dhe ekzekutuar të përpunimit tona të punës Scripts (për vete një script PHP). Nga këtu shohim se si për të ngritur kopje tona e dritareve për të filluar deri makinë virtuale në mënyrë të pa kokë kur kompjuteri bëhet i papunë, dhe për të shpëtuar gjendjen e saj kur përdoruesi rifillon përdorimin e makinës. Shpresojmë në këtë pikë ju jeni duke parë sa e thjeshtë është për të ngritur një sistem të tillë dhe janë të kruhet për të marrë disa eksperimente do veten!

Herën tjetër

Në Pjesën 4 ne do të jetë në kërkim të përdorur mjetet për të siguruar që ju xhironi versionin më të fundit të burimeve të kodit dhe të dhënat në mënyrë që rezultatet e arritura janë gjithmonë up-to-date me informacionin e biznesit të fundit dhe logjikës.

Artikuj , Computing , Përgjithshëm , Linux , PHP , Programim Web | Aplikimi , CentOS , rrjetit , boshe , Limp , Linux , PHP , detyrat e planifikuara , Sun , VBoxManage , virtuale , virtual machine , VirtualBox , Windows XP , punëtor , Zend

Grid Computing Zyra e ambiente duke përdorur Virtual - Pjesa 1

Komente (1)

Nga Steven Lloyd Watkin , e premte 4 dhjetor 2009 11:23 pm

Hyrje

Si PHP zhvilluesi unë jam duke shkuar për të përdorur mjetet që përdorin çdo ditë domethënë, Linux, MySQL , PHP, VirtualBox dhe përmbysje pushteti simbolit SVN). Megjithatë, unë shpresoj se ky udhëzues do të përshtaten me gjuhët e tjera dhe teknologjive ashtu si edhe.

I japin zgjidhje do të jetë shumë lirshëm në bazë të llojit të përpunimit të ne do të duhet për të arritur megjithatë kjo nuk mund të jetë e vërtetë përmes të nenit gjithë si unë do të ndryshojnë gjërat për thjeshtësi, ose për të prodhuar skenarët më interesante e përdorimit.

Këto mjedise virtualised do të kandidojë në makinat e dritareve pasi kjo është ajo që shumica e zyrave të kandidojë. Përpunimi se makina zyra nuk duhet të ndërhyjë me stafin duke përdorur ato makina, duhet të kërkojnë asnjë mirëmbajtje në makinë, dhe të jenë lehtësisht të dislokueshme për makina të reja si ato të bëhen të disponueshme. Gjithashtu, makinat e reja virtuale nuk duhet të kërkojnë ndonjë konfigurim shtesë që kjo në masë të madhe ul scalability dhe lehtësinë me të cilën sistemi i rrjetit mund të zgjatet.

Pse vendosë një Computing Grid Office?

Së pari ju mund të menduarit, jo pse vetëm përdorni një burim cloud tilla si platformë EC2 Amazon ? Well arsyet mund të jenë disa, për shembull:

Ju nuk do të besojë të dhëna të caktuara për një mjedis cloud
Ju nuk mund të vënë të dhëna të caktuara në një mjedis cloud për arsye ligjore (të dhëna p.sh. duke e lënë vendin), potencialisht për arsye ligjore, p.sh. të dhënat NHS.
Ju dëshironi të mbani njësitë tuaja përpunimit të mbyllur dhe të ketë kontroll të plotë mbi hardware shumë
Ju nuk keni fondet e projektit për të kandiduar raste reve
Zyra juaj nuk ka një lidhje në internet dhe për këtë arsye është e mundur të mos e saj për të përdorur një burim të re
Ju nuk më pëlqen shiu, retë sugjerojnë shi, prandaj ju mbani edhe larg

Unë jam i sigurt lista mund të vazhdojë, por unë mendoj se është mjaft tani për tani.

Avantazhet e një Grid Computing Office

E pra, lejon të bëni disa matematika (dhe në stilin e vërtetë fizikë lejon të bëjmë disa supozime thella). Paramendoni ju keni madhe server beefy përpunimit running 100 punë në ditë. Në zyrën tuaj ju kemi 50 makina të cilat janë të papunë 16 orë në ditë, secili prej këtyre makinave është 10% aq i fuqishëm sa pres beefy tuaj të përpunimit. (Të gjitha rezultatet këtu janë rrumbullakuar të nënvlerësojë rritjen e performancës).

Pra, 1 makine * energji 10% * 2/3 Ora = 0,067 dmth 1 përpunimit desktop në kohë boshe mund të procesit 6 punë të plota në ditë.

Nëse ju tani shkallë këtë ide ai merr 15 Desktop boshe për një proces sa më shumë punë në ditë si server kryesor juaj përpunimit bën.

Pra, në zyrën tonë pretendojë prej 50 makinave ne mund të rrisë fuqinë tonë të përpunimit nga 1 server deri në 4 serverat e plotë të përpunimit, ose ne mund të përpunimit 400 punë në ditë në vend të 100.

Njoftim për asnjë investim në harduer të ri Kompania juaj ka rritur vetëm përpunimin e tij grumbull kapacitet 4 herë! Potencialisht ju jeni duke shkuar për të rritur përdorimin tuaj të energjisë, por nga mjediset e zyrës më të unë kam qenë në makina janë lënë në përgjithësi në natës anyway, kështu që ju mund të shihni këtë si një nismë e gjelbër.

Avantazhe të tjera gjithashtu do të thotë se investimi në re (ose përditësuar) Serverat e përpunimit mund të shtyhet nëse makina juaj e zyrës janë të mjaftueshme dhe se si ju të përmirësuar fuqinë e makinave të zyrës tuaj Rrjeti zyra juaj të bëhet më e fuqishme automatikisht.

Technologies

Çfarë ju duhet? (Ose më saktë çfarë kam përdorur):

Makina kota zyre (ne rastin tim një rezervë e vjetër dritare laptop XP)
VirtualBox (ose në një tjetër klient virtualisation software)
Një makinë virtuale me PHP, MySQL runningÂ drejtimin e një prerje poshtë OS, unë jam duke e quajtur këto servers mi squllur :)
Punë për të drejtuar
Job server (mund të jetë një tjetër makinë virtuale diku)

Punët tipike

Llojet e punës që ky sistem është projektuar për të kandiduar është si vijon:

Sistemi merr një listë të të dhënave mbi të cilat ne kemi nevojë që të shkojë dhe të kthehet rezultatet
Përshtatja përfshin kontrolluar / në kërkim disa (mjaft statik) të dhënat e burimeve
Rezultatet nga burimet e të dhënave mund të kërkojë validation mëtejshme, bashkimi, kontrollimi i burimeve të të dhënave shtesë në përgjigje të rezultateve të
Data është kthyer me të dhënat që përputhen, vërtetuar plotësisht dhe të përpunuara
Çdo rekord brenda një punë është e pavarur nga pjesa tjetër

Pra, në thelb ne jemi duke kërkuar në drejtimin e punëve të cilat kërkojnë një përzierje të Lookups bazës së të dhënave dhe disa crunching numër, një skenar mjaft tipike në një mjedis të biznesit.

Zgjidhjet e rrjetit nuk janë vetëm të dobishme për përpunimin e punë të këtij lloji. Në thelb, çdo proces i cili mund të ndahen në njësi të pavarura mund të kandidojë në paralele. Shiko këtë wikipedia shembuj dhe më shumë informacion: Computing Grid , por disa shembuj të famshëm janë të SETI @ home dhe BIONC . Nuk janë korniza për drejtimin rrjetet kompjuterike, dhe këto janë edhe me vlerë në kërkim.

Çfarë do të arrijmë?

Deri në fund të këtyre artikujve Unë shpresoj për të treguar se vendosjen e një rrjet zyre nuk duhet të jetë konsumojnë jashtëzakonisht të shtrenjta apo të kohës. Unë jam duke shkuar për të diskutuar:

Vendosja e sistemit të kontrollit të punës, konfigurimi punë
Krijimi i një makinë të përshtatshme të përpunimit virtuale
Si të setup sistemin në një makinë dritare
Siguruar që ju jeni duke përdorur kodin e fundit dhe të dhënat
Vendosja e krahasimit
Duke parë përpara

Do të jetë ndërtesë (ok kam ndërtuar, atëherë shkroi këtë) një kërkesë për shembull për të testuar konceptet në një makinë lokal duke përdorur Windows XP dhe ime, GridMachine s Gallery makinë virtuale. Kontrolli ime punë server do të jetë makinë im kryesor që shkon Fedora 11 .

Kjo është në asnjë mënyrë nuk ka për qëllim të demonstrojnë një sistem të plotë pune të fuqishme, e saj të thoshte më shumë një demonstrim dhe diskutimin duke treguar se këto gjëra mund të arrihet në një hapësirë të arsyeshme të shkurtër kohe dhe me pak shpenzime. Ju lutem mos ngurroni të më dërgoni ndonjë koment, korrigjimeve, ose përmirësimet dhe unë do të bëj çmos që ta mbajmë këtë artikull përditësuar të ndeshjes.

Herën tjetër

Në pjesën 2 Unë do të fillojë duke shikuar në sistemin e kontrollit të punës, dhe shikoni se si Punë duhet të konfigurohet në mënyrë që të arrihet shuma më e madhe e përpunimit ndërsa të siguruar që çdo punë është përpunuar pa dyshim.

Artikuj , Computing , Grid Computing , Linux , PHP | grumbull , cron , database , db , rrjetit informatikë , boshe , Linux , PHP , përpunimin , përmbysje , svn , virtuale , VirtualBox , dritaret