Kommentaarid (3)

Autor Steven Lloyd Watkin , reede 4. detsember 2009 23:37

Sissejuhatus

Töötan ettevõttes, kus võtame palju partii töökohti töötlemise miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad mis istuvad iga päev midagi mitu tundi. Kas poleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemi? Selle komplekti esemete ma lähen vaatama potentsiaalsete tulude tööd kontoris võrku kasutades virtualised keskkond.

Aastal osa 2 tarkastelimme töökohti server töötab ja kuidas töökohti tuleks seadistada, et saavutada suurim summa töötlemine, tagades samas, et iga töö on töödeldud ilma jätma.

Luua oma töötaja - või Limp server

Järgmine samm on luua oma virtuaalse töötajaid. Selleks ma kasutada paigaldus CentOS kasutades VirtualBox. Ma lähen installida MySQL ja PHP on server, mida tuntakse ka lonkama (Li Nux, m ySQL, P HP) Servera (I võis selle nime üles).

• Installi VirtualBox Windowsi masin (järgida link)
• Laadida ja installida CentOS (praegune versioon 5.3) raames loodud virtuaalne masin

Ei ole mõtet mulle läheb see seal on ilmselt 1000 on väga õpetused seal (ok, siin on üks: Loomine ja Managing CentOS virtual machine all virtualbox ). Oluline on märkida, ma arvan, et ma helistasin oma virtuaalse masina GridMachine.

Mis puutub minu valikuid virtualiseerimine klient ja operatsioonisüsteemi minna ei ole suur mõjuv põhjus iga valik. VirtualBox on midagi, mida ma kasutan on minu kodu masin ja seda toetab kolm suurt operatsioonisüsteemidest. Valisin CentOS oma hea stabiilne OS ja ma kasutan seda oma veebiserver. Ma usun õiged vahendid selleks tööks (kuigi ma kohaldamisel "kasutamine kiireim ja lihtsaim teile" mentaliteet siin), nii et kui operatsioonisüsteemi X jookseb oma koodi kiiremini ja tõhusamalt kasutada selle asemel :)

Oluline on veenduda, et teie VM kasutab DHCP, muidu iga uus virtuaalne masin oleks vaja seadistada eraldi, mis on midagi, mida me ei want.By DHCP me ei vaja seadistada võrgu seaded eraldi töötaja masinad DHCP annan läbi IP teile. Seega saate kopeerida oma virtuaalne masin umbes kontoris muretsemata, milles igaüks up (see parandab mastaapsuse ja vähendab töötaja manustamist).

Protsess sa peaksid püüdma saavutada oleks saada uued füüsilise masina install VirtualBox ja siis päris palju juurutada virtuaalset pilti ilma palju muud. Oleks mõistlik seadistada kõik oma töötajate erinevaid subnet, nii et saad vähemalt näha, kui palju masinad töötavad. Peate ka seadistada masinaid pikaajalise rendilepingu või määramata rendile DHCP.

Kuidas käivitada Jobs on töötaja

See on huvitav ala ja seal on mitu kehtivat töötlemis töökohta töötaja. Siin ma ainult arutada 2 kõige ilmsem:

• Alatasa töötab skript: skripti, olgu see shell skript, või PHP skript käivitatakse üks kord töötaja ja jookseb osana lõpmatu silmus. Olen maha selle meetodi ühe krahhi skripti ja võib-olla oma töötajate kaotab joosta ilma mingi sekkumiseta.
• Cron stsenaariumis täitmine: iga X minuti cron deemon avalöögi kõne oma script asjad minema. Ilma teatud kontroll võib see kaasa tuua palju palju koopiaid oma töötaja script töötab.

Minu otsus oli minna cron mis algab shelliskripti iga 10 minutes. Minu shell script täidab järgmisi ülesandeid:

1. Saada protsesside nimekirja ja grep seda "php". Kui ei leita siis jätkata.
2. Helista oma töö kood, minu puhul oleks see midagi PHP põhineb
3. Töötaja script lõpetab run
4. Valmis minema uuesti järgmisel korral kõne

Minu bash skript näeb välja umbes selline:

  #! / Bin / sh
 kui ps ax | grep-v grep | grep php> / dev / null
 siis
     echo "Töö on praegu menetlemise, exit"
 teine
     echo "Töö ei tööta, alusta siit"
     php yourJobProcessingScript.php
 fi 

Märkus: ECHO on peaaegu täiesti mõttetu, kuid võib aidata järgmise isiku, kes tuleb mööda, et proovida ja neid muuta.

See lõpeb loodud töötaja virtuaalne masin, kiire, lihtne ja kerge kopeerida iga uus seade, mis on laekunud. "Nutikust" skaala süsteem tõesti ei ole visualiseeritud OS, selle kõik pistmist kood loodud protsessi töökohti, töö konfiguratsiooni ning hoolitsedes, et töö läheb vajaduse korral (st kui peremees on idle ).

Seadistamine Windows algatamiseks Töötajad

1. ülesanne on töötada välja käsu vaja käivitada virtuaalse masina Windowsi käsurida. Kui olete installinud VirtualBox on vaikimisi asukoht ja sa oled nime oma töötaja GridMachine siis käsku vaja laadida oma töötaja on:

  "C: \ Program Files \ Pühap \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Kuid käivitada skripti "peata" riik on meil vaja kasutada:

  "C: \ Program Files \ Pühap \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off 

See käivitab virtuaalne masin ilma GUI ja et ta saaks päästa riik nõtkelt. 2. argument kustub RDP nii see ei ole vastuolus aknad RDP või teile sõnumi kuulamine sadama 3389. Virtuaalse masina nimi on tõstutundlik!

Edasi pead määrama aknad kuni avalöögi meie töötaja VM kui masin on idle. Selleks (Windows XP) pead minema Start -> All Programs -> Accessories -> System Tools -> Scheduled Tasks alljärgnevalt:

Seejärel klõpsa "Lisa ajastatud", millele järgneb sirvida lisada custom programmi. Navigeeri oma VBoxManage skript ja klikka ok. Planeerige oma ülesanne iga valikutest (me muuta seda minutis) ja jätkata. Pärast vahele järgmine ekraan windows küsib kes sa tahad teha selle ülesande, siis ma soovitan kas "Administrator" või luua uus priviligeeritud kasutaja. Pea meeles, me ei taha segada standard töötajad konto masin üheski kohas. Vajuta kõrval ja vaadata Näita täiustatud võimalusi selle ülesande täitmiseks.

Lõppu run tekstikasti lisada meie "startvm GridMachine" string ja tagada, et run ainult sisseloginud jäetakse märkimata. Külasta ajakava ülesande kõrval ja muuta ajakava rippmenüüst valik ", kui idle", vali Aega soovite, et arvuti on idle enne liikuma järgmisele alt.

Lõpuks eemalda linnuke võimalus, mis sätestab peatada ülesanne, kui see on kestnud X aega, kuid ära märgistada võimalus lõpetada ülesanne, kui masin ei ole enam jõude.

Ongi siis Windows host setup!

Kokkuvõte

Selles osas oleme loonud virtuaalse masina tegutseda töötaja, samuti seda, kuidas me nimetame ja täidab meie tööd töötlemine skripte (ise PHP skript). Siit me vaatame, kuidas luua oma koopiad aknad alustada virtuaalne masin peata režiimis, kui arvuti muutub tühikäik ja salvestada oma riik, kui kasutaja uuesti kasutamine masin. Loodetavasti sel hetkel näed, kui lihtne on luua selline süsteem ja on sügelus, et saaksin eksperimendid läheb ise!

Järgmine kord

Aastal Osa 4 me vaatleme, kasutades vahendeid, et tagada näed viimase versiooni kood ja andmeallikad, et saadud tulemused on alati up-to-date viimaste äriteabe ja loogika.

Kommentaarid (1)

Autor Steven Lloyd Watkin , reede 4. detsember 2009 11:23

Sissejuhatus

Töötan ettevõttes, kus võtame palju partii töökohti töötlemise miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad mis istuvad iga päev midagi mitu tundi. Kas poleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemi? Selle komplekti esemete ma lähen vaatama potentsiaalsete tulude tööd kontoris võrku kasutades virtualised keskkond.

Kuna PHP arendaja Ma lähen kasutada tööriistu, et ma kasutan iga päev nimelt, Linux, MySQL , PHP, VirtualBox ja õõnestamises (SVN). Kuid ma loodan, et see juhend kohaneda teiste keelte ja tehnoloogiate sama hästi.

Lahendus ma ette on väga lõdvalt põhineb tüüpi töötlemise olime vaja saavutada aga see ei pruugi olla tõsi, läbi terve artikkel, kui ma muudan asju lihtsuse või toota rohkem huvitavaid kasutamise stsenaariumid.

Need virtualised keskkonnas töötab Windowsi masinad sest see, mida enamik büroode jooksma. Töötlemistoimingud, mis bürooseadmed teha ei tohiks segada personali kasutades neid masinaid, peaks nõudma mingit säilitamisega masin ja kergesti käivituva uute masinate kui need muutuvad kättesaadavaks. Ka uus virtuaalne masin ei nõua täiendavaid konfiguratsiooni, kuna see vähendab oluliselt mastaapsuse ja lihtsus, kus grid süsteemi saab laiendada.

Miks Deploy Office Computing Grid?

Esiteks võite mõelda, miks mitte lihtsalt kasutada cloud computing ressurss nagu Amazon EC2 platvormi ? Noh põhjuseks võib olla mitu, näiteks:

• Sa ei või delegeerida teatavaid andmeid cloud computing keskkond
• Sa ei saa panna teatud andmed cloud computing keskkond juriidilistel põhjustel (nt andmete riigist lahkumist), potentsiaalselt juriidilistel põhjustel, nt NHS arvestust.
• Mida soovite säilitada oma töötlemisüksused lähedal ja on täielik kontroll riistvara liiga
• Sa ei pea projekti raha joosta pilv juhtumeid
• Oma kontoris ei ole internetiühendust ja seega ei ole võimalik kasutada pilv ressurss
• Sa ei meeldi vihm, pilved näitavad vihma, seega hoiate eemal

Olen kindel, et loetelu võiks jätkata, kuid ma arvan, et piisab nüüd.

Eelised Office Computing Grid

Noh, võimaldab teha mõningaid matemaatika (ja tõsi, füüsika stiil võimaldab teha mõned sweeping eeldused). Kujutage ette, teil on suur lihakas töötlemine serveris 100 töökohta päevas. Oma kontoris olete 50 masinad, mis on idle 16 tundi päevas, kusjuures need masinad on 10% sama võimas kui oma lihakas töötlemine Sever. (Kõik tulemused siin on ümardatud alahinnata jõudluse kasv).

Niisiis, 1 masin * 10% võimsuse * 2/3 time = 0,067, st 1 desktop töötlemiseks jõudeaeg võib töödelda 6 täis tööd päevas.

Kui te nüüd skaala selle üles võtab 15 idle lauaarvutid töödelda nii palju tööd päevas, kui teie peamine töötlemise server teeb.

Nii et meie teeselda kontoris 50 masinate saame suurendada meie töötlemise võimsus alates 1 server kuni 4 täis töötlemise serverid, või me võiks töötlemise 400 töökohta päevas asemel 100.

Teate, mitte investeeringuid uutesse riistvara firma on just tõusnud oma partii töötlemise võimsus 4 korda! Potentsiaalselt sa lähed, et suurendada oma võimu kasutamine, kuid enamik kontori keskkonnas Olen olnud masinad on üldiselt jäänud üleöö niikuinii, nii et sa ei näe seda kui roheline algatus.

Muud eelised ka tähendada, et investeeringud uutesse (või uuendatud) töötlemise serverid võib viibida, kui teie bürooseadmed on piisavad ja kui parandada õigus Teie bürooseadmed oma kontori võrku muutub võimsamaks automaatselt.

Technologies

Mida on vaja? (Või õigemini, mida ma kasutada):

• Idle bürooseadmed (minu puhul vaba vana Windows XP laptop)
• VirtualBox (või muu virtualiseerimine kliendi tarkvara)
• Virtuaalne masin PHP, MySQL running töötab kärpima OS, ma helistan need minu Limp servereid :)
• Jobs joosta
• Töö server (võib olla teise virtuaalse masina kuhugi)

Tüüpiline Töö

Tüüpi töökohti, et see süsteem on loodud töötama on järgmine:

• Süsteemi saab andmete loetelu, millele me peame vastama ja tagastab tulemusi
• Kohandamine on seotud kontrollimise / otsivad mitmed (üsna staatiline) andmeallikate
• Tulemused andmeallikate nõuda lisakontrolli, ühinevad, kontroll täiendavaid andmeallikaid vastuseks tulemusi
• Andmed tagastatakse sobitamine andmetel täielikult valideeritud ja töödeldud
• Iga kirje jooksul töö on sõltumatu ülejäänud

Nii et põhimõtteliselt me ​​vaatame töötab töökohti, mis nõuavad segu andmebaasis otsinguid ja mõned number krigistamine, mis on üsna tüüpiline stsenaarium ärikeskkonda.

Grid lahendused ei ole ainult kasulik töötlemine töökohti seda tüüpi. Põhimõtteliselt meetod, mille võib jagada iseseisvad saab paralleelselt. Vaadake seda wikipedia näiteid ja lisainfo: Grid Computing , kuid paar tuntud näited on Seti @ Home ja BIONC . On raamistike töötab arvuti võrkude ja need on ka väärt.

Mida me saavutada?

Aasta lõpuks neid artikleid Loodan, et näidata, et rakendades kontori võrku ei pea olema väga kallis ja aeganõudev. Ma lähen, et arutada:

• Luua töö süsteem, töö konfiguratsiooni
• Luua asjakohased töötlemisel virtuaalse masina
• Kuidas setup süsteem windows masin
• Tagada te kasutate uusimaid kood ja andmed
• Kasutuselevõtu ja võrdlusuuringud
• Tulevikku vaadates

Ma tulen hoone (ok ma ehitasin, siis kirjutasin selle) näiteks taotluse katsetada ideid on kohalikus masinas Windows XP ja minu "GridMachine" virtuaalne masin. Minu töö kontroll server on minu peamine masin, mis töötab Fedora 11 .

See on kuidagi demonstreerima täielikult toimiv kindel süsteem, selle tähendanud enam tutvustamist ja arutelu näitab, et need asjad on võimalik saavutada suhteliselt lühikese ajaga ja madalate kuludega. Palun saatke mulle märkusi, parandusi või parandusi ja ma teen oma parima, et hoida käesoleva artikli uuendatud sobitada.

Järgmine kord

Aastal osa 2 mul hakkab vaadates tööd kontrollisüsteemi ning uurida, kuidas tööd tuleb seadistada, et saavutada suurim summa töötlemine, tagades samas, et iga töö on töödeldud ilma jätma.