Kommentaarid (3)

Autor Steven Lloyd Watkin , reede 4. detsember 2009 23:37

Sissejuhatus

Töötan ettevõttes, kus võtame palju partii töökohti töötlemise miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad mis istuvad iga päev midagi mitu tundi. Kas poleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemi? Selle komplekti esemete ma lähen vaatama potentsiaalsete tulude tööd kontoris võrku kasutades virtualised keskkond.

Aastal osa 2 tarkastelimme töökohti server töötab ja kuidas töökohti tuleks seadistada, et saavutada suurim summa töötlemine, tagades samas, et iga töö on töödeldud ilma jätma.

Luua oma töötaja - või Limp server

Järgmine samm on luua oma virtuaalse töötajaid. Selleks ma kasutada paigaldus CentOS kasutades VirtualBox. Ma lähen installida MySQL ja PHP on server, mida tuntakse ka lonkama (Li Nux, m ySQL, P HP) Servera (I võis selle nime üles).

• Installi VirtualBox Windowsi masin (järgida link)
• Laadida ja installida CentOS (praegune versioon 5.3) raames loodud virtuaalne masin

Ei ole mõtet mulle läheb see seal on ilmselt 1000 on väga õpetused seal (ok, siin on üks: Loomine ja Managing CentOS virtual machine all virtualbox ). Oluline on märkida, ma arvan, et ma helistasin oma virtuaalse masina GridMachine.

Mis puutub minu valikuid virtualiseerimine klient ja operatsioonisüsteemi minna ei ole suur mõjuv põhjus iga valik. VirtualBox on midagi, mida ma kasutan on minu kodu masin ja seda toetab kolm suurt operatsioonisüsteemidest. Valisin CentOS oma hea stabiilne OS ja ma kasutan seda oma veebiserver. Ma usun õiged vahendid selleks tööks (kuigi ma kohaldamisel "kasutamine kiireim ja lihtsaim teile" mentaliteet siin), nii et kui operatsioonisüsteemi X jookseb oma koodi kiiremini ja tõhusamalt kasutada selle asemel :)

Oluline on veenduda, et teie VM kasutab DHCP, muidu iga uus virtuaalne masin oleks vaja seadistada eraldi, mis on midagi, mida me ei want.By DHCP me ei vaja seadistada võrgu seaded eraldi töötaja masinad DHCP annan läbi IP teile. Seega saate kopeerida oma virtuaalne masin umbes kontoris muretsemata, milles igaüks up (see parandab mastaapsuse ja vähendab töötaja manustamist).

Protsess sa peaksid püüdma saavutada oleks saada uued füüsilise masina install VirtualBox ja siis päris palju juurutada virtuaalset pilti ilma palju muud. Oleks mõistlik seadistada kõik oma töötajate erinevaid subnet, nii et saad vähemalt näha, kui palju masinad töötavad. Peate ka seadistada masinaid pikaajalise rendilepingu või määramata rendile DHCP.

Kuidas käivitada Jobs on töötaja

See on huvitav ala ja seal on mitu kehtivat töötlemis töökohta töötaja. Siin ma ainult arutada 2 kõige ilmsem:

• Alatasa töötab skript: skripti, olgu see shell skript, või PHP skript käivitatakse üks kord töötaja ja jookseb osana lõpmatu silmus. Olen maha selle meetodi ühe krahhi skripti ja võib-olla oma töötajate kaotab joosta ilma mingi sekkumiseta.
• Cron stsenaariumis täitmine: iga X minuti cron deemon avalöögi kõne oma script asjad minema. Ilma teatud kontroll võib see kaasa tuua palju palju koopiaid oma töötaja script töötab.

Minu otsus oli minna cron mis algab shelliskripti iga 10 minutes. Minu shell script täidab järgmisi ülesandeid:

1. Saada protsesside nimekirja ja grep seda "php". Kui ei leita siis jätkata.
2. Helista oma töö kood, minu puhul oleks see midagi PHP põhineb
3. Töötaja script lõpetab run
4. Valmis minema uuesti järgmisel korral kõne

Minu bash skript näeb välja umbes selline:

  #! / Bin / sh
 kui ps ax | grep-v grep | grep php> / dev / null
 siis
     echo "Töö on praegu menetlemise, exit"
 teine
     echo "Töö ei tööta, alusta siit"
     php yourJobProcessingScript.php
 fi 

Märkus: ECHO on peaaegu täiesti mõttetu, kuid võib aidata järgmise isiku, kes tuleb mööda, et proovida ja neid muuta.

See lõpeb loodud töötaja virtuaalne masin, kiire, lihtne ja kerge kopeerida iga uus seade, mis on laekunud. "Nutikust" skaala süsteem tõesti ei ole visualiseeritud OS, selle kõik pistmist kood loodud protsessi töökohti, töö konfiguratsiooni ning hoolitsedes, et töö läheb vajaduse korral (st kui peremees on idle ).

Seadistamine Windows algatamiseks Töötajad

1. ülesanne on töötada välja käsu vaja käivitada virtuaalse masina Windowsi käsurida. Kui olete installinud VirtualBox on vaikimisi asukoht ja sa oled nime oma töötaja GridMachine siis käsku vaja laadida oma töötaja on:

  "C: \ Program Files \ Pühap \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Kuid käivitada skripti "peata" riik on meil vaja kasutada:

  "C: \ Program Files \ Pühap \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off 

See käivitab virtuaalne masin ilma GUI ja et ta saaks päästa riik nõtkelt. 2. argument kustub RDP nii see ei ole vastuolus aknad RDP või teile sõnumi kuulamine sadama 3389. Virtuaalse masina nimi on tõstutundlik!

Edasi pead määrama aknad kuni avalöögi meie töötaja VM kui masin on idle. Selleks (Windows XP) pead minema Start -> All Programs -> Accessories -> System Tools -> Scheduled Tasks alljärgnevalt:

Seejärel klõpsa "Lisa ajastatud", millele järgneb sirvida lisada custom programmi. Navigeeri oma VBoxManage skript ja klikka ok. Planeerige oma ülesanne iga valikutest (me muuta seda minutis) ja jätkata. Pärast vahele järgmine ekraan windows küsib kes sa tahad teha selle ülesande, siis ma soovitan kas "Administrator" või luua uus priviligeeritud kasutaja. Pea meeles, me ei taha segada standard töötajad konto masin üheski kohas. Klõpsake nuppu Edasi ja vaadata näitavad arenenud võimalusi selle ülesande täitmiseks.

Lõppu run tekstikasti lisada meie "startvm GridMachine" string ja tagada, et run ainult sisseloginud jäetakse märkimata. Külasta ajakava ülesande kõrval ja muuta ajakava rippmenüüst valik ", kui idle", vali Aega soovite, et arvuti on idle enne liikuma järgmisele alt.

Lõpuks eemalda linnuke võimalus, mis sätestab peatada ülesanne, kui see on kestnud X aega, kuid ära märgistada võimalus lõpetada ülesanne, kui masin ei ole enam jõude.

Ongi siis Windows host setup!

Kokkuvõte

Selles osas oleme loonud virtuaalse masina tegutseda töötaja, samuti seda, kuidas me nimetame ja täidab meie tööd töötlemine skripte (ise PHP skript). Siit me vaatame, kuidas luua oma koopiad aknad alustada virtuaalne masin peata režiimis, kui arvuti muutub tühikäik ja salvestada oma riik, kui kasutaja uuesti kasutamine masin. Loodetavasti sel hetkel näed, kui lihtne on luua selline süsteem ja on sügelus, et saaksin eksperimendid läheb ise!

Järgmine kord

Aastal Osa 4 me vaatleme, kasutades vahendeid, et tagada näed viimase versiooni kood ja andmeallikad, et saadud tulemused on alati up-to-date viimaste äriteabe ja loogika.

Kommentaarid (3)

Autor Steven Lloyd Watkin , reede 4. detsember 2009 11:03

Sissejuhatus

Töötan ettevõttes, kus võtame palju partii töökohti töötlemise miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad mis istuvad iga päev midagi mitu tundi. Kas poleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemi? Selle komplekti esemete ma lähen vaatama potentsiaalsete tulude tööd kontoris võrku kasutades virtualised keskkond.

Aastal Osa 4 me vaatasime, kasutades vahendeid, et tagada, et me töötab uusima versiooni kood ja andmeallikad, et saadud tulemused on alati up-to-date viimaste äriteabe ja loogika.

Pre-Deployment

Enne juurutamist oma võrgusüsteemi kui seal on üks asi, mida teha ja üks asi üksi see on võrrelda oma praegust süsteemi! Ükskõik, mida sa öelda kolleegidele, kui palju lisatööd oma süsteemi kavatseb teha, kui sa pole numbreid selle väite toetuseks oma garantiid on midagi. Niisiis,

• kui palju andmeid saab töödelda praegu? Päevas? Tunnis?
• Kui kaua see tavaliselt võtab ümber pöörata töö?
• Kui palju rohkem võimalusi teil on?

Seal on ka täiendavaid küsimusi:

• Kui teie töötlemine server (või mõni teie töötlemise serverid) loojub kuidas see mõjutab teie võimeid, oled sa halvatud?
• Milliseid eeliseid loodate / oodata, et saada grid süsteemi?
• Kas teie bürooseadmed võimelised töötama töökohti?
• Kas teie (või saab tööd ümber), et wrok selles stiilis kulgeb?

Viimane suur asi on võtta oma aega suuremate muudatuste niimoodi. Uuenda oma töötlemine koodi tööle, kasutades uut metoodikat, võrrelda uuesti. Võimalik seadistada töötlemine server joosta virtuaalne masin ju sinu töötlemine server oleks lihtsalt töötaja (just väga võimas üks suhteliselt). Laske uus protsess settida.

Deployment

Minu ettepanek oleks pop kontoris 1 nädalavahetusel täita kõiki sisseseade ja setup. Tehke seda vahetult enne kahe nädala puhkuse ja jäta nii teiste vaeste chap tegeleda tagajärgedega ... võib-olla mitte ...

Kasutuselevõtu süsteemi nagu see peab olema aeglane. Kuigi see on suhteliselt lihtne luua see süsteem mõjutab kogu oma kontori infrastruktuuri (ka digitaalse 1). Esiteks, rullima, et paar masinaid korraga, jälgida võrguliiklust, kuidas töötaja hosts teostada päev-päeva järel. Teil võib tekkida vajadus muuta oma tööd konfiguratsiooni vastuseks oma järeldused.

Kui süsteem on asunud elama mõne masinad (saab öelda 10% kõigist kontoriseadmed, st 5) hoida kontrolli võrguliiklust ja host masin performance. Järgmine kriteerium uuesti, siis peaks nüüd töötlemine 33% rohkem töökohti kui oma 1. raamid. Vaata see on nii või et sa oled vähemalt selles ballpark. Kui ei, siis uurida, mis toimub enne liikuma. Korda seda tsüklit seni, kuni te õnneks on kõik kontoritehnika töötab ilma tapmise eraldi masin täitmise või lihvimise oma võrku soiku.

Alati hoida võrdlusuuringute, isegi pärast kõigi kasutuselevõttu on tehtud. Vaata, kuidas uus kood uuendused mõjutavad kiirust oma süsteemi kontrollida kõiki töötajaid aruandluse ja töötlemine töökohti. Aeglaselt (väga aeglaselt) juurdekasvu oma tööd konfiguratsiooni, et saada parimat oma töötajate ja võrku.

Lõpetage!

Aga kui soovite, et peatada oma töötajate töötab mõnda aega? Nad kõik on seal töötab, taastootmine, ja üritab oma parima, et andmeid töödelda nagu näljased putukad. Vastus võib tunduda ilmselge, kuid selle tuleb lisada, igaks juhuks selle tähelepanuta. Lihtsalt muuta oma töötlemine skripti exit (0) or die () või mõne muu avaldus, et tappa oma töötlemine töö. Oluline põhjus, miks me püüame alati värskeima töötlemine script enne run!

Tutvustamise süsteem

Selleks, et kirjutada selle rea lühikesi artikleid olen loonud väga väike grid näidata ja meetodid. Ma lugesin palju artikleid, õpetused ja kasutada erinevaid vahendeid setup ja jälgida, mis toimub. Mingil ma olen läinud ja küllastunud kogu kontori liiklust ja ega ma olen olnud juurdepääs regulaarselt töötajad PC näha, kuidas vastuvõtva tulemuslikkust mõjutas.

Minu tutvustamise süsteem oli väga tagasihoidlik, tõepoolest. Ma kasutasin oma regulaarset desktop loodud töökoha kontrolli server. Selle olin installitud MySQL Server installitud loodud meister replikatsiooni, PHP , A ja SVN kaudu seotud apache (juurdepääsu kaudu töötaja VM).

Siis ma loodud CentOS töötaja masin VirtualBox on 6 aastat vana Windows XP sülearvuti. Ma setup kavandatud ülesanded on määratletud pärast kopeerimist VM peale masina ja lase tal minna.

Virtuaalne masin loodi PHP, õõnestamises ja MySQL. Ma kontrollisin välja filiaal nimega "töötaja" minu töö kontroll serverid hoidla ja kindlaks teinud, see võib ajakohastada, kasutades "svn update '. Edasi ma setup MySQL ori ja kontrollinud, et andmed on imitatsiooniga MySQL töökohal kontrolli server maha töötaja VM. Pärast kõike seda ma setup bash script ja cron töö.

Minu töötlemise script põhiliselt läks sarnaselt see (väga lihtne värk):

• Loe nime valdkonnas
• Arvestatakse paljude sarnaste nimede tabeli andmeallikas toimus VM
• Arvestatakse mitmeid nimesid, mis eelmine, kuid jagamine nimi tühikutega (nt eesnimi, keskmine, perekonnanimi)
• Kordas seda protsessi 1000 korda

Iga töö võttis umbes 20 minutit joosta. Ühel hetkel avasin mitmes eksemplaris töötaja VM Windows arvutisse ja vaatasin töökohti kontrollida maha iga töötaja IP aadresse. Sel hetkel ma ka kinnitas, et replikatsiooni automaatselt uuesti.

Jättes sülearvuti idle põhjustas töötaja hakkab töötlema töökohti töö kontroll server. Kui jätkamist sülearvuti kasutamine viibis umbes 30-60 sekundit, see on päris palju aega ja töötajaid oleks vaja selgeks teha, et nende masin võib paus lühikest aega naastes masin. Uuemad masinad ei pruugi olla paus selle pikk. Kasuks summas töötlemine läbi nende masinate ajal tühikäigu perioodidel oleks rohkem, et kaalub töötajatele, kes ootama lühikest aega (näiteks 1 minut) on jõuda oma masinad hommikul (ma sageli kauem ootama, et seda Windows Defender ajakohastama, et võtta koht) tingimusel, et nad olid teadlikud sellest (kasulik aeg haarata hommikukohv!).

Üldiselt Olen kindel, et olen tõestanud tehnoloogiaid, mida võiks kasutada, et luua selline süsteem. Olen näidanud, et selline süsteem ei tööta on (väga) väikesed ja veel mõned katsetavad võiks ülespoole kasutada vahendeid ameti masinaid. Kui ma ei saa, kuni punktini, tehes seda Oleksin väga huvitatud teada / näha, kui keegi teine ​​teeb.

Järeldused / hindamine

Järgmine selge samm oleks tegelikult saada reaalses maailmas eeskuju ja hakata kasutama süsteemi, nagu see jooksul bürookeskkonna ja vaata, mis juhtub. Küsid äri pühenduma see ilma rada lõõskava ettevõte tõestada tehnoloogia ja tõhusus võib olla natuke raske. Grid / Distributed computing on väga populaarne on mõned ringid ja on mõned suured rakendused (BIONC, SETI @ Home, Folding @ home jne). Ma ei ole siiski leida väiksemate ja lihtne süsteem, nagu see minu otsingud, mida võiks rullitakse jooksul asukoht keskkond.

Olen loonud põhimõtteliselt vabad süsteem, kasutades enamasti avatud lähtekoodiga tarkvara ja vahendeid peaaegu igas kontoris. Tehnoloogiad olid põhiliselt näidata ja näidata täita ja töötada ootuspäraselt. Loodetavasti on mul näitavad, et ei ole palju tööd ja väga lihtne setup saate kasutada kontori võrku arvuti, mis on võimas, odav, ja laiendatavat kõik samal ajal.

Kui süsteem on ja töötab seal on peaaegu mingit lõppu summa kohandamine ja parandusi saab teha. Näiteks statistika / võrdlusuuring võib kergesti lisada näitab väärt sellise süsteemi iga päev. Uued masinad saab lisada lihtsalt ja kiiresti, kui nad saabuvad uuendused olemasoleva riistvara toetades oma võimsusest.

Loodan, et olete olnud loed seda mitmed artiklid ja andnud teile mõtteainet, töötab kontoris võrgusüsteemi. Lahendus siin esitatud ei pruugi töötada igas olukorras, kuid peab olema kohandatav, et võimaldada teil saada oma andmetöötlus teha kasutades oma lahendus.

Palun saatke mulle märkusi, parandusi või parandusi ja ma teen oma parima, et hoida käesoleva artikli uuendatud sobitada.