Kommentaarid (2)

Autor Steven Lloyd Watkin , reedel 4. detsember 2009 11:59

Tutvustus

Ma töötan ettevõttes, kus võtame palju partii töökohtade töötlemine miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad, mis istuvad iga päev midagi mitu tundi. Kas ei oleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemid? Selles sätestatud esemete ma lähen vaatama võimalikku kasu töötab kontoris võrku kasutades virtualised keskkondades.

In 3. osa oleme loonud meie virtuaalne töötlemise masin ja luua windows masinatega saada idle tööajaga töötajad.

Running hiljemalt kood

Paratamatult loomise järel oma töötajatele äriloogika muutub, vead on leitud, kiirem tõhusam koodi ei toodeta jättes oma töötajatele Laup ümber töötlevad andmeid kasutades vana haisev kood . Kuidas siis me tagame, et me oleme alati kasutades uusimaid ja parimaid versioon meie töötlemisel skriptide?

Seal on mõned väga lihtne lihtsal viisil me võiksime seda teha, trikk on aga see, et vähendada töötlemise võimsus ja võrguliikluse selle saavutamisel. Võimaldab alustada lihtsaim lahendusi ja parandada seda aeglaselt üle paari iteratsiooni.

Esimene meetod oleks lihtsalt ühendada meie töö kontrollimiseks server (via samba, FTP vms) ja tõmmake alla uusim versioon koodi. Mitte väga tõhus, kuid see teeb tööd. Lets parandada, et mõnevõrra, kuidas luua rsync skripti ja kasutada seda iga kord, selle asemel? Teise kuidas panna meie viimaseid töötlemine skripti õõnestamises kontrollimiseks läbi kood esialgu ja siis lihtsalt ajakohastades meie koodi iga run ( svn update )?

Lõpuks me võiks lõpuks bash skripti (nn poolt cron iga 10 minuti järel), mis vaatleb nii lihtne kui see:

  #! / Bin / sh
 kui ps ax | grep-v grep | grep php > / dev / null
 siis
     echo "Töö on praegu töötlemine, exit"
 teine
     echo "Töö ei tööta, alusta siit"
     cd / path / to / töö / koopia
     svn update
     php yourJobProcessingScript.php
 fi 

Nüüd saame olla kindlad, et iga kulgema me kindlasti töötab hiljemalt koodi. Me oleme selle tagamisel, ajakohastades meie koodibaas iga kord me sooritame perspektiivis ning vähendada võrguliiklust vaid üleandva faili erinevusi meie võrku.

Minu tutvustamise setup, ma tegin täpselt nii, nagu eespool. Subversion paigaldati minu töö töötlemine server ja ma lihtsalt tõmbas viimase koodi "töötaja" filiaal kasutades "svn update". I lisas ka versiooni number tag Minu töötlemine script, mis oli tagastatud andmebaasi osana tulemused tagasi. Nii ma ei näe, et minu kood oli uuendatakse iga kord, kui ma kopeeritud minu pagasiruumi arvesse töötaja filiaal st et mul oli kindlasti töökorras hiljemalt töötlemise skripti.

Kasutades viimaseid andmeid

Kui teie töö töötlemine kasutab andmeallikate siis mingil hetkel neid saab olema uuendatud liiga. Kui te helistate oma andmeallikate kohta väga harva alusel sa lähed üleujutuste võrgu liikluse niipea kui oma töötajatele hakata tuua kõik soiku. Sest minu lahendus ma otsustasin, et ma tahaks minna minu andmeallikad ümber minu VMS.

Hold your hobused seal! Mida teha, kui minu andmeallikad on tohutu? Noh see on tõesti tegemist kui palju andmeid me räägime? See võib olla majanduslikult efektiivsemaks paigaldada täiendavaid suurem kõvaketas iga masin kui osta täiendava töötluse server. See on küsimus eelarve ning see on kuni äri otsustada. See võib-olla, et teie andmete allikatest on nii suur, et selle lihtsalt võimatu hoida, et andmemaht oma töötaja masinaid. Sel juhul mida sa teeksid? Noh me võiks vaadata kutsudes kohalikke andmeid serverisse, kuid see võib tekitada probleeme võrku. Sel juhul grid süsteem nagu see võib muutuda ebarealistlikuks lisada oma kontoris. Samuti võib olla, et saate alternatiivseid töötab strateegiaid, näiteks ainult helistamise töötajate 08:00-6:00 igal õhtul ja / või kuristusta andmeallikas nõuab.

Liikudes edasi saab öelda meie andmeallikate summa 100GB andmeid. Noh jah see on üsna vähe andmeid liigutada võrgustik update. Kuidas me tagame, et me oleme viimaste andmete koopia selles asjas? Rsync on võimalus, kuid isiklikult ma arvan, käivitades oma viimaseid andmeallikas oma töö töötlemine server ja määrata käesoleva meister replikatsiooni (koos kena pikk bin log) võib nii minna:

Seades iga oma töötajaid üles nagu ori töö kontrolli server uudiseid oma andmete allikatest nire alla kenasti oma töötajad ilma tohutult kasvanud võrgustiku tegevuse (st kui te sooritate tohutu andmete uuendamine ja kõigi oma töötajate kick korraga). See on eeliseid rsync, et sa ei jääks pikk paus enne iga töö; kui andmebaasi uuendused, mysql deemon oma töötaja saab pidevalt täiendada oma andmeid, kui töötlemine jätkub.

See, kuidas ma loodud minu tutvustamistegevuse server. Luua replikatsiooni Ma järgisin juhend MySQL koha ( seadistamine replikatsiooni ) ja 20 minuti jooksul oli mul inital töötaja imitatsiooniga töö kontrolli serverid andmekogumis. Iga täiendava töötaja replikatsiooni seaded ja protsessi töötas iga kord, kui VM oli kopeeritud.

Kokkuvõte

Selles osas artikli vaatlesime kuidas lihtne ja valutu see on hoida oma töötlemine kood ajakohane using rsync või subverion (SVN) teha tööd ja vähendada võrguliiklust samal time. Samuti arutati, kuidas hoida oma andmeallika teavet up-to-date, võimaldades sellel nire alla igale teie töötajatele. Seega on meil ala, et me kursis äriloogika ja info meie kontoris võrgusüsteemi. Seal saab ilmselt lugematuid alternatiive nimetatud ülesannete täitmisel, kuid siin oli kaks lihtsat näidet, et näidata, kui lihtne lahendus tulla.

Järgmine kord

Viimases osas see seeria, tabavalt nimeks Osa 5 , me arutada rakendades seda süsteemi. Ma kokkuvõtte mida on õppinud ja mida ma suutnud luua.

Kommentaarid (3)

Autor Steven Lloyd Watkin , reedel 4. detsember 2009 23:37

Tutvustus

Ma töötan ettevõttes, kus võtame palju partii töökohtade töötlemine miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad, mis istuvad iga päev midagi mitu tundi. Kas ei oleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemid? Selles sätestatud esemete ma lähen vaatama võimalikku kasu töötab kontoris võrku kasutades virtualised keskkondades.

In 2. osa tarkastelimme töökohti server töötab ja kuidas töökohti, peaksid olema konfigureeritud, et saavutada suurim summa töötlemine tagades samas, et iga töö on töödeldud ilma jätma.

Seadistamine töötaja - või Limp server

Järgmine samm protsessis on luua oma virtuaalse töötajaid. Sest seda ma lähen kasutada paigaldamine Centos kasutades VirtualBox. Ma lähen install MySQL ja PHP serverisse, mida tuntakse ka lonkama (Li nux, m ySQL, P PS) Servera (I võis selle nime üles).

• Install VirtualBox Windowsi masin (järgida link)
• Laadige alla ja installige CentOS (praegune versioon 5.3) jooksul loodud virtuaalne masin

Pole mõtet mulle läheb see seal on ilmselt 1000 's väga õpetused seal (ok, siin on üks: Loomine ja Managing CentOS virtual machine all virtualbox ). Oluline märkida, ma arvan, et ma helistasin oma virtuaalne masin GridMachine.

Mis puutub minu valikuid virtualiseerimine klient ja operatsioonisüsteemi sinna minna ei ole suur mõjuv põhjus iga valik. VirtualBox on midagi, mida ma kasutada minu kodus masin ja seda toetab kolm suurt operatsioonisüsteemidest. Valisin CentOS oma hea stabiilne OS ja ma kasutan seda minu enda veebiserver. Olen väga usklik õigeid tööriistu selle töö jaoks (kuigi ma kohaldamisel kasutamiseks kiireim ja lihtsaim teile "mentaliteet siin), nii et kui operatsioonisüsteemi X jookseb oma koodi kiiremini ja tõhusamalt kasutada selle asemel:)

Oluline veenduge, et Teie VM kasutab DHCP, muidu iga uue virtuaalse masina oleks vaja seadistada eraldi mida me ei want.By DHCP me ei vaja seadistada võrgu seaded eraldi iga töötaja masinad, DHCP annab käe läbi IP teile. Seega saate kopeerida oma virtuaalne masin umbes office muretsemata, milles igaüks up (see parandab mastaapsuse ja vähendab töötaja manustamist).

Protsess, mida tuleks püüda saavutada oleks saada uusi füüsilisi masin, paigaldada VirtualBox, ja siis päris palju kasutusele virtuaalne pilt ilma palju muud. Oleks mõistlik setup kõik oma töötajate eri subnet, nii et saad vähemalt näha, kuidas paljud masinad on töökorras. Peate ka seadistada masinaid pikaajalist liisimist või määramata rendileping DHCP.

Kuidas käivitada töökohtade kohta töötaja

See on huvitav ala ja seal on mitmeid kehtiv töötlemis töökohti töötaja. Siin ma lihtsalt arutada kahe kõige ilmsem:

• Alatasa töötab skript: skript, olgu see siis shell script, või PHP skript on täidetud üks nimetatud töötaja ja jookseb osana lõpmatu silmus. Olen diskonteeritud selle meetodi üheks krahhi script ja potentsiaalselt oma töötajatele peatub, ilma mingi sekkumiseta.
• Cron põhineb Skripti täitmise: iga x minuti cron daemon avalöögi kõne oma skripti asjad lähevad. Ilma mõned kontrollimiseks võib see kaasa tuua palju palju koopiaid oma töötaja script töötab.

Minu otsus oli minna cron mis algab shelliskriptiga iga 10 minutes. Minu shell script täidab järgmisi ülesandeid:

1. Hangi protsessi loetelu ja grep seda "php". Kui ei leita, siis jätkama.
2. Helista oma töö kood, minu puhul oleks see midagi PHP põhineb
3. Töötaja script lõpetab joosta
4. Valmis minema uuesti järgmisel korral helistada

Minu bash skript näeb välja umbes järgmine:

  #! / Bin / sh
 kui ps ax | grep-v grep | grep php> / dev / null
 siis
     echo "Töö on praegu töötlemine, exit"
 teine
     echo "Töö ei tööta, alusta siit"
     php yourJobProcessingScript.php
 fi 

Märkus: echo's on peaaegu täiesti mõttetu, kuid võib aidata järgmise isiku, kes tuleb mööda proovida ja neid muuta.

See lõpeb loodud töötaja virtuaalne masin, kiire, lihtne ja lihtne kopeerida igale uuele seade, mis on laekunud. "Nutikust" skaala süsteem tegelikult ei ole visualiseeritud OS, selle kõik pistmist kood loodud protsessi töökohti, töökohtade konfiguratsioon ja selles, et töö kestab vajaduse korral (st kui peremees on idle ).

Windowsi häälestamine et alustage Töötajad

Esimene ülesanne on töötada välja käsu vaja käivitada virtuaalne masin windows käsurealt. Kui olete installinud VirtualBox on vaikeasukoht ja olete nimega oma töötaja GridMachine seejärel käsku vaja Laadi üles oma töötaja on:

  "C: \ Program Files \ Pühap \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Kuid joosta skripti "Peata" riik on meil vaja kasutada:

  "C: \ Program Files \ Pühap \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off 

See käivitab virtuaalne masin ilma GUI ja võimaldab tal hoida riigi nõtkelt. Teine argument kustub RDP nii see ei ole vastuolus aknad RDP või teile sõnumi kuulamise porti 3389. Virtuaalse masina nimi on tõstutundlik!

Seejärel me vajadust määrata aknad kuni avalöögi meie töötaja VM kui masin on idle. Selleks (Windows XP) pead minema Start -> All Programs -> Accessories -> System Tools -> Scheduled Tasks alljärgnevalt:

Seejärel klõpsa "Lisa Scheduled Task", millele järgneb sirvida lisada custom programmi. Navigeeri oma VBoxManage skript ja klõpsake nuppu OK. Planeerige oma ülesandeid ühegi valikud (Muudame seda minutis) ning jätkata. Pärast vahele Järgmisel ekraanil windows küsib kes sa tahad teha selle ülesande, ma soovitan kas "Administraator" või luua uus privilegeeritud kasutajale. Pea meeles, me ei taha segada standard personali konto masin üheski kohas. Klõpsake nuppu Edasi ja vaadata show eesrindlikud võimalused selle ülesande täitmiseks.

Et lõppemiseni tekstikasti lisage meie "startvm GridMachine" string ja tagada, et käivitada ainult siis, kui sisse loginud ei jää unticked. Külasta ajakava ülesande kõrval ja muuta ajakava rippmenüüst valik ", kui idle", valida aja soovid masin olema tühikäigu enne kui lähevad üle järgmisele kaardile.

Lõpuks untick võimalus, mis sätestab stop ülesanne, kui see on kestnud X aega, kuid ärge märgistage valik lõpetada ülesanne, kui masin enam ei kasutata.

Ongi siis windows vastuvõtva setup!

Kokkuvõte

Selles osas oleme loonud virtuaalse masina tegutseda töötaja, samuti seda, kuidas me nimetame ja täidab meie töö töötlemine skripte (ise PHP skripti). Sealt me ​​vaatame, kuidas luua oma koopiaid aknad alustada virtuaalne masin peata režiimi, kui arvuti muutub tühikäik ja salvestada oma riiki, kui kasutaja uuesti kasutamine masin. Loodetavasti sel hetkel näed, kui lihtne on luua selline süsteem ja sügelus, et saada mõningaid katseid läheb ise!

Järgmine kord

In 4. osa me vaatleme, kasutades vahendeid, et tagada, et näed uusima versiooni kood ja andmeallikad, nii et saadud tulemused on alati up-to-date viimaste äriteabe ja loogika.

Kommentaarid (1)

Autor Steven Lloyd Watkin , reedel 4. detsember 2009 11:23

Tutvustus

Ma töötan ettevõttes, kus võtame palju partii töökohtade töötlemine miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad, mis istuvad iga päev midagi mitu tundi. Kas ei oleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemid? Selles sätestatud esemete ma lähen vaatama võimalikku kasu töötab kontoris võrku kasutades virtualised keskkondades.

Kuna PHP arendaja ma lähen kasutada tööriistu, et ma kasutan iga päev nimelt, Linux, MySQL , PHP, VirtualBox ja õõnestamises (SVN). Kuid ma loodan, et see juhend kohaneda teiste keelte ja tehnoloogiate sama hästi.

I lahust pakkuda väga lõdvalt põhineb töötlemise tüübi olime vajadust saavutada aga see ei pruugi olla tõsi läbi terve artikkel nagu ma muuta asju lihtsuse või toota rohkem huvitav kasutus stsenaariumid.

Need virtualised keskkondades kestab Windows masinate sest see, mida enamik büroode jooksma. Töötlemistoimingud, mis bürooseadmed ei tohiks segada personali kasutades neid masinaid, peaks nõudma mingit hooldustöid masin ja kergesti käivituva uue masinatega, kui need muutuvad kättesaadavaks. Ka uued virtuaalsed masinad ei tohiks nõuda täiendavat konfiguratsiooni, kuna see vähendab oluliselt mastaapsuse ja lihtsus, kus võrgusüsteemi võib pikendada.

Miks Deploy Office Computing Grid?

Esiteks võite mõelda, miks mitte lihtsalt kasutada cloud computing ressurss nagu Amazon's EC2 platvorm ? Noh põhjuseks võib olla mitu, näiteks:

• Sa ei usaldada teatavaid andmeid cloud computing keskkond
• Sa ei saa panna teatud andmed cloud computing keskkond õiguslikel põhjustel (nt andmete lahkumist riigist), potentsiaalselt õiguslikel põhjustel, nt NHS arvestust.
• Sa tahad hoida oma töötlemisüksused lähedal ja on täielik kontroll riistvara liiga
• Sul ei ole projekti vahendeid joosta pilv juhtudel
• Sinu asukoht ei ole Interneti-ühendus ja seega peaks selle ei ole võimalik kasutada cloud ressurss
• Sa ei meeldi vihm, pilved näitavad vihma, seega hoiate eemal

Olen kindel, et nimekirja võiks jätkata, kuid ma arvan, et piisavalt nüüd.

Eelised Office Computing Grid

Noh, laseb teha mõned matemaatika (ja tõsi, füüsika stiil võimaldab teha mõningaid pühkimine eeldused). Kujutage ette, teil on suur lihakas töötlemine serveris 100 töökohta päevas. Oma kontoris sul on 50 masinad, mis on idle 16 tundi ööpäevas, kusjuures need masinad on 10% sama võimas kui teie lihakas töötlemine Sever. (Kõik tulemused siin on ümardatud alahinnata jõudluse kasv).

Nii, 1 masin * 10% võimsuse * 03/02 time = 0,067 st 1 desktop töötlemiseks jõudeaeg võiks protsessi 6 täis tööd päevas.

Kui te nüüd skaala selle üles võtab 15 idle lauaarvutid töödelda nii palju tööd päevas, kui teie peamine töötlemise server teeb.

Nii et meie teeselda office 50 masinate saaksime suurendada meie töötlemise võimsus alates 1. server kuni 4 täis töötlemine serverites, või me võiks töötlemise 400 töökohta päevas, mitte 100.

Pane tähele, et ei ole investeeringuid uutesse riistvara teie firma on just tõusnud oma partii töötlemise võimsus 4 korda! Potentsiaalselt sa lähed, et suurendada oma võimu kasutamisest, kuid enamik kontori keskkonnas Olen olnud masinad on üldiselt jäänud üleöö niikuinii, nii et sa ei näe seda kui roheline algatus.

Muud eelised ka tähendada, et investeeringute uus (või ajakohastatud) töötlemine servereid võib viibida, kui teie bürooseadmed on piisavad, ning et teil parandada õigus Teie bürooseadmed oma kontori võrk muutuks võimsam automaatselt.

Technologies

Mis sul vaja on? (Või enam korralikult mida ma kasutamisel):

• Idle bürooseadmed (minu puhul ko vana windows XP sülearvuti)
• VirtualBox (või teise virtualiseerimine kliendi tarkvara)
• Virtuaalne masin PHP, MySQL running töötab kärpima OS, ma helistan need mu Limp serverites:)
• Tööpakkumised joosta
• Töö server (võib olla muu virtuaalne masin kusagil)

Tüüpiline Töö

Tüüpi töökohti, et see süsteem on loodud töötama on järgmine:

• Süsteemi saab andmete loetelu, millele me peame vastama ning taastada tulemused
• Matching käigus kontrollitakse / otsivad mitmed (üsna staatiline) andmeallikate
• Tulemused andmeallikad võivad nõuda lisakontrolli, ühinevad, kontroll täiendavaid andmeallikaid vastuseks tulemused
• Andmed on tagastatud sobitamine arvestust, täielikult valideeritud ja töödeldud
• Iga kirje jooksul töö on sõltumatu ülejäänud

Nii et põhimõtteliselt me ​​vaatate töötab töökohti, mis nõuavad segu andmebaasi otsingud ja mõned number krigistamine, mis on üsna tüüpiline stsenaarium majanduskeskkonda.

Grid lahendused ei ole ainult kasulik töötlemine töökohti seda tüüpi. Põhimõtteliselt kõik protsessi, mis võib olla jagatud iseseisvad saab käivitada paralleelselt. Vaata seda wikipedia näiteid ja lisainfo: Grid Computing , kuid paar tuntud näited on Seti @ Home ja BIONC . On raamistike töötab arvuti võrgud ja need on hästi väärt.

Mida me saavutada?

Aasta lõpuks nimetatud artiklid Ma loodan, et näidata, et rakendades kontoris võrku ei pea olema tohutult kulukas või aeganõudev. Ma lähen, et arutada:

• Ettevalmistus tööd kontrollisüsteemi, töökohtade konfiguratsiooni
• Creating nõuetekohaseks töötlemiseks virtuaalne masin
• Kuidas seadistada süsteemi Windows masin
• Tagades te kasutate uusimat kood ja andmed
• Arenduskava ja võrdlusuuringute
• Tulevikku vaadates

Ma tulen hoone (ok ma ehitasin, siis kirjutasin selle) näiteks taotluse test kontseptsioonid kohalikus masinas Windows XP ja minu "GridMachine" virtuaalne masin. Minu töö kontroll server on minu peamine masin, mis töötab Fedora 11 .

See ei ole mingil viisil mõeldud näitama täielikult tööpäeva kindel süsteem, selle tähendas rohkem tutvustamise ja arutame mis näitab, et need asjad on võimalik saavutada suhteliselt lühikese aja jooksul ja odavalt. Palun saatke mulle mingeid kommentaare, parandusi või täiustusi ja ma teen oma parima, et hoida käesoleva artikli uuendatakse.

Järgmine kord

In 2. osa mul hakkab vaadates töö kontrollisüsteem, ning uurida, kuidas töökohti, peaksid olema konfigureeritud, et saavutada suurim summa töötlemine tagades samas, et iga töö on töödeldud ilma jätma.

Kommentaarid (1)

Autor Steven Lloyd Watkin , reedel 4. detsember 2009 11:23

Tutvustus

Ma töötan ettevõttes, kus võtame palju partii töökohtade töötlemine miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad, mis istuvad iga päev midagi mitu tundi. Kas ei oleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemid? Selles sätestatud esemete ma lähen vaatama võimalikku kasu töötab kontoris võrku kasutades virtualised keskkondades.

In 1. osa I andis ülevaate süsteemi ja tehnoloogiate ma olen kasutades samuti arutati mõningaid võimalikest põhjustest, miks sa tahaksid luua office võrku.

Töö Control

Kui sa lähed olema töökorras töökohti siis lähed vaja kuidagi neid hallata. Sinu töö kontrollimise süsteem (oma töökoha server) tuleb tõesti hästi läbi, enne kui üritab joosta kontori võrku. Nii esiteks, millised on ülesanded töö kontrollsüsteem:

• Käsi läbi töökohtade nõudmisel töötajate
• Öelge töötajatele Milliseid töökohti joosta
• Track töökohti
• Tagada, et töökohti on vaid joosta kord
• Pakkuda tööd andmed töötajate või vähemalt neile öelda, kust saada see

Süsteem tuleb ka laiendatav lahendus, mis töötab nüüd ühes asjas võib pikendada joosta mitut liiki töökohtade äri näeb väärt grid lahendus. Näiteks töökohad võivad saada prioriteedid, rohkem kui ühe töökoha liik võib eksisteerida (st mitu koodi alused), lõpuks võid isegi kasutada mitut erinevat töötaja masinaid, mis on optimeeritud iga töökoht (kuigi see ei eemalduda "üldnimetuseks töötaja "idee). Püüdke mõelda tulevikule, kui välja süsteeme, lühiajalise visiooni võib viia pikemas perspektiivis pettumust ja suurenenud arengu aeg.

Töö Server

Me läheme vaja kuskil kontrollida meie töökohti, tuleb seda ainult süsteemi oma võrku, mis on fikseeritud Resource Locator, olgu see IP-aadress, serveri nimi, URL (kasutades sisemist DNS) jne Seda seetõttu Töötajad peavad teadma, kust otsida töökohta, töötajad on vaja leida tööd kontrollisüsteemi (mitte töö kontrollisüsteemi leida töötajad).

Töö server ise ei ole tõesti keeruline ülesanne (nii põhi-süsteem igal juhul), tuleb see salvestada nimekirja töökohti, käsi välja töökohti, saada tulemusi, ning seejärel salvestada need hilisemaks taastamiseks. Kuidas nende osade (nagu näiteks "käsi välja töökohtade") on määratletud võib olla väga lihtne. Hiljem saame laiendada süsteemi lisada halduse liides lisamiseks, muutmiseks, kustutamiseks, peatada töökohti, kuid see on väljaspool seda kasutada.

Ei ole ühtegi põhjust siis, et sinu töö server ei saa virtuaalne masin töötab teie peamine töötlemise server tingimusel et see ei äravool liiga palju ressursse saada. Töö server aga ei pea laialdase kättesaadavuse, kui see läheb alla reede õhtul sa lähed kaotad terve nädalavahetuse töötlemise, potentsiaalselt maksab teile paar nädalat väärt töötlemise ajal (võrreldes oma peamiste töötlemine server üksi) . Te võiksite kaaluda pannes oma töökoha serveri koormus tasakaalustatud keskkonna kõrge kättesaadavus.

Basic Setup

Põhiseadistustest meie töö server koosneb mida Ma helistan üks mu Limp serverite (mis on Li nux, m ySql, P HP). Kood töötab Thea töötajate tegelikult töötavad välja, milliseid töökohti on võimalik käivitada suheldes töökohtade kontrollisüsteemi andmebaasi. Hiljem me võiksime luua veebiteenus ja tegelikult käe läbi töökohtade asemel töötajate tegema rasket tööd ise, kuid nüüd jätkame kasutades KISS põhimõte (Keep it Simple, Stupid!).

Nii saab luua kolm MySQL tabelite tegeleda töökohti. Need on "töökohad", "jobRecords" ja "jobResults".

Siin ma kasutan SQL Buddy väga vähe alternatiiv phpMyAdmin lihtsalt sellepärast, et tema lihtsam paigaldada Centos (teiste jaoks vaata: 10 suurt alternatiive phpMyAdmin )

See tabel koosneb 5 lihtsat valdkondades,

• ID: üheseks identifitseerimiseks töö
• nimi: Võiks olla kliendi viide või mis tahes muudest tunnuste
• Staatus: Sa pead teadma, kui töö on, nt
  • 0: Pole alustatud
  • 1: Kiirenes
  • 2: Lõpetanud
• started_by: Kes alustas teed tööd? See ei ole täiesti nõutud, kuid on tore olla. Ma soovitan jälgida töötajate oma IP-aadress teie võrgus
• started_at: Millal töötaja alustada tööd? Jälgides töökohti, mis ei ole läbinud jooksul X aega teame me peame seda tõstma töö taas ja alustame teise töötaja. Töötajad võiks töötlemise lõpetamist / go offline tahes mitmel põhjusel, voolukatkestust, crash, võrgu kaotus jne

See on lihtne, kuidas seda tabelit võiks laiendada mõne lisaväljad võimaldada statistika jälgimine, lõppaeg veerus näha, kui kaua töö võttis, counter näha, kuidas paljud töötajad kiirenes töö (ilmselt see peab kipuvad 1) töö prioriteediks, nimekirja saab minna edasi ja edasi. Keerukamate töö stsenaariume oleks võimalik täpsustada, kui palju mälu töötajal peab olema juurdepääs (ja seega kasutada ainult sobiva töötaja) või isegi, millist tüüpi töötaja oleks vaja.

Lets lisatakse mõned näiteks töökohti:

Järgmises tabelis taas on üsna lihtne aru saada, need on meie töö arvestust. Nad on seotud peamised töökohtade tabeli veerus "jobs_id". Moodustavad käesoleva tabeli sõltub väga palju andmeid, et pead andma oma töötajatele, laseb teha väga lihtne näide, kus meil on neli veergu:

• ID: ID rekord
• nimi: isiku nimi
• Aadress: Isiku aadress
• jobs_id: töö ID, et see rekord on seotud

Kolmas ja viimane tabel koosneb tulemuste tabel, see on sama palju tasa teha, kui meie andmed tabelis ja millele on lisatud mõned veerud võivad olla osa arvestust tabelis:

• job_record_id: Link tulemuse töö tabel
• Tulemus: Tulemuseks andmed

... Ja ongi kõik, mida vajate töö kontrolli! (Kuigi väga algtasemel) Minu puhul olen osutanud teisest tabelist, kus mu andmeid töötlemiseks asus, kuid see võiks sama hästi on fail, parameetrite joosta simulatsiooni-koodi, siis nime.

Valides töö

Nagu eelnevalt mainitud, töötajate teeme töö korraldamine meie jaoks nüüd, et kõik me peame tõesti tegema, on leida töö, mis vajab töötlemist ja saada teavet. Kuidas me seda teeme? Noh pick meie töö valikukriteeriumid ja tööd otsima, SQL tegin järgmist:

1. Võtke kõik töökohad, mis ei ole märgistatud kui valmis, kuid meie töötajate ja reset neist (asendaja __ME__ koos tunnus, kõige lihtsam oleks IP aadress):

     UPDATE `töökohti` SET `staatus` = 0, kui "status" = 1 JA "started_by` = __ME__; 

2. Kasutades meie töö valikukriteeriumid, valige töö ja ütle kontrollisüsteem, et see töötaja tegeleb ta:

     UPDATE `töökohti` SET `staatus` = 1, "started_by` = __ME__, "started_at` = NOW () WHERE `staatus` = 0 või
    ("Status" = 1 JA "started_at"> DATE_SUB (NOW (), intervall X tunnis)) ORDER BY `id` ASC; 

   Haardeseadised töökohti, mis ei ole tagastatud tulemusi X aega me tagada, et iga töö on sõidetud korral töötaja krahh või läheb AWOL.

3. Järgmine haarata töökohti Üksikasjad, millele järgneb andmete ise:

     SELECT * FROM `töökohad", kui "started_by` = __ME__ LIMIT 1;
    SELECT * FROM `job_records" Kui `id` = __JOBID__; 

Lõpetamisel töökohtade me lisame meie tulemus arvestust ja kaubamärgi tööd lõpetatud. Pea meeles, kui töökohti saab peatada ja jätkata igal ajal võimaldada teatavat stabiilsust oma skripti. Võib olla, et ülesanne peatab poolel teel ajakohastamise tööd kontrollisüsteemi, et kontrollida kirjete arv töö ja tulemuste arv salvestatud tagasi töö kontrolli süsteem oleks tark tegu.

Lisaks, kuigi see näitab, kuidas töökohta saab valida ja hallata SQL-query raami sa peaksid tõesti olema abstracting oma tööd kontrollida nii, et kui sa otsustad minna kasutades veebiteenust faili põhine süsteem, XML või mis tahes muu süsteemide arvu see ei mõjuta kood kohal.

Töö Configuration

Teine aspekt, mida arvestada, on töö maht ja konfiguratsioonist. Mängides töökohtade konfiguratsiooni saame streik suurepärase tasakaalu kiiruse, protsessi replikatsiooni ja usaldusväärsust. Võtke paar OFA stsenaariumi:

1. Tööpakkumised võtta 1 päev iga joosta: See tähendab, et teie töötajad vajavad 15 päeva protsessi iga töö (meenub 10% võimu 2/3rds ajast). See ei ole kindlasti mõistlik konfiguratsiooni, teie töö maht on liiga suur! See võtaks vähemalt topelt aega saada tööd töödeldud peaks esialgse töötaja minna AWOL (time to pick up, et ta ei ole tagastanud tulemus pluss ümbertöötlemise aja järgi). In ideaalne soovid on vähemalt üks täielikult töö kergesti kustutatud lõpuks iga pika tühikäigul nii hoiate töökohti tiksub üle ja halvimal juhul töö võtaks kaks päeva protsess peaks kõigepealt minema puudu.
2. Tööpakkumised võtta 1 minut joosta: See tähendab, et teie töötajate aega umbes 15 minutit joosta iga töö. Kuigi see võib tunduda esialgu ideaalne, siis saada lisatööd töötlemise ajal lõunasöögi ajal, kohvipause, koosolekud jne see stsenaarium paneb pinge teistes valdkondades oma süsteem ja tutvustab oma probleeme. Näiteks esmalt oma setup / töötlemine aega suhe ei lähe kohe alla, seega kaotavad süsteemi tõhusust. Teie võrgustik saab olema pidevalt streaming töö teavet erinevate töötajate masendav personal, kes dong oma igapäevases töös. Sa oled ka läheb panna rohkem pingeid oma töö töötlemine server, sest see on tassi läbi palju ja palju väikesteks tükkideks tööd regulaarselt. Lõpuks see olukord, kui teie töö server loojub sa lähed luua tohutu tagasi samamoodi lõpetamata töö arvestades suuremaid töid võiks jätkuva töötlemine õndsalt teadmatuks, et töö server oli raskusi.

Tegelikult ei toimu üks ideaalne konfiguratsioon oma võrku setup, palju sõltub olemasolevate vahendite liiki töö, töö töötsükkel nõuded, võrgundusfunktsioon, ja nii edasi. Kuid mõned juhised oleks:

• Suurus töökohti, nii et iga töötaja võib saada läbi vähemalt 3-4 töökohti kuni 15 tundi (pikim tõenäoliselt jõudeaeg jooksul)
• Mängi töö suurust nii, et setup aeg muutub üsna tühine võrreldes töötlemise ajal (pidades silmas eespool punkt).
• Kui tööd ei ole täielik, topelt aega (võib-olla vähem) ootate seda täitke see oletada, et tema läinud AWOL ja alustame selle teise töötaja. See tähendab, et teil on oodata kuni kolm korda normaalse pikkusega töö see lõpule (võimalik enam kui hilisemad tööd ei). Te võiksite vähendada seda aega, kuid ole ettevaatlik mitte vähendada seda liiga palju, nagu te võib alata paljundusmasinad töötlemise ülesandeid regulaarselt.
• Töö peaks olema sõltumatu väljaspool nõudeid nii palju kui võimalik. Töö server, näiteks tohib ühendust alguses ja lõpus iga töö.
• Ärge küllastub võrk, see on kaks negatiivset mõju, oma päevaste töötajad leiavad võrgu kasutamisel masendav ja probleemid võivad olla kogenud ühendused ajastust välja probleem, et ainult süvenevad, kui te skaala oma võrku.
• Tagada töökohtade võib sõita oma töötajaid. Kui töökohti liiga mälu Intensiivse või kettaruumi intensiivne töö hakkab katkestan ja ainus asi, mida märkad on vähenenud töökohtade arv töödeldud, kellel puudub tegelik põhjus, miks.

Tulemusi esitades töökoha

Kui esitada tulemused töö on oluline kontrollida, et tulemused ei ole esitatud teise töötaja, eriti kui praegune töötaja on olnud seisvate mõnda aega.

Kui tulemused on esitatud tagada tulemuste arv vastab kirjete arv jooksul tööd.

Nagu eelnevalt mainitud, ja seda ei saa üle tähtsustada, ehitada tõrketaluvuseks arvesse töökoha leidmist ja tulemuste esitamist. Töötajad saavad (ja tõenäoliselt) minema peatada mode kõige ebamugav korda ja see tuleb teenindada. Samuti taas abstracting ära oma tulemuste esitamist aitab rahuldada tulevasi muutusi oma tööd kontrollisüsteemi palju lihtsam toime tulla.

Kokkuvõte

Selles section oleme uurinud, mida töö kontrolli server peab tegema ja kuidas saada väga lihtne süsteem loodud. Me arutasime, kuidas hankida tööd alates kontrollisüsteemi ning kuidas seadistada töökohti saada kõige meie oma kontori võrgusüsteemi. Lõpetamiseks punkt või kaks Tulemusi esitades tagasi töö kontrolli server esitas.

• Töö kontrolli server haldab töökohti ja tagab, et kõik tööd üksused on komplekteeritud
• Autor abstracting oma tööd select / tulemused esitamise saame muuta tehnoloogia kontrolli server ilma palju probleeme
• Konfigureeri oma töökohtade tagamiseks, et nad töötavad kiiresti ja tõhusalt seadmata liiga palju survet oma võrgu infrastruktuuri, ilma dubleerimata töötlemise ülesandeid regulaarselt.
• Veenduge, et teil ehitada tõrketaluvuseks ja viga checking oma rutiin, töötajad saavad peatada ja jätkata ja kõige ebamugav korda. Pea meeles, et vaadata, kas tulemused on juba esitatud mõne teise töötaja.

Järgmine kord

In 3. osa loome meie virtuaalne töötlemise masin ja luua meie aknad masinad saada idle tööajaga töötajad.

Kommentaarid (3)

Autor Steven Lloyd Watkin , reedel 4. detsember 2009 11:03

Tutvustus

Ma töötan ettevõttes, kus võtame palju partii töökohtade töötlemine miljoneid plaate andmete iga päev ja ma olen mõelnud viimasel ajal umbes kõik masinad, mis istuvad iga päev midagi mitu tundi. Kas ei oleks hea, kui saaksime kasutada neid masinaid toetada töötlemise võimsus on meie süsteemid? Selles sätestatud esemete ma lähen vaatama võimalikku kasu töötab kontoris võrku kasutades virtualised keskkondades.

In 4. osa vaatasime, kasutades vahendeid, et tagada, et me oleme töötab uusima versiooni kood ja andmeallikad, nii et saadud tulemused on alati up-to-date viimaste äriteabe ja loogika.

Lähetuseelset

Enne rakendades oma võrgusüsteemi kui seal on üks asi, mida teha ja üks asi ainult see kriteerium teie praegune süsteem! Ükskõik, mida sa öelda kolleegidele, kui palju lisatööd oma süsteemi kavatseb teha, kui sa pole numbrid tagasi selle üles oma garantiid on midagi. Niisiis,

• kui palju kirjeid saate protsess praegu? Päevas? Tunnis?
• Kui kaua see tavaliselt võtab ümber pöörata töö?
• Kui palju rohkem võimalusi teil on?

There's also additional questions:

• If your processing server (or one of your processing servers) goes down how will this affect your capabilities, will you be crippled?
• What advantages do you hope/expect to get from a grid system?
• Are your office machines capable of running the jobs?
• Are your (or can you jobs be converted) to wrok in this style of running?

The last major point is to take your time on any major change like this. Uuenda oma töötlemine koodi tööle kasutades uut metoodikat, võrdlusindeks uuesti. Possibly set up your processing server to run a virtual machine, after all your processing server will just be another worker (just a very powerful one relatively). Allow the new process to settle.

Deployment

My suggestion would be to pop into the office one weekend perform all the installations and setup. Do this just before a fortnight's holiday and leave so other poor chap to deal with the consequences… maybe not…

Deployment for a system like this needs to be slow. Despite it being relatively simple to set up this system will affect your entire office infrastructure (well the digital one). Firstly, roll out to a couple of machines at a time, monitor network traffic, how the worker hosts perform on a day-to-day basis. You may need to alter your job configuration in response to your findings.

Once the system has settled with a few machines (lets say 10% of all office machines, ie 5) keep monitoring network traffic and host machine performance. Next benchmark again, you should now be processing 33% more jobs than your first benchmarks. Check this is so, or that you're at least in this ballpark. If not, investigate what is going on before moving on. Repeat this cycle until you happily have all office machines running without killing individual machine performance or grinding your network to a standstill.

At all times keep benchmarking, even after all deployments are made. Check how new code updates affect speed of your system, check all workers are reporting in and processing jobs. Slowly (very slowly) increment your job configuration to get the best from your workers and network.

Stop!

Aga kui soovite, et peatada oma töötajaid töötab mõnda aega? Nad kõik on seal töötab, taastootmine, ja üritab oma parima, et andmete töötlemiseks nagu näljased putukad. Vastus võib tunduda ilmselge, kuid selle väärt lisades igaks juhuks oma tähelepanuta. Lihtsalt muutke oma töötlemine skripti exit (0) or die () või mõne muu avaldus tappa oma töötlemine töö. Oluline põhjus, miks me püüame alati värskeima töötlemine script enne jookse!

Näidissüsteemirakenduste

Selleks, et kirjutada selle rea lühikesi artikleid olen loonud väga väikese võrguga tõestada tehnoloogia ja metoodika. Ma lugesin palju artikleid, õpetused, ja kasutada eri vahendeid, et setup ja jälgida, mis juhtus. Mitte sugugi ma olen läinud ja küllastunud kogu office liikluse ja ega ma olen olnud juurdepääs regulaarselt töötaja PC näha, kuidas vastuvõttev täitmine oli mõjutatud.

Minu tutvustamise süsteem oli väga tagasihoidlik, tõepoolest. Ma kasutasin oma regulaarset desktop loodud töökohtade kontrolli server. Selle Mul oli installitud MySQL server installeeritud loodud meister replikatsiooni, PHP , A ja SVN kaudu seotud apache (juurdepääsu kaudu töötaja VM).

Siis ma loodud CentOS töötaja masin VirtualBox on 6 aastane windows XP sülearvuti. I setup kavandatud ülesanded on määratletud pärast kopeerimist VM peale masin ja lase tal minna.

The virtual machine was set up with PHP, subversion, and mySQL. I checked out a branch named 'worker' from my job control servers repository and made sure it could be updated using 'svn update'. Next I setup mySQL as a slave and checked that data was replicating from mySQL on the job control server down to the worker VM. After all this I setup the bash script and the cron job.

My processing script basically went along the lines of this (very simple stuff):

• Read in the name field
• Counted the number of similar names in a table from the data source held on the VM
• Counted the number of names as above but splitting the name by spaces (ie forename, middle, surname)
• Repeated this process 1,000 times

Each job took approximately 20 minutes to run. At one point I opened several copies of the worker VM on the windows laptop and watched the jobs be checked off by each of the worker IP addresses. At this point I also confirmed that replication automatically restarted.

Leaving the laptop to idle resulted in a worker starting to process jobs from the job control server. When resuming laptop usage there was a delay of about 30-60 seconds, this is a fair amount of time and staff would need to be made aware that their machine may pause for a short while when returning to the machine. Newer machines may not have a pause of this long. The benefit of the amount of processing performed by these machines during idle periods would more that outweigh staff members having to wait a short period (say 1 minute) on arriving at their machines of a morning (I frequently wait longer that this for a Windows Defender update to take place) provided they were made aware of this (useful time to grab a morning coffee!).

Overall I feel confident that I have demonstrated the technologies that could be used to create such a system. I have shown that such a system does work on a (very) small scale and with some more experimenting could be scaled up utilise the resources of an office's machines. If I don't get to the point of doing this I would be very interested to know/see when someone else does.

Conclusions / Evaluation

Järgmine selge samm oleks tegelikult saada reaalses maailmas eeskuju ja hakata kasutama sellist süsteemi, nagu see jooksul bürookeskkonna ja vaata, mis juhtub. Küsid äri pühenduma seda ilma rada lõõskava ettevõte tõestada tehnoloogia ja tõhusust võib olla natuke raske. Grid / Distributed computing on väga populaarne on mõned ringid ja on mõned suured rakendused (BIONC, SETI @ Home, Folding @ Home, jne). Ma ei siiski leida väiksemate ja lihtne süsteem, nagu seda minu otsingud, mida võiks rullitakse jooksul Office'i keskkonnas.

Olen loonud põhiliselt vaba süsteem, kasutades enamasti avatud lähtekoodiga tarkvara ja vahendeid peaaegu igas kontoris. Tehnoloogiad olid põhiliselt tõestada ja näidata teha ja töötavad nagu eeldatud. Loodetavasti on näidata, et koos ei ole palju tööd ja väga lihtne setup saate kasutada kontori võrgu andmetöötlus süsteem, mis on võimas, odav, ja kaugõppe kõik samal ajal.

Kui süsteem on käivitunud, ei ole peaaegu üldse lõpetada summa kohandamist ja parandamist saab teha. Näiteks statistika / võrdlusuuring võib kergesti lisada näidatakse väärt sellise süsteemi iga päev. Uued masinad on võimalik lisada lihtsalt ja kiiresti, kui nad saabuvad täiendusi olemasoleva riistvara toetades oma töötlemise võimsus.

Loodan, et te nautisin lugemine see mitmed artiklid ja tema annab teile mõtteainet töötab office võrgusüsteemi. Lahendus esitatakse siin ei pruugi töötada kõikides olukordades vaid neid tuleks kohandada, et võimaldada teil saada oma andmetöötlus teha kasutades oma lahendus.

Palun saatke mulle mingeid kommentaare, parandusi või täiustusi ja ma teen oma parima, et hoida käesoleva artikli uuendatakse.

Kommentaarid (0)

Autor Steven Lloyd Watkin , pühapäev 11. oktoober 2009 06:09

If you've recently upgraded PHP or Apache you maybe coming up against the issue of your webserver returning blank pages, and throwing error messages into your logs with no idea why, here's one possible way to fix it…

I've had this problem a couple of times recently after upgrading Apache or PHP on a virtual machine. The first time I noticed the error I simply reverted to a backup of my VM but the second time I realised I'd have to look into the issue.

Esimest korda märkasin teema mõned minu veebilehekülgi hoiti teeninud tühi faile ülejäänute töötanud absoluutselt trahvi. After some investigation I noted that apache was writing out to /var/log/http/error_log with the following message repeatidly:

[notice] child pid XXXX exit signal Segmentation fault (11)

Seal ei ole jaot minna on-line, ja enamik lehti sellest jälg maha midagi. That said, I narrowed down the issue to PHP crashing when trying to unneeded dynamic libraries.

Looking at my php.ini (/etc/php.ini) I commented out all of the dynamic libraries loaded planning on commenting them back in as required. The two I had to take out where pdo.so and mysql .so .

Once these were removed all my web pages were being served fine, just as before the PHP/Apache update.

Kommentaarid (0)

By Steven Lloyd Watkin , Saturday 11th July 2009 9:48 pm

As I've spent another few hours today without internet access I thought I'd better get this written down so that next time I mess my laptop up the information is easy to fix.

Basically to get wireless drivers working for an Acer 5002 WLMi you'll need to use b43-fwcutter. Instructions can be found here: Linux Wireless B43 .

Easy once the information is located.