Kommentit (3)

Kun Steven Lloyd Watkin perjantai 04 joulukuu 2009 23:37

Johdanto

Olen töissä yrityksessä, jossa voimme suorittaa useita eräajot käsittely miljoonia levyjä tietoja joka päivä, ja olen ajatellut viime aikoina kaikki koneet, istua joka päivä tekemättä mitään useita tunteja. Eikö olisi hyvä, jos voisimme käyttää näitä koneita vahvistamaan prosessointitehoa järjestelmiemme? Tämän joukon artikkeleita aion tarkastella mahdollisia hyötyjä palkata toimiston verkon avulla virtualisoituja ympäristöissä.

Kun osa 2 tutustuimme työpaikat palvelin ajaa ja miten työpaikkoja tulisi määrittää, jotta saavutetaan mahdollisimman suuren osan käsittelyn ja samalla varmistaa, että jokainen työ on käsitelty ilman epäonnistuvat.

Perustetaan oma työntekijä - tai Limp server

Seuraava askel on perustaa virtuaalisen työntekijöitä. Tätä aion käyttää asennuksen CentOS käyttää VirtualBox. Aion asentaa MySQL ja PHP on palvelimessa, joka tunnetaan myös ontua (Li Nux, m ySQL, P HP) Servera (Olen ehkä tehnyt tämän nimen ylös).

• Asenna VirtualBox on Windows koneella (seuraa linkkiä)
• Lataa ja asenna CentOS (nykyinen versio 5.3) sisällä virtuaalikoneen

Ei ole mitään järkeä menin tähän on luultavasti 1000: n suuri tutorials siellä (ok, tässä yksi: luominen ja Managing CentOS virtuaalikoneen alle virtualbox ). Tärkeää huomata Oletan, että minä kutsuin virtuaalikone GridMachine.

Mitä minun valintoja virtualisoinnin asiakkaan ja käyttöjärjestelmä sinne ole mitään suurta pakottavaa syytä jokaisen valinnan. VirtualBox on jotain käytän minun kotikoneessa ja tukee kolme suurta käyttöjärjestelmiä. Valitsin CentOS sen hyvä vakaa käyttöjärjestelmä, ja käytän sitä omaa www-palvelimen. Olen lujasti oikeat työkalut tähän tehtävään (vaikka en soveltamalla "käytä nopein ja helpoin" mentaliteetti täällä), joten jos käyttöjärjestelmä X kulkee koodia nopeammin ja tehokkaammin käyttää sitä sen sijaan :)

Tärkeää Varmista, että VM käyttää DHCP, muutoin jokainen uusi virtuaalikone olisi määritettävä erikseen, joka on jotain emme want.By DHCP: meidän ei tarvitse määrittää verkkoasetukset erikseen työntekijälle koneita, DHCP luovuttaa out IP sinulle. Voit siis kopioida virtuaalikoneen siitä toimistossa murehtimatta jossa jokainen ylöspäin (tämä parantaa skaalautuvuutta ja vähentää työntekijöiden hallinto).

Prosessi sinun tulisi pyrkiä olisi hankkia uusi fyysinen kone, asentaa VirtualBox, ja sitten aika lailla käyttöön virtuaalisen kuvan ilman paljon muuta. Voisi olla viisasta setup kaikki työntekijät eri aliverkossa, jotta voit ainakin nähdä kuinka monta koneet käynnissä. Sinun on myös perustaa oman koneita pitkäaikainen vuokrasopimus tai rajoittamaton vuokrasopimus DHCP.

Kuinka ajaa Jobs työntekijälle

Tämä on mielenkiintoinen ala, ja on olemassa useita päteviä menetelmiä käsittelyyn työpaikkoja työntekijälle. Täällä minä vain käsitellä kahta ilmeisin:

• Ikuisesti käynnissä käsikirjoitus: käsikirjoitus, olipa shell script-tai PHP-skripti suoritetaan kerran työntekijän ja toimii osana päättymättömään silmukkaan. Olen diskontataan tämän menetelmän yhtenä romahdusta käsikirjoituksen ja mahdollisesti teidän työntekijät eivät enää ajaa ilman jonkinlaista väliintuloa.
• Cron-pohjainen script toteutus: Joka X minuutin cron daemon käynnistymässä puhelun script saada asiat menossa. Ilman jotkut tarkistus voisi johtaa monia monia kopioita työntekijän komentosarja.

Minun päätös oli mennä cron joka käynnistyy shell script joka 10 minutes. My komentotulkkiskripti suorittaa seuraavat tehtävät:

1. Hanki prosessi luettelosta ja grep tämä 'php'. Jos ei löydy niin jatka.
2. Soita työsi koodia, minun tapauksessani se olisi jotain PHP perustuu
3. Työntekijä script täydentää sen run
4. Lähdössä jälleen seuraavan sopiva puhelun

Minun bash script näyttää jotakuinkin seuraavat:

  #! / Bin / sh
 jos ps ax | grep-v grep | grep php> / dev / null
 sitten
     echo "Job käsittelee parhaillaan, exit"
 muu
     echo "Työ ei ole käynnissä, käynnistä nyt"
     php yourJobProcessingScript.php
 fi 

Huom: ECHO: n lähes täysin turhia, mutta voi auttaa seuraavan henkilön tulee yhdessä kokeilla ja muokata niitä.

Julistan perustaa työntekijän virtuaalikoneen, nopea, yksinkertainen ja helppo kopioida jokaiselle uudelle laite, on vastaanotettu. "Älykkyyttä" ja verkkoon todellakaan ole visualisoitu OS, sen kaikki tehdä koodilla luotu prosessi työpaikkoja, työ kokoonpano, ja varmistaa, että tehtävä suoritetaan tarvittaessa (ts. kun isäntä on valmiustilassa ).

Asettaminen Windows alustamiseksi Työntekijät

Ensimmäinen tehtävä on selvittää komennon suorittamiseen tarvitaan virtuaalikoneen ikkunoista komentoriviltä. Jos olet asentanut VirtualBox on oletussijaintiin ja olet nimetty oma työntekijä GridMachine sitten komento tarvitse ladata up your työntekijä:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Kuitenkin komentosarjan in "päättömän" valtio meidän on käytettävä:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - VRDP = off 

Tämä käynnistää virtuaalikoneen ilman GUI ja anna sen tallentaa tilaan sulavasti. Toinen perustelu sammuu RDP, joten se ei ole ristiriidassa ikkunoita RDP, tai antaa sinulle viestin kuuntelee porttia 3389. Virtuaalikone nimi isot ja pienet kirjaimet!

Seuraavaksi meidän täytyy määrittää Windowsin jopa potkia pois meidän työntekijä VM kun kone on ollut käyttämättömänä. Voit tehdä tämän (Windows XP), sinun täytyy mennä Käynnistä -> Kaikki ohjelmat -> Accessories -> System Tools -> ajoitettuja alla:

Seuraavaksi klikkaa "Lisää Aikataulun Task" seuraa selata lisätä mukautettua ohjelmaa. Navigoi VBoxManage käsikirjoituksen ja klikkaa ok. Ajoita tehtävä mikään vaihtoehdoista (me vaihdamme tätä minuutissa) ja jatka. Kun ohita seuraava näyttö Windows kysyy kuka haluat suorittaa tämän tehtävän, Haluan ehdottaa joko "Järjestelmänvalvoja" tai luo uusi etuoikeutettu käyttäjä. Muista, emme halua puuttua standardin henkilöstöstä koneeseen milloin tahansa. Valitse Seuraava ja tarkista Näytä lisäasetukset tähän tehtävään.

Voit lopussa run oppikirja lisätä meidän "startvm GridMachine 'string ja että ajaa vain kirjautuneena jää unticked. Käy aikataulu tehtävä seuraava ja muuttaa aikataulua pudota alas vaihtoehto "kun hyödytön" Valitse aika haluat koneen olla käyttämättä ennen kuin siirrytään seuraavaan välilehteen.

Lopuksi untick vaihtoehto, jossa todetaan lopettaa tehtävän, jos se on käynnissä X määrä aikaa, mutta älä rasti vaihtoehdon pysäyttää tehtävä, jos laite ei enää käytetä.

Siinä se sitten Windowsin host setup!

Yhteenveto

Tässä osassa olemme perustaneet virtuaalikoneen toimia työntekijänä, sekä tapa, jolla me kutsumme ja toteuttamaan meidän tehtävämme käsittely skriptejä (itselleni PHP-skripti). Sieltä me tarkastelemme kuinka perustaneet kappaletta ikkunoiden käynnistää virtuaalikoneen on päätön tilassa, kun tietokone on käyttämättömänä, ja tallentaa sen tilaan, kun käyttäjä palaa käyttö koneen. Toivottavasti tässä vaiheessa näet kuinka helppoa on perustettava tällainen järjestelmä ja kutiavat saada joitakin kokeiluja menossa itse!

Seuraavalla kerralla

Vuonna Osa 4 me tarkastelemme työkaluilla että käytätkö uusinta versiota koodin ja tietolähteet niin, että saadut tulokset ovat aina ajan tasalla uusimpien kaupallisten tietojen ja logiikkaa.

Kommentit (3)

Kun Steven Lloyd Watkin perjantai 04 joulukuu 2009 23:03

Johdanto

Olen töissä yrityksessä, jossa voimme suorittaa useita eräajot käsittely miljoonia levyjä tietoja joka päivä, ja olen ajatellut viime aikoina kaikki koneet, istua joka päivä tekemättä mitään useita tunteja. Eikö olisi hyvä, jos voisimme käyttää näitä koneita vahvistamaan prosessointitehoa järjestelmiemme? Tämän joukon artikkeleita aion tarkastella mahdollisia hyötyjä palkata toimiston verkon avulla virtualisoituja ympäristöissä.

Vuonna Osa 4 tutustuimme työkaluja, jotta voimme käytössäsi uusin versio koodin ja tietolähteet niin, että saadut tulokset ovat aina ajan tasalla uusimpien kaupallisten tietojen ja logiikkaa.

Ennen käyttöönottoa

Ennen kuin otat teidän verkkoon, jos on olemassa yksi asia mitä teet ja yksi asia vain se benchmark nykyinen järjestelmä! Ei ole väliä mitä kerrot kollegansa siitä, kuinka paljon ylimääräistä työtä järjestelmä tulee tehdä, ellei sinulla ole numeroita kuulen tämän teidän takeita ole mitään. Joten,

• kuinka monta kirjaa voit käsitellä tällä hetkellä? Per Day? Tunnissa?
• Kuinka kauan se yleensä kestää kääntyä työpaikka?
• Kuinka paljon enemmän kapasiteettia sinulla on?

Mukana on myös muita kysymyksiä:

• Jos käsittely palvelin (tai joku käsittely palvelimet) laskee miten se vaikuttaa ominaisuudet, aiotte rujo?
• Mitä etuja sinulla toivoa / odottaa saavansa siitä sähköverkkojärjestelmään?
• Ovatko konttorikoneiden pystyy käyttämään työpaikkoja?
• Ovatko (tai voit työpaikkaa muuntaa) ja wrok tähän tyyliin käynnissä?

Viimeinen tärkeä asia on, että otat aikaa merkittäviä muutoksia näin. Päivitä koodimerkkien toimimaan käyttämällä uusia menetelmiä, Benchmark uudelleen. Mahdollisesti perusti oman käsittelyn palvelimen ajaa virtuaalikoneen, kun kaikki jalostuksen palvelin vain olla toinen työntekijä (vain erittäin voimakas suhteellisen). Anna uusi prosessi asettua.

Käyttöönotto

Ehdotukseni olisi pop toimistoon yhden viikonlopun suorittaa kaikki asennukset ja asetukset. Tee tämä juuri ennen kahden viikon lomaa ja lähteä niin muiden köyhien kaveri käsittelemään seurauksia ... ehkä ei ...

Deployment tällainen järjestelmä on hidasta. Vaikka se on suhteellisen helppo asentaa tämä järjestelmä vaikuttaa koko toimiston infrastruktuuri (myös digitaalista yksi). Ensinnäkin rullaa ulos pari koneita kerrallaan, näyttö verkkoliikenteen, miten työntekijä isännät suorittaa päivittäinen perusteella. Saatat joutua muuttamaan työn määritykset vastauksena löytösi.

Kun järjestelmä on ratkaistu muutamalla koneet (sanotaan vaikka 10% kaikista toimistolaitteet, eli 5) pitää seuranta verkkoliikennettä ja pääkoneen performance. Seuraavaksi benchmark uudestaan, sinun pitäisi nyt käsitellä 33% enemmän työpaikkoja kuin ensimmäinen vertailukohtia. Tarkista tämä on niin, tai että olet ainakin tässä ballpark. Jos ei, tutkia, mitä tapahtuu ennen siirtymistä. Toista tätä sykliä kunnes onneksi on kaikki konttorikoneiden käynnissä tappamatta yksittäisen koneen suorituskykyä tai hionta verkkosi pysähtynyt.

Kaikkina aikoina pitää esikuva, vaikka kaikki käyttöönottoja on tehty. Katso miten uusi koodi päivityksiä vaikuttaa nopeudesta, tarkista kaikki työntekijät ovat raportointi ja käsittely työpaikkoja. Hitaasti (erittäin hitaasti) suurennettava työsi kokoonpanon saada kaiken irti työntekijöitä ja verkko.

Lopeta!

Entä jos haluat lopettaa työntekijöiden käydessä jonkin aikaa? Ne ovat kaikki siellä käynnissä palauttamiseksi, ja yrittävät parhaansa mukaan käsitellä tietoja kuin nälkäiset hyönteiset. Vastaus saattaa tuntua itsestään selvältä, mutta sen syytä lisätä vain jos sen huomiotta. Yksinkertaisesti muokata käsittely script exit (0) or die () tai muu selvitys tappaa käsittelyyn työtä. Tärkeä syy siihen, miksi pyrimme aina päivittää uusimpaan käsittelyyn käsikirjoitus ennen run!

Esittelyjärjestelmäsovellusten

Voidakseen kirjoittaa Tästä lyhyitä artikkeleita olen luonut hyvin pieni ruudukko osoittaa tekniikoita ja menetelmiä. Olen lukenut paljon artikkeleita, opetusohjelmia, ja käyttää erilaisia ​​työkaluja asentaa ja seurata, mitä oli tekeillä. Missään olen mennyt ulos ja tyydyttyneitä koko toimisto liikenteen ja enkä ole ollut käytössään vakituisen henkilöstön jäsenet PC kuinka isäntä tulokseen vaikuttivat.

Mielenilmaukseni järjestelmä oli erittäin nöyrä todellakin. Käytin säännöllisesti työpöydän perustettu työnohjausta palvelimelle. Tässä olin asentanut MySQL -palvelimen asennettu perustettu mestari lisääntymään, PHP , Â ja SVN kytkeytyvät toisiinsa Apache (yhteys kautta työntekijän VM).

Sitten luonut CentOS työntekijän koneen VirtualBox on 6 vuotta vanha Windows XP laptop. Olen setup aikataulun mukaiset tehtävät kopioinnin jälkeen VM koneeseen ja anna sen mennä.

Virtuaalikone perustettiin PHP, Subversion ja MySQL. Olen kassalla haara nimeltä "työntekijän" Oman työn hallinta palvelimet arkisto ja varmisti voitaisiin päivittää käyttämällä "svn update". Seuraavaksi setup MySQL orja ja tarkistanut, että tietoja on jäljitellä MySQL on työnohjausta palvelin alas työntekijälle VM. Kun kaikki tämän minä setup bash script ja cron työtä.

Minun käsittely script pohjimmiltaan meni pitkin viivoja (hyvin yksinkertaisia ​​asioita):

• Lue ja kenttään
• Lasketaan määrä vastaavia nimiä taulukko tietolähteen pidettiin VM
• Lasketaan nimien kuin edellä, mutta jakamalla nimen tilat (esim. etunimi, keskellä, sukunimi)
• Toistuva tämä prosessi 1,000 kertaa

Jokainen työ kesti noin 20 minuuttia juosta. Yhdessä vaiheessa olin avannut useita kopioita työntekijän VM ikkunoiden laptop ja katseli työpaikat tarkastetaan pois kunkin työntekijän IP-osoitteet. Tässä vaiheessa olen myös vahvistanut, että replikointi automaattisesti uudelleen.

Jättäminen kannettava tyhjäkäynnille johti työntekijä alkaa käsitellä työpaikkoja työnohjaukseen palvelimelle. Kun jatkat kannettavan käyttö oli viive noin 30-60 sekuntia, tämä on melkoisesti aikaa ja henkilöstön olisi tehtävä selväksi, että heidän kone voi pysähtyä hetkeksi palatessaan kone. Uudemmissa koneissa ei välttämättä ole tauon tätä pitkää. Hyöty määrän käsittelyn suorittaa näiden koneiden seisonta kaudet antaisivat enemmän kuin suuremmat toimihenkilöille odottaa lyhyen aikaa (esimerkiksi 1 minuutti) on ne saapuvat koneet aamu (olen usein odottamaan kauemmin että tätä Windows Defender päivitys tapahtuu) jos ne ovat tietoisia tästä (hyödyllinen aika napata aamulla kahvia!).

Kaiken kaikkiaan olen varma, että olen osoittanut teknologioita, joita voitaisiin käyttää luomaan tällaisen järjestelmän. Olen osoittanut, että tällainen järjestelmä tekee työtä (hyvin) pienimuotoista ja joitakin kokeiluja voidaan skaalata jopa hyödyntää resursseja toimiston koneita. Jos en pääse pisteen Näin Olisin erittäin kiinnostunut tietämään / nähdä, kun joku muu tekee.

Päätelmät / Arviointi

Seuraava selvä askel olisi itse saada reaalimaailman esimerkki ja alkaa ottaa käyttöön järjestelmä, kuten tällä alueella toimistoympäristössä ja katso mitä tapahtuu. Kysymysten liiketoiminnan sitoutumaan tähän ilman polkua liekehtivän yritys todistaa teknologian ja tehokkuuden voi olla hieman vaikeaa. Grid / Distributed Computing on erittäin suosittu on joissakin piireissä ja on joitakin suuria sovelluksia (BIONC, SETI @ Home, Folding @ Home jne.). En kuitenkaan löydä pienemmässä mittakaavassa ja yksinkertainen järjestelmä näin hauissa jotka voitaisiin kaulitaan sisällä toimistoympäristössä.

Loin periaatteessa ilmainen, joka käyttää enimmäkseen avoimen lähdekoodin ohjelmistoja ja työkaluja lähes mihin tahansa toimistoon. Tekniikoita käytännössä osoitettu ja osoittaa suorittaa ja toimisi odotetusti. Toivottavasti on osoittaa, että ei ole paljon työtä ja hyvin yksinkertainen asennus, voit käyttää toimisto grid-järjestelmä on tehokas, halpa, Â ja skaalautuva kaikki samaan aikaan.

Kun järjestelmä on toiminnassa ei melkein ole loppua määrän räätälöinnin ja parannuksia voit tehdä. Esimerkiksi tilastot / esikuva voidaan helposti lisätä jossa arvosta tällaisen järjestelmän joka päivä. Uusia koneita voidaan lisätä nopeasti ja helposti, kun ne saapuvat päivitykset nykyisten laitteiden toimintaa vahvistamalla laskentatehoa.

Toivottavasti olet nauttinut lukea tämä artikkelisarja ja antaa teille ajattelemisen aihetta koskeva käynnissä toimiston verkkoon. Ratkaisu esitetään tässä ei välttämättä toimi kaikissa tilanteissa, vaan olisi voitava mukauttaa, jotta voit saada tietojenkäsittelyyn tehdä käyttämällä oman ratkaisun.

Voit vapaasti lähettää minulle kommentteja, korjauksia tai parannuksia ja teen parhaani pitää tämän artikkelin päivitetään vastaamaan.