Bevezetés

Dolgozom a vállalatnál, ahol fuss sok kötegelt feladatok feldolgozására millió nyilvántartást adatok minden nap, és én már gondoltam a közelmúltban arról az összes gépet, hogy ülünk, minden egyes nap semmit sem csinál több órán át. Nem lenne jó, ha tudnánk használni e gépek, mely növeli a feldolgozási teljesítmény, a mi rendszerek? Ebben a cikket, megyek megnézni a potenciális előnyei foglalkoztató iroda hálózat segítségével virtualizált környezetben.

A 4. rész is nézett eszközök használatával, annak érdekében, hogy mi fut a legújabb verzióját a kód és az adatforrások, hogy a kapott eredmények mindig up-to-date a legújabb üzleti információk és a logika.

Pre-Deployment

Telepítése előtt a távvezeték-hálózat, ha van egy dolog, amit tenni, és egy dolog, csak ez a viszonyítási alap a jelenlegi rendszer! Nem számít, mit mond kollégái, mennyi plusz munkát a rendszer nem fog csinálni, ha van számok ezt alátámasztanák a garanciák semmit. Szóval,

• Hány rekordok tudsz folyamat jelenleg? Napi? Óránkénti?
• Mennyi ideig tart általában venni, hogy megforduljon a munkát?
• Mennyivel több kapacitás van?

Van még további kérdéseket:

• Ha a feldolgozó szerver (vagy az egyik feldolgozó szerverek) megy le, hogyan lesz ez hatással a képességei, leszel nyomorék?
• Milyen előnyei vannak reményt / kapni egy grid-rendszer?
• Ön irodagépek képes futtatni a munkahelyek?
• Ön (vagy tud munkahely alakítható), hogy ebben a stílusban fut?

Az utolsó nagy lényeg az, hogy az idő minden jelentősebb változás, mint ez. Frissítse a feldolgozási kód dolgozni az új módszer, benchmark újra. Esetleg állítsd be a feldolgozó szerver fut egy virtuális gép, miután minden feldolgozás szerver csak egy újabb munkavállaló (csak egy nagyon erős egy relatíve). Lehetővé teszi az új folyamat rendezésére.

Telepítés

A véleményem az lenne, hogy nézz be az irodába egy hétvégén végre mindazokat a létesítményeket és a beállítás. Ehhez előtt egy kéthetes nyaralás és hagyja, hogy más szegény fickót, hogy foglalkozik a következményekkel ... talán nem ...

Telepítés egy ilyen rendszer kell lassú. Annak ellenére, hogy viszonylag egyszerű létre ez a rendszer hatással lesz az egész irodai infrastruktúra (valamint a digitális egyet). Először is, kiépítés egy pár gépet egy időben, figyelemmel kíséri a hálózati forgalmat, hogy a munkavállaló házigazdák végeznek a napról-napra. Lehet, hogy változtassa meg a munkát konfigurációt választ a megállapításokat.

Miután a rendszer állandó néhány gép (mondjuk 10%-a az összes irodai gépek, azaz 5) folyamatosan hálózati forgalom és a kiszolgáló gép performance. Következő benchmark újra, akkor most meg kell feldolgozása 33%-kal több munkahelyet, mint az első kritériumot. Ellenőrizze, ez így van, vagy hogy te legalább ebben a helyzetbe. Ha nem, vizsgálja ki, mi folyik itt, mielőtt tovább. Ismételjük meg ezt a ciklust, amíg boldogan minden irodai gépeken futó nélkül megölése egyedi gép teljesítményét, vagy őrlése a hálózat a holtpontról.

Mindenkor tartsa teljesítményértékelés, még azután is, az összes telepítések készülnek. Ellenőrizze, hogy az új kód frissítések érintik sebességét a rendszer ellenőrzi az összes munkavállaló jelentési és feldolgozása munkahelyeket. Lassan (nagyon lassan) növelés a munkád konfigurációt, hogy a legjobb az Ön munkavállalók és a hálózat.

Stop!

Mi van, ha azt szeretné, hogy megállítsa a munkavállalók futó kis időt? Ezek mind ott fut, regeneráló, és megpróbálja a legjobb az adatok feldolgozására, mint éhes rovarok. A válasz nyilvánvaló tűnhet, de érdemes hozzá csak abban az esetben, figyelmen kívül hagyni. Egyszerűen szerkesztheti a feldolgozó szkript egy exit (0) or die () vagy más nyilatkozatot, hogy megöli a feldolgozó munkát. Egy fontos ok, hogy miért mindig próbálja frissíteni a legújabb feldolgozó szkript előtt fuss!

Demonstrációs rendszer

Annak érdekében, hogy megírom ezt a rövid cikket tartalmaz Csináltam egy kis rácsot, hogy bizonyítsa a technológiák és módszerek. Olvastam sok cikket, oktatóanyagok, és használják a különböző eszközöket beállít, és figyelemmel kíséri, mi történik. Semmiképpen sem tettem elment, és telített egy egész iroda a nemzetközi forgalmat és nem is kellett hozzáféréssel rendelkezik egy állandó személyzetének tagjai PC, hogy milyen fogadó teljesítmény volt érintett.

Én a szemléltető rendszer volt, nagyon szerény, valóban. Régen én rendszeresen asztali létre, mint a munka ellenőrzési szerver. Ezen kellett telepíteni MySQL szerver telepítve létre, mint a mester replikáció, PHP , Â és SVN keresztül kapcsolják össze az Apache (a hozzáférés munkavállaló VM).

Aztán létrehoztunk egy CentOS munkavállaló gép VirtualBox egy 6 éves Windows XP laptop. Állítom ütemezett feladatok meghatározott másolás után a VM-ra a gépet, és hagyjuk, hogy menjen.

A virtuális gép jött létre a PHP, felforgatás, és a MySQL. Megnéztem egy ág neve "munkavállaló" az állásomból control szerverek adattár és gondoskodott arról, hogy lehet frissíteni a 'svn update ". Következő állítom mySQL, mint egy rabszolga és ellenőrizni, hogy az adatok másolására a MySQL a munkát ellenőrző szerver le, hogy a munkavállaló VM. Mindezek után állítom a bash script és a cron job.

Saját feldolgozó szkript alapvetően ment mentén e (nagyon egyszerű dolgok):

• Olvassa el a neve mezőbe
• Megszámoltuk a hasonló nevek egy asztalt az adatforrás tartott a VM
• Megszámoltuk a nevek, mint fent, de felosztása a nevet, terek (pl. keresztnév, középen, vezetéknév)
• Megismételte ezt a folyamatot 1000-szer

Minden munka volt kb 20 perc alatt futtatni. Egy ponton nyitott több példányban, a munkavállaló VM a Windows laptop, és figyelte a munkahelyeket kell ellenőrizni ki mind a munkavállaló IP-címek. Ezen a ponton azt is megerősítette, hogy a replikáció automatikusan újraindul.

Elhagyva a laptop készenléti eredményezett a munkavállaló elkezd folyamat feladatokat a munka feletti ellenőrzés szerver. Ha úgy tér laptop használata volt a késés körülbelül 30-60 másodperc, ez egy meglehetősen sok időt és személyzetet kellene értetni, hogy a gép szünet egy rövid időre, amikor visszatér a gép. Újabb gépek nem lehet szünet a hosszú. Az előny összegének által végzett feldolgozás során ezek a gépek készenléti idők több mint ellensúlyozzák alkalmazottak részére, akik, hogy várjon egy rövid ideig (mondjuk 1 perc) az érkező gépeik A reggeli (Én gyakran hosszabb ideig várnia, hogy ez a Windows Defender A frissítés kerül sor), amennyiben voltak tisztában a (hasznos idő, hogy megragad a reggeli kávét!).

Összességében úgy érzem, abban, hogy bebizonyították, a technológiák, amelyek segítségével létrejöhet egy ilyen rendszer. Megmutattam, hogy egy ilyen rendszer működik egy (nagyon) kis-és néhány további kísérletezés lehet szorozni kihasználni a források egy irodai gépeit. Ha én nem értem, hogy a pont ezt én is nagyon érdekelt, hogy tudja / látni, ha valaki más teszi.

Következtetések / Értékelés

A következő lépés az lenne, nyilvánvaló, hogy valóban kap egy valós példát, és elkezdi telepíteni a rendszert, mint ez egy olyan irodai környezetben, és meglátjuk, mi történik. Kérdezi üzleti hogy kötelezzék el magukat e nélkül nyomvonal lángoló társaság bizonyítani a technológia és a hatékonyság lehet egy kicsit nehéz. Rács / Elosztott számítások igen népszerű bizonyos körökben, és néhány nagy alkalmazások (BIONC, SETI @ Home, a Folding @ Home, stb). Én azonban nem talál egy kisebb méretű és egyszerű rendszert, mint ez az én keresések lehetne kigördült egy olyan irodai környezetben.

Létrehoztam egy alapvetően ingyenes rendszer segítségével többnyire nyílt forráskódú szoftverek és eszközök állnak rendelkezésre szinte minden irodában. A technológiák alapjában véve igazolták, és azt mutatják, hogy teljesítményük és a várt módon működnek. Remélhetőleg már azt mutatják, hogy az nem sok munka és egy nagyon egyszerű beállítás telepítheti iroda grid rendszer, amely hatékony, olcsó, Â és méretezhető minden ugyanabban az időben.

Miután a rendszer felállt és működik ott szinte nincs vége az összeget testreszabási és fejlesztések megteheti. Például a statisztikák / benchmarking könnyen kiegészíthető mutató értéke egy ilyen rendszer minden nap. Új gépek is ki gyorsan és egyszerűen, ahogy és amikor érkeznek a frissítések a már meglévő hardver rávilágítson a feldolgozási teljesítményt.

Remélem, élvezettel olvasta ezt a cikksorozatot és adott neked elgondolkodtató a futtató irodai hálózati rendszer. A bemutatott megoldás itt nem feltétlenül működnek minden helyzetben, de kell alkalmazkodniuk kell lehetővé teszi, hogy az adatok feldolgozása segítségével történik a saját megoldás.

Kérjük, küldje el nekem minden megjegyzést, korrekciót, vagy a fejlesztések és én minden tőlem telhetőt, hogy ezt a cikket frissítve mérkőzést.

3 Válasz-hoz "Office Grid segítségével virtuális környezetek - 5. rész"

1. Evilprofessor.co.uk »Office Grid segítségével virtuális környezetek - 4. rész azt mondja:

   Szombat december 5, 2009 at 01:20

   [...] Az utolsó része a sorozat, találóan elnevezett 5. rész, megbeszéljük telepíteni ezt a rendszert. Majd össze, mit tudtunk meg, és [...]

   Válasz
2. Roland Gorychka azt mondja:

   18. Kedd május 2010 at 1:18

   Szervusz ott, Nagy cikk haver! Fáradt vagyok az RSS-hírek és nem használ Twitter? így tudok követni ott: D.
   PS: Van úgy üzembe videó a blog tartani az olvasók jobban élvezte? Azt hiszem, ez működik. Roland Gorychka

   Válasz
3. Steven Lloyd Watkin azt mondja:

   Szerda 19 május 2010 at 9:03

   Lásd Twitter a jobb oldalon minden oldalon. Köszönöm!

   Válasz