Hozzászólások (3)

A Steven Lloyd Watkin , péntek december 4, 2009 23:37

Bevezetés

Dolgozom a vállalatnál, ahol sok fut kötegelt feladatok feldolgozására millió nyilvántartások adatok minden nap, és én már gondolok a közelmúltban arról, hogy az összes gép ülnek minden nap semmittevés órákon át. Nem lenne jó, ha tudnánk használni az olyan berendezést, mely növeli a feldolgozási teljesítmény a rendszerünk? Ebben a statútum fogom nézni a potenciális előnyei foglalkoztat egy irodai hálózat segítségével virtualizált környezetben.

A 2. részben megnéztük a munkahelyek egy szerver fog futni, és hogyan munkahelyeket úgy kell beállítani, annak érdekében, hogy a legnagyobb mennyiségű feldolgozás, biztosítva egyúttal, hogy minden feladat feldolgozása hiba nélkül.

Beállítása a munkavállaló - és petyhüdt szerver

A következő lépés a folyamat, hogy beállítsa a virtuális munkavállalók. Ehhez fogom használni telepítése CentOS VirtualBox segítségével. Meg fogom telepíteni MySQL és a PHP a szerveren, más néven sántítás (Li Nux, ySQL m, P HP) Kiszolgáló (Lehet, hogy tette ezt a nevet fel).

• VirtualBox telepítése a Windows gépen (az alábbi link)
• Töltse le és telepítse CentOS (jelenlegi verzió 5.3) belül létrehozott virtuális gép

Nincs értelme lesz nekem erre van talán 1000 's nagy tutorials odakinn (OK, itt van egy: létrehozása és Managing CentOS virtuális gép alatt VirtualBox ). Az Fontos megjegyezni azt hiszem, hogy én felhívtam a virtuális gép GridMachine.

Ami a választásom a virtualizáció és az operációs rendszer kliens megy nincs nagy kényszerítő ok, minden választás. A VirtualBox valamit, amit használni az otthoni gépen, és támogatja a három fő operációs rendszerrel. Úgy döntöttem, CentOS, mint a jó és stabil operációs tudom használni a saját webszervert. Én vagyok egy nagy híve a megfelelő eszközöket a munka (bár én alkalmazása "használja a leggyorsabb és legegyszerűbb neked" mentalitás itt), így ha az operációs rendszer X fut a kód gyorsabban és hatékonyabban használni, hogy helyette :)

Fontos, hogy ellenőrizze, hogy a VM használ DHCP, különben minden egyes új virtuális gépet kellene beállítani külön-külön, ami valami, amit nem használ DHCP want.By nem kell beállítani a hálózati beállításokat külön-külön dolgozó gépek, DHCP átad IPs ki az Ön számára. Ezért tudja másolni a virtuális gépen az Office nem kell aggódni a kiosztásról egyet (ez javítja a skálázhatóság és csökkenti a munkavállaló adminisztráció).

A folyamat akkor tűztek ki célul az lenne, hogy szerezzen be új fizikai gép, VirtualBox install, majd nagyjából bevetni a virtuális kép nem sok mást. Lehet, hogy bölcs, hogy beállít az összes munkavállaló egy másik alhálózaton, így legalább látni, hogy hány gép fut. Azt is el kell állítania a gép egy hosszú távú bérleti vagy lízing korlátlan DHCP.

Hogyan lehet futtatni Jobs a munkavállaló

Ez egy érdekes terület, és számos megalapozott módszereket feldolgozó munkákat a munkavállaló. Itt én csak megvitatják a két legnyilvánvalóbb:

• Állandóan futó script: A script, legyen az egy shell script, vagy egy PHP script lefut, ha a munkavállaló és fut részeként végtelen ciklusba. Én ezt a módszert diszkontált egyik összeomlik a forgatókönyv és esetleg a munkavállaló megszűnik nélkül fut valamilyen beavatkozásra.
• Cron alapú parancsfájl végrehajtása: minden X percben a cron démon indul a hívás, hogy a script, hogy mennek a dolgok. Néhány ellenőrzés nélkül vezethet, hogy sok-sok példányban a munkavállaló script fut.

Az én döntésem volt, hogy a cron, amely indul egy shell script minden 10 minutes. Saját shell script a következő feladatokat:

1. Kap egy futó programok listáját, és ezt szűrnünk 'php'. Ha nem találja, majd folytassa.
2. Hívja fel a munkát kódot, az én esetemben ez valami php alapú
3. Munkás szkript befejezi a run
4. Ready to go again a következő megfelelő hívás

Saját bash script így néz ki a következőket:

  #! / Bin / sh
 ha ps ax | grep-v grep | grep php> / dev / null
 majd
     echo "Job jelenleg feldolgozás, exit"
 más
     echo "feladat nem fut, indítsa el most"
     php yourJobProcessingScript.php
 fi 

Megjegyzés: a visszhang-k szinte teljesen értelmetlen, de segíthet a következő személyt, aki jön, hogy megpróbálja szerkeszteni őket.

Megállapítja, hogy a felállított a munkavállaló virtuális gép, gyors, egyszerű és könnyen másolható, hogy minden új darab hardvert érkezik. Az "okosság" a távvezeték-rendszer valójában nem a megjelenített operációs rendszer, annak minden köze a kód munkahelyet teremtett a folyamat, a munka konfigurációt, és ügyelve arra, hogy a feladat fut, ha megfelelő (vagyis, ha a fogadó tétlen ).

Beállítása Windows inicializálása Munkáspárt

Az első feladat, hogy kidolgozza a parancs futtatásához szükséges virtuális gépet a Windows parancssorban. Ha már telepítette a VirtualBox az alapértelmezett helyre, és már dolgozó GridMachine nevezte el a parancs szükséges töltse fel munkavállaló:

  "C: \ Program Files \ V \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Azonban futtatni a scriptet egy "fej nélküli" állapotban meg kell használni:

  "C: \ Program Files \ V \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - VRDP = off 

Ez el fogja indítani a virtuális gépet anélkül, hogy a GUI-t és hagyjuk, hogy mentse az állami kecsesen. A második érv kikapcsol RDP, így nem ütközik a Windows RDP, vagy kapsz egy üzenetet figyel a 3389-es port. A virtuális gép neve nagybetű érzékeny!

Ezután szükségünk lesz, hogy hozzanak létre ablakok elindítására a munkavállaló, ha a VM gép nyugalmi állapotban van. Ehhez (Windows XP), akkor be kell menni a Start -> Minden program -> Kellékek -> Rendszereszközök -> Ütemezett feladatok az alábbiak:

Ezután kattintson a "Ütemezett feladat hozzáadása" majd keresse meg hozzá egy egyéni program. Keresse meg a VBoxManage script, majd kattintson az OK gombra. Ütemezése a feladat bármilyen kiegészítő (fogjuk megváltoztatni ezt egy perc), és folytassuk. Miután kihagyva a következő képernyőn a Windows megkérdezi, hogy kivel szeretné futtatni ezt a feladatot, azt javaslom vagy a "Rendszergazda" vagy létrehoz egy új jogosultságokkal rendelkező felhasználóként. Ne feledje, nem akarunk beavatkozni a standard személyzeti fiók a gép bármely ponton. Kattintsunk a Tovább gombra, és ellenőrizze További keresési lehetőségek erre a feladatra.

A végén a futam szövegdobozba hozzátesszük, hogy "startvm GridMachine" string és arról, hogy futás csak bejelentkezett marad unticked. Látogasson el a következő feladat ütemezése és az ütemterv módosítása legördülő azt a lehetőséget, "üresjáratban", válassza ki azt az időt szeretne lenni a gép tétlen, mielőtt a következő lapon.

Végül untick a lehetőséget, amely kimondja, leállítja a feladatot, ha már fut az X ideig, de ne jelölje be a lehetőséget, hogy állítsa le a feladatot, ha a gép már nem tétlen.

Ennyi az egész, akkor a windows telepítő fogadó!

Összegzés

Ebben a részben az általunk létrehozott egy virtuális gépet, hogy működik a munkavállaló, valamint az a mód, ahogyan mi nevezzük, és végre mi feladatunk feldolgozó szkriptet (magamnak egy PHP script). Innen nézzük meg, hogyan kell beállítani a másolatot a Windows elindul a virtuális gép a fej nélküli módban, amikor a számítógép felszabadul, és mentse az állapotba, amikor a felhasználó újra a gép használatát. Remélhetőleg ezen a ponton látsz, milyen egyszerű ez, hogy hozzanak létre egy ilyen rendszert, és a viszketés, hogy néhány kísérletet megy magad!

Legközelebb

A 4. rész fogjuk vizsgálni az eszközök használatával, annak érdekében, hogy te a legfrissebb verziót a kód és az adatok forrásait, így kapott eredmény mindig up-to-date a legújabb üzleti információk és a logika.

Hozzászólások (3)

A Steven Lloyd Watkin , péntek december 4, 2009 11:03

Bevezetés

Dolgozom a vállalatnál, ahol sok fut kötegelt feladatok feldolgozására millió nyilvántartások adatok minden nap, és én már gondolok a közelmúltban arról, hogy az összes gép ülnek minden nap semmittevés órákon át. Nem lenne jó, ha tudnánk használni az olyan berendezést, mely növeli a feldolgozási teljesítmény a rendszerünk? Ebben a statútum fogom nézni a potenciális előnyei foglalkoztat egy irodai hálózat segítségével virtualizált környezetben.

A 4. rész néztük eszközök segítségével annak érdekében, hogy mi a legfrissebb verziót a kód és az adatok forrásai, így kapott eredmény mindig up-to-date a legújabb üzleti információk és a logika.

Pre-Deployment

Telepítése előtt a rács rendszert, ha van még egy dolog, amit teszel, és egy dolog egyedül ez viszonyítási alap a jelenlegi rendszer! Nem számít, mit mondani kollégákkal arról, mennyi plusz munkát a rendszer fog csinálni, ha nincs számok ezt alátámasztanák a garanciák semmit. Szóval,

• hány rekordot tud feldolgozni jelenleg? Naponta? Óránként?
• Mennyi ideig tart általában veszi, hogy megforduljon a munkát?
• Mennyivel több kapacitás van?

Van még további kérdések:

• Ha a feldolgozó szerver (vagy az egyik feldolgozó szerverek) megy le, hogyan fog ez befolyásolja a képességeit, akkor te is nyomorék?
• Milyen előnyöket mit remélem / várni, hogy egy grid-rendszer?
• Az Önök irodagépek képes futtatni a munkahelyek?
• Van saját (vagy tudsz munkahely alakítható), hogy ebben a stílusban wrok a futás?

Az utolsó nagy lényeg az, hogy az idejét minden jelentősebb változás, mint ez. Frissítse feldolgozási kód dolgozni az új módszertan, benchmark újra. Esetleg létre a feldolgozó szerver fut egy virtuális gép, elvégre a feldolgozási szerver csak egy másik munkás (csak egy nagyon erős egy viszonylag). Hagyjuk az új folyamat, hogy rendezze.

Deployment

A véleményem az lenne, hogy felbukkan az irodába egy hétvégén végre minden a telepítés és beállítás. Ehhez előtt kéthetes nyaralás, és hagyja, hogy más szegény fickót, hogy foglalkozik a következményekkel ... talán nem ...

Deployment egy ilyen rendszer van, hogy lassú. Annak ellenére, hogy viszonylag egyszerű, hogy hozzanak létre ez a rendszer hatással lesz a teljes irodai infrastruktúrát (és a digitális 1). Először is, kigurul egy pár gép egy időben, a hálózat forgalmát figyelik, hogy a munkavállaló házigazdák végre egy napról-napra. Lehet, hogy változtassa meg a munkát konfiguráció válaszul az eredményeket.

Miután a rendszer sikeresen telepedett néhány gép (mondjuk 10%-a irodai gépek, azaz 5) folyamatosan hálózati forgalom figyelése és a fogadó gép performance. Következő benchmark újra, akkor most meg kell feldolgozás 33%-kal több munkahelyet, mint az első kritériumot. Ellenőrizze, ez így van, hogy te vagy legalábbis ebben a stadion. Ha nem, vizsgálja ki, mi történik, mielőtt tovább. Ismételje meg ezt a ciklust, amíg mindannyian boldogan irodagépek futó nélkül gyilkos egyedi gép teljesítményét, illetve a hálózat köszörülés a holtpontról.

Mindenkor tartsa teljesítményértékelés, az összes telepítések után is készülnek. Ellenőrizze, hogy az új kód frissítések befolyásolja a rendszer sebességét, ellenőrizze az összes munkavállaló jelentette be a munkahelyek és a feldolgozás. Lassan (nagyon lassan) megnöveljük a munkád konfiguráció teljes mértékben kihasználja a munkavállalók és a hálózatot.

Állj!

Mi van, ha abba akarja hagyni a munkavállalók futó valamikor? Ezek mind ott fut, regeneráló, és megpróbálja a legjobb, hogy az adatok feldolgozását, mint éhes rovarok. A válasz nyilvánvaló, de úgy tűnik, hogy érdemes hozzátéve, hogy csak abban az esetben figyelmen kívül hagyják. Egyszerűen szerkesztheti a feldolgozó script egy exit (0) or die () vagy más nyilatkozatot, hogy megölje a feldolgozási munkát. Egyik fontos oka annak, igyekszünk frissíteni a legújabb feldolgozás script előtt távon!

Bemutató rendszer

Annak érdekében, hogy megírom ezt több rövid cikket készítettem egy kis rács bemutatni a technológiák és módszerek. Olvastam sok cikkek, oktatóanyagok, és használják a különböző eszközöket beállítani és figyelemmel kísérjék, hogy mi történik. Semmiképpen nem mentem ki, és telítetté egy egész iroda a forgalom és nem tettem volna hozzá egy állandó személyzetének tagjait, hogy milyen PC teljesítményét fogadó érintette.

Az én demonstrációs rendszer valóban nagyon alázatos. Én használtam a desktop jön létre, mint munkát vezérlő szerver. Ezen én már telepítve MySQL szerver telepítve jön létre, mint mester replikáció, PHP , Â keresztül kapcsolódnak egymáshoz és az SVN apache (hozzáférés révén munkás VM).

Aztán létrehoztunk egy CentOS munkás gép VirtualBox egy 6 éves Windows XP laptop. Állítom ütemezett feladatok meghatározott másolás után a VM a gépre, és engedd el.

A virtuális gép jött létre a PHP, felforgatás, és a MySQL. Megnéztem fióktelep nevű "munkavállaló" az állásomból control szerverek adattár és gondoskodott arról, hogy lehet frissíteni a 'svn update ". Következő állítom mySQL, mint egy rabszolga, és meggyőződtek arról, hogy lemásolják az adatokat MySQL a munkát vezérlő szerver le a munkavállaló VM. Mindezek után állítom be a bash script és cron.

Saját feldolgozó script alapvetően ment mentén ennek a (nagyon egyszerű dolgok):

• Olvassa el a név mezőbe
• Megszámoltuk a hasonló nevek egy táblázatban az adatforrás tartott a VM
• Megszámoltuk a nevek azonban a fenti felosztása a név, szóközzel (pl. keresztnév, középső, vezetéknév)
• Ismételt ez a folyamat 1000-szer

Minden munkát került körülbelül 20 percet futni. Egy ponton kinyitottam több példányban VM munkás a Windows laptop, és figyelte a munkahelyek le kell ellenőrizni az egyes IP-címek a munkavállaló. Ezen a ponton azt is megerősítette, hogy a replikáció automatikusan újraindul.

Indulás a laptop készenléti eredményezte a munkavállaló elkezd dolgozni feladatokat a munkát vezérlő szerver. Amikor a laptop használata folytatása volt a késés körülbelül 30-60 másodpercig, ez elég sok időt és személyzetet kellene tudatosítani, hogy a gép szünet egy rövid ideig, amikor visszatérve a gép. Az újabb gépeken nem lehet szünet a hosszú. Az előny összegének feldolgozást végzik ezek a gépek üresjárati idők során több mint ellensúlyozza munkatársak kelljen várni egy rövid ideig (mondjuk 1 perc) az érkező gépeiken A reggeli (Én gyakran várni, hogy ez a Windows Defender frissítse a sor), amennyiben ők állították ennek tudatában (hasznos idő, hogy megragad egy reggeli kávé!).

Összességében úgy érzem, abban, hogy bebizonyították, a technológiák, amelyek lehet használni egy ilyen rendszert. Megmutattam, hogy egy ilyen rendszer működik egy (nagyon) kis méretű és némi kísérletezés is többet kell szorozni kihasználni a források egy irodai gépei. Ha én nem értem, hogy a pont ezt én is nagyon érdekelt, hogy tudja / látni, ha valaki mást csinál.

Következtetések / Értékelés

A következő lépés nyilvánvalóan az lenne, hogy tényleg kap egy valós világból vett példákkal, és elkezdi telepíteni a rendszert, mint a munkahelyi környezetben, és meglátjuk, mi történik. Kérdezi, hogy a vállalkozás kötelezze el magát e nélkül nyomvonal lángoló társaság bizonyítani a technológia és a hatékonyság lehet egy kicsit nehéz. Rács / elosztott számítási nagyon népszerű, bizonyos körökben, és néhány nagyobb alkalmazás (BIONC, SETI @ Home, Folding @ Home, stb.) Én azonban nem talál egy kisebb méretű és egyszerű rendszert, mint ez az én keresések lehet gördült ki egy olyan irodai környezetben.

Csináltam egy alapvetően ingyenes rendszer segítségével többnyire nyílt forráskódú szoftverek és eszközök állnak rendelkezésre szinte minden irodában. A technológiákat alapvetően igazolták és megmutassa végre, és a várt módon működnek. Remélem, hogy nem mutatják, hogy a sok munka és egy nagyon egyszerű beállítás telepíthet egy irodai grid computing rendszer, amely hatékony, olcsó, és skálázható minden ugyanabban az időben.

Miután a rendszer elindult szinte nincs vége az összeget a testreszabhatóság és a fejlesztések megteheti. Például a statisztikák / benchmarking könnyen ki bemutató érdemes egy ilyen rendszer minden nap. Új gépet lehet hozzá könnyen és gyorsan, ahogy és amikor megérkeznek a frissítések a már meglévő hardver rávilágítson a feldolgozási teljesítményt.

Remélem élvezték ezt olvasod cikksorozat és adott Önnek elgondolkodtató futó irodát rács rendszer. Az itt bemutatott megoldás nem feltétlenül működnek minden helyzetben, de alkalmazkodni kell, hogy lehetővé teszi, hogy az adatok feldolgozása segítségével történik egy saját megoldást.

Kérjük, bátran küldje el nekem minden megjegyzést, korrekciót, vagy a fejlesztések és én mindent megteszek, hogy tartsa ezt a cikket frissíteni kell felelniük.