Hozzászólások (3)

A Steven Lloyd Watkin , péntek december 4, 2009 23:37

Bevezetés

Dolgozom a vállalatnál, ahol sok fut kötegelt feladatok feldolgozására millió nyilvántartások adatok minden nap, és én már gondolok a közelmúltban arról, hogy az összes gép ülnek minden nap semmittevés órákon át. Nem lenne jó, ha tudnánk használni az olyan berendezést, mely növeli a feldolgozási teljesítmény a rendszerünk? Ebben a statútum fogom nézni a potenciális előnyei foglalkoztat egy irodai hálózat segítségével virtualizált környezetben.

A 2. részben megnéztük a munkahelyek egy szerver fog futni, és hogyan munkahelyeket úgy kell beállítani, annak érdekében, hogy a legnagyobb mennyiségű feldolgozás, biztosítva egyúttal, hogy minden feladat feldolgozása hiba nélkül.

Beállítása a munkavállaló - és petyhüdt szerver

A következő lépés a folyamat, hogy beállítsa a virtuális munkavállalók. Ehhez fogom használni telepítése CentOS VirtualBox segítségével. Meg fogom telepíteni MySQL és a PHP a szerveren, más néven sántítás (Li Nux, ySQL m, P HP) Kiszolgáló (Lehet, hogy tette ezt a nevet fel).

• VirtualBox telepítése a Windows gépen (az alábbi link)
• Töltse le és telepítse CentOS (jelenlegi verzió 5.3) belül létrehozott virtuális gép

Nincs értelme lesz nekem erre van talán 1000 's nagy tutorials odakinn (OK, itt van egy: létrehozása és Managing CentOS virtuális gép alatt VirtualBox ). Az Fontos megjegyezni azt hiszem, hogy én felhívtam a virtuális gép GridMachine.

Ami a választásom a virtualizáció és az operációs rendszer kliens megy nincs nagy kényszerítő ok, minden választás. A VirtualBox valamit, amit használni az otthoni gépen, és támogatja a három fő operációs rendszerrel. Úgy döntöttem, CentOS, mint a jó és stabil operációs tudom használni a saját webszervert. Én vagyok egy nagy híve a megfelelő eszközöket a munka (bár én alkalmazása "használja a leggyorsabb és legegyszerűbb neked" mentalitás itt), így ha az operációs rendszer X fut a kód gyorsabban és hatékonyabban használni, hogy helyette :)

Fontos, hogy ellenőrizze, hogy a VM használ DHCP, különben minden egyes új virtuális gépet kellene beállítani külön-külön, ami valami, amit nem használ DHCP want.By nem kell beállítani a hálózati beállításokat külön-külön dolgozó gépek, DHCP átad IPs ki az Ön számára. Ezért tudja másolni a virtuális gépen az Office nem kell aggódni a kiosztásról egyet (ez javítja a skálázhatóság és csökkenti a munkavállaló adminisztráció).

A folyamat akkor tűztek ki célul az lenne, hogy szerezzen be új fizikai gép, VirtualBox install, majd nagyjából bevetni a virtuális kép nem sok mást. Lehet, hogy bölcs, hogy beállít az összes munkavállaló egy másik alhálózaton, így legalább látni, hogy hány gép fut. Azt is el kell állítania a gép egy hosszú távú bérleti vagy lízing korlátlan DHCP.

Hogyan lehet futtatni Jobs a munkavállaló

Ez egy érdekes terület, és számos megalapozott módszereket feldolgozó munkákat a munkavállaló. Itt én csak megvitatják a két legnyilvánvalóbb:

• Állandóan futó script: A script, legyen az egy shell script, vagy egy PHP script lefut, ha a munkavállaló és fut részeként végtelen ciklusba. Én ezt a módszert diszkontált egyik összeomlik a forgatókönyv és esetleg a munkavállaló megszűnik nélkül fut valamilyen beavatkozásra.
• Cron alapú parancsfájl végrehajtása: minden X percben a cron démon indul a hívás, hogy a script, hogy mennek a dolgok. Néhány ellenőrzés nélkül vezethet, hogy sok-sok példányban a munkavállaló script fut.

Az én döntésem volt, hogy a cron, amely indul egy shell script minden 10 minutes. Saját shell script a következő feladatokat:

1. Kap egy futó programok listáját, és ezt szűrnünk 'php'. Ha nem találja, majd folytassa.
2. Hívja fel a munkát kódot, az én esetemben ez valami php alapú
3. Munkás szkript befejezi a run
4. Ready to go again a következő megfelelő hívás

Saját bash script így néz ki a következőket:

  #! / Bin / sh
 ha ps ax | grep-v grep | grep php> / dev / null
 majd
     echo "Job jelenleg feldolgozás, exit"
 más
     echo "feladat nem fut, indítsa el most"
     php yourJobProcessingScript.php
 fi 

Megjegyzés: a visszhang-k szinte teljesen értelmetlen, de segíthet a következő személyt, aki jön, hogy megpróbálja szerkeszteni őket.

Megállapítja, hogy a felállított a munkavállaló virtuális gép, gyors, egyszerű és könnyen másolható, hogy minden új darab hardvert érkezik. Az "okosság" a távvezeték-rendszer valójában nem a megjelenített operációs rendszer, annak minden köze a kód munkahelyet teremtett a folyamat, a munka konfigurációt, és ügyelve arra, hogy a feladat fut, ha megfelelő (vagyis, ha a fogadó tétlen ).

Beállítása Windows inicializálása Munkáspárt

Az első feladat, hogy kidolgozza a parancs futtatásához szükséges virtuális gépet a Windows parancssorban. Ha már telepítette a VirtualBox az alapértelmezett helyre, és már dolgozó GridMachine nevezte el a parancs szükséges töltse fel munkavállaló:

  "C: \ Program Files \ V \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Azonban futtatni a scriptet egy "fej nélküli" állapotban meg kell használni:

  "C: \ Program Files \ V \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - VRDP = off 

Ez el fogja indítani a virtuális gépet anélkül, hogy a GUI-t és hagyjuk, hogy mentse az állami kecsesen. A második érv kikapcsol RDP, így nem ütközik a Windows RDP, vagy kapsz egy üzenetet figyel a 3389-es port. A virtuális gép neve nagybetű érzékeny!

Ezután szükségünk lesz, hogy hozzanak létre ablakok elindítására a munkavállaló, ha a VM gép nyugalmi állapotban van. Ehhez (Windows XP), akkor be kell menni a Start -> Minden program -> Kellékek -> Rendszereszközök -> Ütemezett feladatok az alábbiak:

Ezután kattintson a "Ütemezett feladat hozzáadása" majd keresse meg hozzá egy egyéni program. Keresse meg a VBoxManage script, majd kattintson az OK gombra. Ütemezése a feladat bármilyen kiegészítő (fogjuk megváltoztatni ezt egy perc), és folytassuk. Miután kihagyva a következő képernyőn a Windows megkérdezi, hogy kivel szeretné futtatni ezt a feladatot, azt javaslom vagy a "Rendszergazda" vagy létrehoz egy új jogosultságokkal rendelkező felhasználóként. Ne feledje, nem akarunk beavatkozni a standard személyzeti fiók a gép bármely ponton. Kattintsunk a Tovább gombra, és ellenőrizze További keresési lehetőségek erre a feladatra.

A végén a futam szövegdobozba hozzátesszük, hogy "startvm GridMachine" string és arról, hogy futás csak bejelentkezett marad unticked. Látogasson el a következő feladat ütemezése és az ütemterv módosítása legördülő azt a lehetőséget, "üresjáratban", válassza ki azt az időt szeretne lenni a gép tétlen, mielőtt a következő lapon.

Végül untick a lehetőséget, amely kimondja, leállítja a feladatot, ha már fut az X ideig, de ne jelölje be a lehetőséget, hogy állítsa le a feladatot, ha a gép már nem tétlen.

Ennyi az egész, akkor a windows telepítő fogadó!

Összegzés

Ebben a részben az általunk létrehozott egy virtuális gépet, hogy működik a munkavállaló, valamint az a mód, ahogyan mi nevezzük, és végre mi feladatunk feldolgozó szkriptet (magamnak egy PHP script). Innen nézzük meg, hogyan kell beállítani a másolatot a Windows elindul a virtuális gép a fej nélküli módban, amikor a számítógép felszabadul, és mentse az állapotba, amikor a felhasználó újra a gép használatát. Remélhetőleg ezen a ponton látsz, milyen egyszerű ez, hogy hozzanak létre egy ilyen rendszert, és a viszketés, hogy néhány kísérletet megy magad!

Legközelebb

A 4. rész fogjuk vizsgálni az eszközök használatával, annak érdekében, hogy te a legfrissebb verziót a kód és az adatok forrásait, így kapott eredmény mindig up-to-date a legújabb üzleti információk és a logika.

Hozzászólások (1)

A Steven Lloyd Watkin , péntek december 4, 2009 11:23

Bevezetés

Dolgozom a vállalatnál, ahol sok fut kötegelt feladatok feldolgozására millió nyilvántartások adatok minden nap, és én már gondolok a közelmúltban arról, hogy az összes gép ülnek minden nap semmittevés órákon át. Nem lenne jó, ha tudnánk használni az olyan berendezést, mely növeli a feldolgozási teljesítmény a rendszerünk? Ebben a statútum fogom nézni a potenciális előnyei foglalkoztat egy irodai hálózat segítségével virtualizált környezetben.

Mint egy PHP fejlesztő fogom használni eszközöket használ, hogy én minden nap nevezetesen, Linux, MySQL , PHP, VirtualBox és a Subversion (SVN). Azonban remélem, ez az útmutató alkalmazkodni a más nyelvek és technológiák ugyanolyan jól.

A megoldás biztosítja azt is nagyon lazán típusa alapján a feldolgozás azt kéne elérni, azonban ez nem lehet igaz az egész cikket fogok változni fog, az egyszerűség kedvéért, vagy hogy több érdekes használat módja.

Ezek a virtualizált környezetek fog futni a Windows gépeken, hiszen ez az, amit a legtöbb irodák futnak. A feldolgozás az irodai gépek végzik, nem sérthetik a személyzet használja ezeket a gépeket, amennyiben nem igényelnek karbantartást a gépen, és könnyen telepíthető az új gépeket, amint elérhetővé válnak. Továbbá, az új virtuális gépeket nem igényel semmilyen további konfiguráció, mert ez nagyban csökkenti a skálázhatóságot és könnyű, ahol a grid-rendszer bővíthető.

Miért telepítése az Office Computing Grid?

Először is meg lehet gondolkodni, miért nem használja a cloud computing erőforrás, mint az Amazon EC2 platformon ? Nos, a több oka lehet, például:

• Ön nem bízza bizonyos adatok a cloud computing környezetben
• Nem lehet tenni bizonyos adatokat egy cloud computing környezetben jogi okokból (pl. adatok elhagyja az országot), esetleg jogi okokból, pl NHS rekordokat.
• Meg akarja tartani a feldolgozó egységek közelében, és teljes ellenőrzése alatt a hardvert is
• Nem kell a projekt alapok futtatni felhő példányok
• A hivatal nem rendelkezik az internettel kapcsolatban, és ezért annak nem lehet használni a felhő erőforrás
• Nem tetszik az eső, felhők utalnak az eső, ezért tartsa távol

Biztos vagyok benne, a listát folytathatnám, de azt hiszem ennyi elég is egyelőre.

Előnyök az Office Computing Grid

Nos, lehetővé teszi, hogy némi matematika (és a fizika igazi stílus segítségével, hogy néhány lendületes feltételezések szerint). Képzeld el, hogy nagy húsos feldolgozó szerveren futó 100 munkahely naponta. Ebben az irodában van 50 gép, amely használaton kívül van 16 órát egy nap, minden egyes ilyen gépek 10% olyan erős, mint a húsos feldolgozás sever. (Minden eredmény itt vannak kerekítve, hogy alábecsülik a teljesítmény növekedés).

Szóval, 1 gép * 10%-os teljesítmény * 2/3 = 0,067 alkalommal azaz 1 asztali feldolgozás üresjárati időben képes feldolgozni 6 teljes napi feladatok számát.

Ha most ezt fel átméretezni tart 15 tétlen asztali feldolgozni annyi napi feladatok, mint a fő szerver feldolgozása teszi.

Tehát az irodai mintha 50 gép tudtuk növelni a feldolgozási teljesítmény 1 szerveren akár 4 teljes feldolgozására szerver, vagy mi lehet feldolgozása a napi feladatok számát 400 helyett 100.

Megjegyzés, a beruházás nem új hardver a cég nemrég növelte kötegelt feldolgozási kapacitása 4-szer! Potenciálisan fogsz növelje az energiafogyasztást, hanem a legtöbb irodai környezetben voltam, hogy a gépek általában marad éjszakára, úgyhogy látni lehetett ezt a zöld kezdeményezést.

Más előnyök is jelenti, hogy az új beruházás (vagy frissített) feldolgozás szervereket lehet halasztani, ha az irodai gépek elegendő, és ahogy a hatalom javítják az irodai berendezések az irodai hálózat lesz erősebb automatikusan.

Technologies

Mire van szükség? (Vagy pontosabban mit tudom használni):

• Idle irodai gép (az én esetemben egy tartalék régi windows XP laptop)
• VirtualBox (vagy más virtualizációs kliens szoftver)
• A virtuális gép PHP, MySQL running futtató OS kivágták, hívom én ezeket a Limp szerverek :)
• Jobs futtatásához
• Állás szerver (lehet egy másik virtuális gép valahol)

Tipikus Jobs

Azok a munkakörök, hogy ezt a rendszert úgy tervezték, hogy a következő:

• A rendszer kap egy listát az adatok, amelyek alapján meg kell egyeznie, és visszatérjen eredményei
• Hozzáillő ellenőrizzük / keres több (viszonylag statikus) adatforrások
• Adatforrásokból származó eredmények kérhet további érvényesítése, összevonása, ellenőrzése további adatforrások válaszul eredmények
• Az adatok vissza a megfelelő rekordot, teljesen hitelesített és feldolgozott
• Minden rekord egy feladat független a többi

Tehát alapvetően mi fut éppen a munkahelyek, amelyek megkövetelik a keveréke adatbázis lekérdezések és egyes számok érdekelték, egy meglehetősen tipikus forgatókönyv egy üzleti környezetben.

Grid megoldásai nem csak előnyös a feldolgozó munkák az ilyen típusú. Alapvetően minden olyan folyamat, amely lehet osztani önálló egységként lehet futtatni párhuzamosan. Lásd ezt a wikipedia példákat és további információ: Grid Computing , de néhány híres példa Seti @ Home és BIONC . Vannak keretek futó számítógépes hálózatokat, és ezek is érdemes vizsgálja.

Mit fogunk elérni?

Végére ezek a cikkek, remélem azt mutatják, hogy egy irodai hálózat kiépítése nem kell rendkívül drága, vagy időigényes. Fogok beszélni:

• Beállítása a munkát ellenőrző rendszer, munkahelyi konfiguráció
• Létrehozása a megfelelő feldolgozó virtuális gép
• Hogyan állítsuk be a rendszert egy Windows gép
• Biztosítva, hogy Ön használja a legfrissebb kódot és adatok
• Telepítés és benchmarking
• Előretekintés

Én leszek épület (ok én építettem, majd megírta ezt) egy példa alkalmazást tesztelni a fogalmak helyi gépen a Windows XP és az én "GridMachine" virtuális gép. Az én feladatom lesz a vezérlő szerver gép, amely a fő fut Fedora 11 .

Ezt nem akarom bizonyítani egy teljesen működőképes robosztus rendszer, annak többet jelentett egy demonstrációs és megvitassa azt mutatja, hogy ezeket a dolgokat el lehet érni egy ésszerűen rövid idő alatt és alacsony költséggel. Kérjük, bátran küldje el nekem minden megjegyzést, korrekciót, vagy a fejlesztések és én mindent megteszek, hogy tartsa ezt a cikket frissíteni kell felelniük.

Legközelebb

A 2. részben fogom kezdeni nézi a munkát ellenőrző rendszer, és megnézzük, hogyan munkahelyeket úgy kell beállítani, annak érdekében, hogy a legnagyobb mennyiségű feldolgozás, biztosítva egyúttal, hogy minden feladat feldolgozása hiba nélkül.