Hozzászólások (2)

A Steven Lloyd Watkin , péntek december 4, 2009 11:59

Bevezetés

Dolgozom a vállalatnál, ahol sok fut kötegelt feladatok feldolgozására millió nyilvántartások adatok minden nap, és én már gondolok a közelmúltban arról, hogy az összes gép ülnek minden nap semmittevés órákon át. Nem lenne jó, ha tudnánk használni az olyan berendezést, mely növeli a feldolgozási teljesítmény a rendszerünk? Ebben a statútum fogom nézni a potenciális előnyei foglalkoztat egy irodai hálózat segítségével virtualizált környezetben.

A 3. rész hoztuk létre virtuális géphez és beállítani a Windows gépek lesz tétlen munkaidőben dolgozók.

Futás a legfrissebb kódot

Elkerülhetetlen létrehozása után a dolgozók az üzleti logikát változni fog, meg fogja találni a hibákat, gyorsabb hatékonyabb kódot fog tartalmazni, így elhagyja a munkások ültek körül adatfeldolgozást a régi kódot büdös . De vajon hogyan tudjuk, hogy mi mindig a legújabb és legnagyszerűbb változata a feldolgozó szkriptet?

Van néhány nagyon egyszerű egyszerű módon tudnánk ezt csinálni, a trükk azonban az, hogy csökkentse feldolgozási teljesítmény és a hálózati forgalom ennek elérésében. Kezdjük a legegyszerűbb megoldás, és javítása lassan egy pár iteráció.

Az első módszer az lenne, hogy egyszerűen csak csatlakoztatni kell a munkánkat vezérlő szerver (SAMBA-n, FTP-, vagy hasonló), és húzza le a legújabb verzióját a kódot. Nem túl hatékony, de elvégzi a munkát. Lehetővé teszi, hogy valamelyest javítani, mi a helyzet megteremtése rsync script segítségével, és ahelyett, hogy minden egyes alkalommal? Alternatívaként mi a helyzet üzembe legújabb feldolgozása scriptet felforgatás megnézni a kódot, majd kezdetben csak frissítjük kódot minden távon ( svn update )?

A végén sikerült a végén egy bash script (cron hívja meg minden 10 percben), amely úgy néz ki, ilyen egyszerű:

  #! / Bin / sh
 ha ps ax | grep-v grep | grep php > / dev / null
 majd
     echo "Job jelenleg feldolgozás, exit"
 más
     echo "feladat nem fut, indítsa el most"
     cd / path / to / munka / másolás
     svn update
     php yourJobProcessingScript.php
 fi 

Most már biztosak lehetünk abban, hogy minden egyes távon mi biztosan fut a legújabb kódot. Mi biztosítja ezt frissítjük alapkód minden egyes alkalommal, amikor elvégzi a távon, és csökkenti a hálózati forgalmat csak a fájl átvitele különbségek a hálózat.

Az én bemutató telepítés, tettem pontosan a fentiek szerint. Subversion volt telepítve a munkám feldolgozás szerver és egyszerűen kihúzta a legfrissebb kódot, a "munkavállaló" fióktelep a 'svn update ". Azt is hozzátette, egy verzió számát tag az én feldolgozó script, amely visszakerült az adatbázis részeként az eredmények vissza. Így láttam, hogy a kód volt, hogy minden egyes alkalommal frissített Bemásoltam a csomagtartóban a munkavállaló ága, azaz, hogy én biztosan fut a legújabb feldolgozó forgatókönyvet.

A legfrissebb adatok

Ha a munka feldolgozását teszi adatforrások használata, akkor egy bizonyos ponton, ezek fogják frissíteni is. Ha nem hívja fel a források, egy nagyon ritka alapján fogsz elárasztani a hálózati forgalomhoz, amint a dolgozók elindulnak így mindent a holtpontról. Mert én úgy döntöttem, hogy megoldást szeretnék áthelyezni az Adatforrások körül az én virtuális gépeken.

Tartsa te ló van! Mit tegyek, ha adatforrások ÓRIÁSI? Hát ez valóban egy esetben, hogy mennyi adat is van szó? Lehet, hogy költséghatékonyabb telepíteni egy további nagyobb merevlemez mindegyik géphez, mint vásárolni egy további feldolgozás szerver. Ez a kérdés a költségvetési és akár az üzleti dönteni. Ez lehet, hogy az adatforrások olyan nagy, hogy annak csak kivitelezhetetlen tartani, hogy a tárolt adatmennyiség a munkás gépek. Ebben az esetben mit tennél? Jól tudtunk nézni egy helyi hívás adat szerver, de ez okozhat problémákat a hálózat. Ebben az esetben egy rács rendszer, mint ez válhat irreális felvenni irodai környezetben. Az is lehet, hogy meg lehet keresni az alternatív működési stratégiák, például a hívó csak a dolgozók 20:00-06:00 Minden este és / vagy fojtás adatforrás kéréseket.

Továbbhaladva mondjuk mi adatforrások összeget 100GB adat. Hát igen ez egy kicsit adatok mozogni a hálózaton egy frissítést. Hogyan biztosítjuk, hogy mi van a legújabb másolatot az adatok ebben az esetben? Rsync egy lehetőség, de személy szerint azt hiszem, fut a legfrissebb adatok forrása a bérmunka és a szerver beállítva, mint egy mester replikáció (egy szép hosszú bin log) lehet az út:

Azáltal, minden a dolgozók ki, mint egy rabszolga, hogy a munkát vezérlő szerver frissítéseket az adatforrások szépen leszivárog a munkások nélkül, ugrásszerűen megnőtt a hálózati tevékenység (vagyis ha végre egy hatalmas adatfrissítés és az összes munkavállaló indítja be egyszerre). Ennek előnye, hogy az rsync akkor nem kap egy hosszú szünet előtt minden munkát, mint az adatbázis frissítése, a MySQL démon a munkavállaló folyamatosan frissíti az adatokat, miközben a feldolgozás folytatódik.

Ez hogyan beállítani a bemutató szerver. Beállítása replikáció követtem az útmutató a MySQL honlapján ( replikáció beállítása ) és 20 perc alatt ettem inital munkás lemásolják a feladatot vezérlő szerverek adatbázisba. Minden további munkás a replikációs beállításokat és a folyamat minden egyes alkalommal, amikor működött a VM másolták.

Összegzés

Ebben a részben a cikket kerestünk, milyen egyszerű és fájdalommentes ez tartani a feldolgozási kód naprakész using rsync vagy subverion (SVN), hogy ezt a munkát és csökkenti a hálózati forgalmat egyszerre time. Azt is megvitatták, hogyan tartani az adatforrás információi-to-date, lehetővé téve, hogy lecsapódása minden a dolgozók. Így biztosítva azt, hogy a területen lépést tartani az üzleti logika és információs irodánkban rács rendszer. Ott minden bizonnyal számtalan alternatívát e feladatok, de itt két egyszerű példát, hogy megmutassuk, milyen egyszerű a megoldás találni.

Legközelebb

Az utolsó részben a sorozat, találóan elnevezett 5. rész , megbeszéljük telepíteni ezt a rendszert. Majd össze az eddig tanultak és mit sikerült létrehozni.