Comentaris (1)

Per Steven Lloyd Watkin , divendres 4 desembre 2009 23:23

Introducció

Jo treballo en una empresa on ens trobem molts llocs de treball de processament per lots de milions de registres de dades cada dia i he estat pensant recentment sobre totes les màquines que se sentin al voltant de cada dia sense fer res durant diverses hores. No seria bo si poguéssim utilitzar aquestes màquines per reforçar la capacitat de processament dels nostres sistemes? En aquest conjunt d'articles que vaig a veure els beneficis potencials de l'ocupació d'una oficina de la xarxa utilitzant entorns virtualitzats.

Com PHP desenvolupador que vaig a utilitzar les eines que utilitzo cada dia és a dir, Linux, MySQL , PHP, VirtualBox i Subversion (SVN). No obstant això espero que aquesta guia s'adaptarà a altres idiomes i les tecnologies igual de bé.

La solució que proporcioni serà molt vagament basada en el tipus de processament que anàvem a necessitar per assolir però això no pot ser veritat tot l'article que vaig a canviar les coses per la simplicitat, o per produir escenaris d'ús més interessants.

Aquests entorns virtualitzats es poden executar en màquines Windows ja que això és el que la majoria de les oficines de córrer. El tractament que les màquines d'oficina no ha d'interferir amb el personal amb aquestes màquines, que no requereixen manteniment en la màquina, i ser de fàcil desplegament de noves màquines a mesura que estiguin disponibles. A més, les noves màquines virtuals no requereix cap configuració addicional ja que això redueix en gran manera l'escalabilitat i la facilitat amb què es pot ampliar el sistema de xarxa.

Per què implementar una xarxa de computació d'oficina?

En primer lloc vostè pot estar pensant, per què no utilitzar un recurs de computació en el núvol com plataforma EC2 d'Amazon ? Bé, les raons poden ser diverses, per exemple:

• No va a confiar a certes dades a un entorn de cloud computing
• No es pot posar certes dades en un entorn de cloud computing per raons legals (per exemple, dades d'abandonar el país), el que pot per raons legals, per exemple, els registres de l'NHS.
• Vostè vol mantenir les seves unitats de processament de tancament i tenir un control total sobre el maquinari massa
• No té els fons del projecte a executar instàncies de núvols
• La seva oficina no té una connexió a Internet i per tant, que no és possible utilitzar un recurs de núvols
• No t'agrada la pluja, els núvols suggereixen la pluja, per tant, mantenir-se ben lluny

Estic segur que la llista podria continuar, però crec que és suficient per ara.

Avantatges d'una xarxa de computació d'Office

Bé, anem a fer alguns les matemàtiques (i en cert estil de la física li permet fer algunes suposicions d'escombrat). Imagina que tens gran servidor de processament fornit córrer 100 llocs de treball per dia. A la seva oficina té 50 màquines que estan inactius 16 hores al dia, cadascuna d'aquestes màquines és de 10% tan poderós com el processament de Sever fornit. (Tots els resultats aquí s'arrodoneixen a subestimar augment de rendiment).

Per tant, una màquina d'energia * 10% * 2/3 = 0,067 és a dir, el temps de processament d'un escriptori en el temps d'inactivitat podria processar 6 llocs de treball complets per dia.

Si ara escalar això es requereixen 15 ordinadors d'escriptori d'inactivitat per realitzar tasques de la major quantitat per dia que el servidor de processament principal ho fa.

Així doncs, a la nostra oficina de simulació de 50 màquines podríem augmentar la nostra capacitat de processament d'1 servidor de fins a 4 servidors de processament complet, o podríem estar processant 400 llocs de treball per dia en lloc de 100.

Noteu, la inversió en nou maquinari de l'empresa acaba d'augmentar la seva capacitat de processament per lots 4 vegades! Potencialment, vostè va a augmentar el seu consum d'energia, sinó de la majoria d'entorns d'oficina que he estat a les màquines en general a l'esquerra en la nit de totes maneres, de manera que podria veure això com una iniciativa verda.

Altres avantatges també significa que la inversió en nou (o actualitzat) servidors de processament pot ser retardada si les seves màquines d'oficina són suficients i que a mesura que millora la potència de les seves màquines d'oficina de la seva xarxa d'oficines es torna més poderosa de forma automàtica.

Tecnologies

El que vostè necessita? (O més correctament, què puc utilitzar):

• Màquines d'oficina Idle (en el meu cas un recanvi vell ordinador portàtil Windows XP)
• VirtualBox (o un altre programari de client de virtualització)
• Una màquina virtual amb PHP, MySQL running executant un sistema operatiu de tall cap avall, vaig a trucar a aquests servidors meva coixesa :)
• Els treballs s'executin
• Servidor de treball (pot ser una altra màquina virtual en algun lloc)

Treballs típics

Els tipus de treballs que aquest sistema està dissenyat per funcionar és el següent:

• Sistema rep una llista de dades sobre els que hem de coincidir i retornar els resultats
• La coincidència consisteix en la comprovació / buscar diverses fonts de dades (bastant estàtic)
• Els resultats de les fonts de dades poden requerir una major validació, la fusió, el control de fonts de dades addicionals en resposta als resultats
• Les dades es retornen amb els registres que coincideixen, plenament validada i processada
• Cada registre dins d'un treball és independent de la resta

Així que, bàsicament estem veient els treballs en execució que requereixen d'una barreja de cerques de bases de dades i alguns processament de nombres, un escenari bastant típic en un entorn empresarial.

Solucions de xarxes no només són avantatjoses per realitzar tasques d'aquest tipus. Bàsicament, qualsevol procés que pot ser dividit en unitats independents es poden executar en paral · lel. Veure aquesta wikipedia per veure exemples i més informació: Grid Computing , però un parell d'exemples famosos són Seti @ Home i BIONC . Existeixen marcs per al funcionament de les xarxes de computació, i aquests estan bé val la pena analitzar.

Què podem fer?

Al final d'aquests articles espere demostrar que el desplegament d'una xarxa d'oficina no ha de ser molt costós o que consumeix temps. Vaig a parlar:

• Configuració del sistema de control de treball, configuració del treball
• Creació d'una màquina de processament virtual corresponent
• Com configurar el sistema en una màquina Windows
• Vetllar per que utilitzeu l'últim codi i les dades
• Implementació i avaluació comparativa
• Amb vista al futur

Vaig a ser la construcció (ok he construït, a continuació, per escriure això) una aplicació d'exemple per posar a prova els conceptes en un equip local amb Windows XP i el meu 'GridMachine' màquina virtual. El meu servidor de control de treball serà la meva màquina principal que corre Fedora 11 .

Això és de cap manera la intenció de demostrar un sistema complet de treball robusta, el seu significat més d'una manifestació i discussió de mostrar que aquestes coses es pot aconseguir en un espai de temps raonablement curt ia un baix cost. Si us plau, no dubti a enviar els seus comentaris, correccions o millores i faré el meu millor esforç per mantenir aquest article actualitzat per a que coincideixi.

La propera vegada

A la part 2 vaig a començar a mirar en el sistema de control de treball, i buscar en la quantitat de llocs de treball s'ha de configurar per tal d'aconseguir la major quantitat de processament mentre garanteix que cada treball es processa sens falta.