Oficina de Computació Grid utilitzant entorns virtuals - Part 5
Introducció
Jo treballo en una empresa on correm molts llocs de treball de processament per lots milions de registres de dades cada dia i he estat pensant sobre tots els equips que se sentin al voltant de cada un i cada dia sense fer res durant diverses hores. No seria bo si poguéssim utilitzar aquestes màquines per reforçar la capacitat de processament dels nostres sistemes? En aquesta sèrie d'articles que vaig a veure els beneficis potencials de l'ocupació d'una oficina de la xarxa utilitzant entorns virtualitzats.
A la part 4 es va observar l'ús d'eines per assegurar que estem executant la darrera versió de les fonts de dades i codi, de manera que els resultats obtinguts estan sempre al dia amb el negoci de la informació més recent i la lògica.
Pre-implementació
Abans d'implementar el seu sistema de xarxa si hi ha una cosa que fer i una sola cosa és comparar el seu sistema actual! No importa el que diuen els seus col.legues sobre la quantitat de treball extra el sistema farà a no ser que tingui els números que ho recolzin les seves garanties no són una altra cosa. Per tant,
- nombre de registres que pot processar en l'actualitat? Per dia? Per hora?
- Quant de temps sol prendre al seu torn al voltant d'un treball?
- Quant més capacitat té?
També hi ha preguntes addicionals:
- Si el vostre servidor de processament (o un dels servidors de processament) es cau, com afecta això a les seves capacitats, serà paralitzat?
- Quins avantatges esperança / espera aconseguir d'un sistema de xarxa?
- Són les seves màquines d'oficina capaç d'executar els treballs?
- Si la teva (o pot ser convertit llocs de treball) per a treballar en aquest estil de córrer?
L'últim gran punt és portar un temps en una modificació important com aquest. Actualitzeu el seu codi de processament per a treballar amb la nova metodologia, nou punt de referència. És possible configurar el servidor de processament per a executar una màquina virtual, després de tot el servidor de processament serà només un altre treballador (a només una molt poderosa relativament). Deixeu que el nou procés per resoldre.
Implementació
El meu suggeriment seria fer esclatar a l'oficina d'un cap de setmana de realitzar totes les instal.lacions i posada en marxa. Feu això just abans de quinze dies de vacances i deixar una pobra cap altres per fer front a les conseqüències no ... potser ...
Implementació d'un sistema com aquest ha de ser lenta. Tot i ser relativament fàcil de configurar aquest sistema afectarà la infraestructura de tota l'oficina (i el digital). En primer lloc, llançar un parell de màquines al mateix temps, controlar el tràfic de xarxa, com els amfitrions dels treballadors realitzen en el dia a dia. És possible que hagi de modificar la configuració del seu treball en resposta a les troballes.
Una vegada que el sistema s'ha instal lat amb unes poques màquines (diguem el 10% de totes les màquines d'oficina, és a dir, 5) mantenir el seguiment del tràfic de xarxa i equip amfitrió performance. següent punt de referència de nou, ara hauria de ser processant els treballs d'un 33% més que els seus punts de referència en primer lloc. Comproveu això és així, o que està almenys en aquest estadi. Si no és així, investigar el que està passant abans de continuar. Repetiu aquest cicle fins que feliçment tenen totes les màquines d'oficina funcioni sense matar rendiment de la màquina individual o rectificat la seva xarxa a un punt mort.
En tot moment mantenir l'avaluació comparativa, fins i tot després de totes les implementacions es fan. Comprovar com les noves actualitzacions de codi afecten a la velocitat del seu sistema, comprovi tots els treballadors estan reportant en el processament i l'ocupació. A poc a poc (molt lentament) increment de la configuració del seu treball per obtenir el millor dels seus treballadors i de la xarxa.
¡Alto!
Què passa si vostè vol deixar als seus treballadors que s'executi en algun moment? Tots ells estan per aquí corrent, regenerar, i fent el seu millor esforç per processar les dades com els insectes famolencs. La resposta pot semblar òbvia, però la seva pena afegir per si de cas seus veïns. Només cal editar el script de processament amb una sortida (0) or die () o una altra declaració de matar al seu treball de processament. Una raó important per la qual sempre intentem actualitzar a l'última seqüència de processament abans de córrer!
Demostració del sistema
Per escriure aquesta sèrie d'articles curts que he creat una xarxa molt petita per demostrar les tecnologies i metodologies. He llegit un munt d'articles, tutorials, i utilitza diverses eines per configurar i monitoritzar el que estava passant. De cap manera m'he sortit i saturada d'una oficina amb tot el tràfic i ni he tingut accés a un personal permanent dels membres de PC per veure com el rendiment d'acollida es va veure afectada.
El meu sistema de demostració va ser molt humil per cert. Vaig utilitzar el meu escriptori normal de configurar com un servidor de control de treball. En aquesta hi havia instal lat MySQL server instal lat configurat com un mestre en la replicació, PHP , Â i SVN vinculats a través d' apache (per a l'accés dels treballadors a través de VM).
Llavors va crear un equip de treball CentOS en VirtualBox en un 6 anys d'edat finestres portàtil XP. Puc configurar les tasques programades com s'especifica després de copiar la màquina virtual en l'equip i deixar-lo anar.
La màquina virtual es va crear amb PHP, la subversió, i mySQL. Vaig revisar una branca anomenada «treballador» dels meus servidors de tasques de control de dipòsit i es va assegurar que podria actualitzar-se amb 'svn update'. La propera instal lació MySQL com un esclau i comprovar que les dades es replica de MySQL al servidor de control de treball fins a la màquina virtual dels treballadors. Després de tot aquest muntatge que la seqüència de comandaments bash i la tasca.
El meu script de procés, bàsicament, va ser al llarg de les línies d'aquest (cosa molt simple):
- Llegir en el camp de nom
- Va explicar el nombre de noms similars en una taula de la font de dades que posseeixi sobre la màquina virtual
- Va explicar el nombre de noms que l'anterior però la divisió del nom per espais (és a dir, nom, segon, cognom)
- Va repetir aquest procés 1.000 vegades
Cada treball va prendre aproximadament 20 minuts en executar-se. En un moment vaig obrir diverses còpies de la màquina virtual de treball a l'ordinador portàtil finestres i observar els treballs serà marcat per cada una de les adreces IP dels treballadors. En aquest punt, també va confirmar que la replicació es reiniciarà automàticament.
Deixar l'ordinador portàtil a ralentí com a resultat un treballador comença a processar els treballs des del servidor de control de treball. En reprendre l'ús de l'ordinador portàtil es va produir un retard d'uns 30-60 segons, es tracta d'una bona quantitat de temps i el personal hauria de ser conscients que el vostre ordinador permet fer una pausa per un curt temps en tornar a la màquina. màquines més recents no poden tenir una pausa de tant de temps. El benefici de la quantitat de tractaments realitzats per aquestes màquines durant períodes d'inactivitat que més que compensen els membres del personal que ha d'esperar un curt període de temps (diguem 1 minut), en arribar a les seves màquines del matí (que sovint esperar més que això per a un Windows Defensar actualització a tenir lloc), sempre i quan es van fer conscients d'aquest moment (d'utilitat per a prendre un cafè al matí!).
En general em sento segur que m'han demostrat les tecnologies que es podrien utilitzar per crear aquest sistema. He demostrat que aquest sistema funciona en una escala (molt) petit i amb una mica més experimentat podria ampliar utilitzar els recursos de les màquines d'una oficina. Si no arribar al punt de fer això jo estaria molt interessat a saber / veure si algú més ho fa.
Conclusions / Avaluació
El següent pas obvi seria la d'obtenir realment un exemple del món real i començar a implementar un sistema d'aquest tipus dins d'un entorn d'oficina i veure què passa. Demanar-li a un negoci que es comprometin a això sense una companyia d'obrir camins per provar la tecnologia i l'eficàcia pot ser una mica difícil. Xarxa / computació distribuïda és molt popular és alguns cercles i té algunes aplicacions de grans dimensions (BIONC, SETI @ Home, Folding @ Home, etc.) No ho vaig fer, però, trobar una escala més petita i simple sistema com aquest en els meus recerques que podria ser llançat dins d'un entorn d'oficina.
He creat un sistema bàsicament gratis amb el programari de codi obert i sobretot les eines disponibles en gairebé qualsevol oficina. Les tecnologies es va demostrar, bàsicament, i mostrar el resultat de portar a terme i funciona com s'esperava. Espero que demostren que amb no molta feina i amb una configuració molt simples que poden implementar una xarxa d'oficines del sistema de càlcul que és de gran abast, barats, A i escalable, tot al mateix temps.
Una vegada que el sistema està funcionant gairebé no hi ha fi a la quantitat de personalització i millores que pot fer. Per exemple les estadístiques i avaluacions comparatives es poden afegir fàcilment mostrant el valor d'aquest sistema tots els dies. Les noves màquines es poden afegir de forma ràpida i fàcil a mesura que arriba amb millores en el maquinari existent reforçar el seu poder de processament.
Espero que hagis gaudit de la lectura d'aquesta sèrie d'articles i el seu fet pensar en el funcionament d'un sistema de xarxa d'oficina. La solució que aquí es presenta no necessàriament funciona en totes les situacions, però s'han d'adaptar perquè pugui obtenir el seu processament de dades realitzat amb la seva pròpia solució.
Si us plau, no dubteu a enviar-nos els seus comentaris, correccions o millores i faré el meu millor esforç per mantenir aquest article actualitzat a partit.
Articles , Informàtica , Computació Grid , Linux , PHP , Programació Web | 
apatxe , bash , per lots , de referència , bases de dades , implementació , la xarxa , millorar , Linux , MySQL , de codi obert , PHP , replicació , la subversió , virtuals , dels treballadors , Zend Framework , zned
[...] La part final d'aquesta sèrie, ben anomenada la part 5, anem a discutir el desplegament d'aquest sistema. Vaig a resumir el que s'ha après i [...]
Hola allí, oncle Gran article! Estic cansat d'usar RSS feeds i utilitza Twitter perquè jo pugui seguir aquí: Sr
PS: Vostè considera posar vídeo al teu bloc per mantenir els lectors més gaudit crec que funciona, Roland Gorychka?.
Veure twitter en el costat dret de cada pàgina. Gràcies!