Posts tagged: els treballadors

Oficina de Grid Computing utilitzant entorns virtuals - Part 3

Per , divendres 4 desembre 2009 23:37

Introducció

Jo treballo en una empresa on ens trobem molts llocs de treball de processament per lots de milions de registres de dades cada dia i he estat pensant recentment sobre totes les màquines que se sentin al voltant de cada dia sense fer res durant diverses hores. No seria bo si poguéssim utilitzar aquestes màquines per reforçar la capacitat de processament dels nostres sistemes? En aquest conjunt d'articles que vaig a veure els beneficis potencials de l'ocupació d'una oficina de la xarxa utilitzant entorns virtualitzats.

A la part 2 ens fixem en els llocs de treball d'un servidor s'executen, i la quantitat de llocs de treball s'ha de configurar per tal d'aconseguir la major quantitat de processament mentre garanteix que cada treball es processa sens falta.

Configuració del seu treballador - o servidor LIMP

El següent pas en el procés és la creació dels seus treballadors virtuals. Per això vaig a utilitzar una instal · lació de CentOS usant VirtualBox. Vaig a instal · lar MySQL i PHP al servidor, també conegut com una coixesa (Nux Li, m ySQL, P HP) Servera (que pot haver fet que el nom de dalt).

  • Instal · lar VirtualBox en la seva màquina Windows (seguir l'enllaç)
  • Descarregar i instal · lar CentOS (versió actual 5.3) dins d'una màquina virtual creada

No té sentit que m'anava a la qual probablement hi ha 1,000 's de gran tutorials per aquí (bé, aquí està un: Crear i Managing màquina virtual amb VirtualBox CentOS ). El punt important a assenyalar és que suposo que vaig trucar a la meva màquina virtual GridMachine.

Pel que fa a les meves opcions de virtualització del client i el sistema operatiu vagi no hi ha cap raó convincent gran per a cada elecció. VirtualBox és una cosa que jo faig servir a la meva màquina de casa i amb el suport dels tres principals sistemes operatius. Vaig triar CentOS com un sistema operatiu estable, la bona i jo el faig servir al meu propi servidor web. Jo sóc un gran creient en les eines adequades per al treball (encara que estic aplicant la «utilització més ràpida i més fàcil per a vostè" mentalitat d'aquí), així que si el sistema operatiu X s'executa el codi més ràpid i més eficient l'ús que, en lloc :)

És important destacar que assegurar-se que la seva màquina virtual utilitza DHCP, en cas contrari per a cada màquina virtual nova hauria de ser configurat per separat, que és una cosa que no want.By mitjançant DHCP no cal configurar la xarxa de forma individual per a les màquines dels treballadors, DHCP lliurarà a adreces IP per a vostè. Per tant vostè pot copiar la seva màquina virtual de l'oficina sense haver de preocupar de com configurar cada un d'ells cap amunt (això millora l'escalabilitat i disminueix l'administració dels treballadors).

El procés que s'hauria de tractar d'aconseguir seria la d'obtenir una nova màquina física, instal · lació de VirtualBox, i després més o menys implementar la imatge virtual sense necessitat de molt més. Podria ser savi per configurar tots els seus treballadors en una subxarxa diferent perquè pugui almenys veure quantes màquines s'estan executant. També haurà de configurar les seves màquines en un contracte d'arrendament a llarg o il · limitat permís DHCP.

Com executar els treballs en el treballador

Aquesta és una àrea interessant i hi ha diversos mètodes vàlids per al processament de llocs de treball del treballador. Aquí només vaig a parlar sobre els dos més evidents:

  • Perpètuament d'executar la seqüència: Un script, ja sigui un script de shell, o un script PHP s'executa un cop al treballador i s'executa com a part d'un bucle infinit. He descomptat aquest mètode com un xoc de la seqüència de comandaments i, potencialment, els treballadors deixaran de funcionar sense algun tipus d'intervenció.
  • L'execució de script basat en cron: cada X minuts el dimoni cron s'inicia una crida a la seqüència de comandaments perquè funcioni. Sense algunes comprovacions que això podria donar lloc a moltes moltes còpies de la seqüència de comandaments de funcionament dels treballadors.

La meva decisió va ser anar amb cron s'inicia un script de shell cada minutes. 10 El meu script realitza les següents tasques:

  1. Obtingui una llista de processos i grep això per a 'php'. Si no el troba i després continueu.
  2. Truqui al seu codi de treball, en el meu cas això seria quelcom basat PHP
  3. Guió treballador acaba la seva carrera
  4. Llest per anar de nou a la convocatòria corresponent al costat

El meu script bash es veu una mica com el següent:

  #! / Bin / sh
 si ps ax | grep-v grep | grep php> / dev / null
 llavors
     echo "El treball s'està processant, la sortida"
 més
     echo "El treball no s'executa, comença ara"
     php yourJobProcessingScript.php
 fil 

Nota: el ressò del són gairebé completament inútil, però pot ajudar a la propera persona que vingui a tractar de modificar-los.

Amb això conclou la posada en marxa de la màquina virtual de treball, ràpid, simple i fàcil de copiar a cada nova peça de maquinari que es rep. La 'intel · ligència' del sistema de xarxa realment no és visualitzada en el sistema operatiu, el seu tot a veure amb el codi creat per realitzar tasques, la configuració del treball, i en assegurar-se que el treball s'executi en el cas (és a dir, quan el host està inactiu ).

Configuració de Windows per inicialitzar els treballadors

La primera tasca és treballar en el ordre necessària per a executar la màquina virtual des de la línia d'ordres de Windows. Si teniu VirtualBox a la ubicació per defecte i que ha cridat al seu treballador GridMachine l'ordre necessària per carregar fins a la seva treballador és:

  "C: \ Program \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

No obstant això, per a executar l'script en una 'cap' de l'Estat hem de fer servir:

  "C: \ Program \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - VRDP = apagat 

Això iniciarà la màquina virtual sense la interfície gràfica d'usuari i permetre que es guardi l'estat amb gràcia. El segon argument s'apaga RDP pel que no entra en conflicte amb Windows RDP, o li donarà un missatge sobre l'escolta al port 3389. El nom de màquina virtual entre majúscules i minúscules!

A continuació, hauràs de configurar les finestres tancades per començar la nostra màquina virtual dels treballadors una vegada que la màquina ha estat inactiva. Per fer això (en Windows XP) hauràs d'anar a Inici -> Tots els programes -> Accessoris -> Eines del sistema -> Tasques programades de la següent manera:

les tasques programades

Després feu clic a "Afegeix tasca programada" seguit per vagi a afegir un programa a mida. Aneu a la seqüència de comandaments VBoxManage i premeu D'acord. Programeu la seva tasca per a qualsevol de les opcions (anem a canviar això en un minut) i continuar. Després de saltar la següent pantalla de Windows li demanarà que es vol executar aquesta tasca, m'agradaria suggerir ja sigui "Administrador" o crear un nou usuari privilegiat. Recordeu que no volem interferir en el compte personal de sèrie en la màquina en qualsevol moment. Feu clic a Següent i comprovar les opcions mostren avançades per a aquesta tasca.

Per al final de la caixa de text d'execució afegir el nostre "startvm GridMachine 'cadena i assegurar que només s'executen quan es connecti es deixa sense marcar. Visita a la tasca de programació que ve i canviar la programació de baixar a l'opció 'quan està en repòs ", seleccioneu la quantitat de temps que li agradaria que la màquina sigui inactiu abans de passar a la següent pestanya.

Finalment desmarqueu la opció que diu aturar la tasca si s'ha estat executant X quantitat de temps, però no marca l'opció per aturar la tasca si la màquina ja no és ociosa.

programar

Això és tot llavors per a la configuració del host de Windows!

Resum

En aquesta part hem posat en marxa una màquina virtual perquè actuï com un treballador, així com la manera com ens truqui i executar els nostres scripts de processament de treballs (per a mi un script PHP). A partir d'aquí veurem com crear les nostres còpies de Windows per posar en marxa la màquina virtual en la manera de cap quan l'ordinador estigui inactiu, i guardar el seu estat quan l'usuari torna a la utilització de la màquina. Esperem que en aquest moment estàs veient el fàcil que és instal · lar aquest sistema i està ansiós per aconseguir alguns experiments es va!

La propera vegada

En la Part 4 estarem buscant en l'ús d'eines per assegurar-se que està executant la darrera versió de les fonts de codi i les dades perquè els resultats obtinguts són sempre al dia amb la informació de negoci i la lògica.

Oficina de Grid Computing utilitzant entorns virtuals - Part 5

Per , divendres 4 desembre 2009 23:03

Introducció

Jo treballo en una empresa on ens trobem molts llocs de treball de processament per lots de milions de registres de dades cada dia i he estat pensant recentment sobre totes les màquines que se sentin al voltant de cada dia sense fer res durant diverses hores. No seria bo si poguéssim utilitzar aquestes màquines per reforçar la capacitat de processament dels nostres sistemes? En aquest conjunt d'articles que vaig a veure els beneficis potencials de l'ocupació d'una oficina de la xarxa utilitzant entorns virtualitzats.

En la Part 4 es va observar l'ús d'eines per assegurar que s'està executant la última versió de les fonts de codi i les dades perquè els resultats obtinguts són sempre al dia amb la informació de negoci i la lògica.

Pre-Desplegament

Abans d'implementar el sistema de xarxa, si hi ha una cosa que fer i una sola cosa és comparar vostre sistema! No importa el que diuen els seus col · legues sobre la quantitat de treball extra que el seu sistema es farà si no és que tingui els números per donar suport al que les seves garanties no són res més. Així,

  • nombre de registres que pot processar en l'actualitat? Per dia? Per hora?
  • Quant de temps solen trigar a fer la volta un lloc de treball?
  • Quant més la capacitat té?

També hi ha preguntes addicionals:

  • Si el seu servidor de processament (o un dels servidors de processament) es cau, com afecta això a les seves capacitats, estarà paralitzat?
  • Quins avantatges espera / espera obtenir d'un sistema de xarxa?
  • Són les seves màquines d'oficina capaç d'executar els treballs?
  • Està vostè (o pot ser convertida llocs de treball) per wrok en aquest estil de córrer?

El principal punt últim és portar un temps en qualsevol canvi d'aquesta envergadura. Actualitzeu el codi de processament per treballar amb la nova metodologia de referència, un cop més. És possible que configurar el servidor de processament per executar una màquina virtual, després del seu processament de tots els servidors acaba de ser un altre treballador (només un molt poderós relativament). Deixeu que el nou procés per resoldre.

Desplegament

El meu suggeriment seria fer esclatar a l'oficina d'un cap de setmana realitzar totes les instal · lacions i la configuració. És això just abans de quinze dies de vacances i deixar per a un altre pobre home per fer front a les conseqüències potser no ......

Implementació d'un sistema com aquest ha de ser lenta. Tot i ser relativament fàcil de configurar aquest sistema afectarà a la infraestructura de tota l'oficina (i el digital). En primer lloc, llançar un parell de màquines al mateix temps, el tràfic de monitor de xarxa, com els amfitrions dels treballadors realitzen en el dia a dia. Potser haureu de modificar la configuració del seu treball en resposta a les troballes.

Un cop el sistema s'ha assentat amb unes poques màquines (diguem el 10% de totes les màquines d'oficina, és a dir, 5) mantenir la vigilància del trànsit de xarxa i màquina host de referència performance. Següent de nou, ara s'ha de processar els treballs d'un 33% més que els seus punts de referència en primer lloc. Comproveu això és així, o que ets si més no en aquest estadi. Si no és així, investigar el que està passant abans de seguir endavant. Repetiu aquest cicle fins que feliçment han totes les màquines d'oficina funcionant sense matar rendiment de la màquina individual o de mòlta de la xarxa a un punt mort.

En tot moment mantingui l'avaluació comparativa, fins i tot després de totes les implementacions es fan. Consulteu com les noves actualitzacions de codi afecten la velocitat del seu sistema, comprovi tots els treballadors estan informant i realitzar tasques. A poc a poc (molt lentament) Increment de la configuració del seu treball per obtenir el millor dels seus treballadors i de la xarxa.

Atura't!

Què passa si vostè vol evitar que els seus treballadors s'executin en algun moment? Tots ells estan corrent per aquí, la regeneració, i fent tot el possible per processar les dades com els insectes famolencs. La resposta pot semblar obvi, però val la pena afegir en cas del seu passat per alt. Només cal editar el script de processament amb una sortida (0) or die () o una altra declaració de matar al seu treball de processament. Una raó important per la qual sempre intentem actualitzar a l'última seqüència de comandaments de processament abans de córrer!

Demostració del sistema

Per escriure aquesta sèrie d'articles curts que he creat una xarxa molt petita per demostrar les tecnologies i metodologies. He llegit un munt d'articles, tutorials, i utilitza diverses eines per configurar i monitoritzar el que estava passant. De cap manera he sortit i saturat d'una oficina sencera amb el trànsit i ni he tingut accés a un personal permanent dels membres de PC per veure com el rendiment d'acollida es va veure afectada.

El meu sistema de demostració era molt humil per cert. Vaig utilitzar el meu escriptori normal de configurar com un servidor de control de treball. En aquesta havia instal · lat MySQL server instal · lat configura com un mestre en la replicació, PHP , Â i SVN vinculats a través d' apatxe (per l'accés a través de VM dels treballadors).

Llavors va crear una màquina de treball CentOS en VirtualBox a un fill de 6 anys portàtil amb Windows XP. Puc configurar les tasques programades com s'especifica després de copiar la màquina virtual a la màquina i la va deixar anar.

La màquina virtual es va crear amb PHP, la subversió, i mySQL. Vaig revisar una branca anomenada "treballador" del meu repositori de control de treball de servidors i es va assegurar que podria ser actualitzada amb 'svn update'. A continuació he de instal · lar MySQL com un esclau i comprovar que les dades es replica de MySQL al servidor de control de treball fins a la màquina virtual dels treballadors. Després de tot això he de instal · lar el script i el treball de cron.

El meu script de processament, bàsicament, es va anar al llarg de les línies d'aquest material (molt simple):

  • Llegir al camp Nom
  • Va comptar el nombre de noms similars en una taula de la font d'informació que obri en la màquina virtual
  • Va comptar el nombre de noms que l'anterior però la divisió del nom per espais (és a dir, nom, mitjà, cognom)
  • Repeteix aquest procés 1.000 vegades

Cada lloc de treball va prendre aproximadament 20 minuts per córrer. En un moment vaig obrir diverses còpies de la màquina virtual de treball al 'ordinador portàtil finestres i va observar als llocs de treball pot realitzar la sessió per cadascuna de les adreces IP dels treballadors. En aquest punt, també va confirmar que la replicació es reiniciarà.

Deixar l'ordinador portàtil al ralentí com a resultat un treballador de començar a realitzar tasques des del servidor de control de treball. En reprendre l'ús de l'ordinador portàtil es va produir un retard d'uns 30-60 segons, es tracta d'una bona quantitat de temps i el personal hauria de ser conscients que el vostre ordinador permet fer una pausa per un curt temps en tornar a la màquina. Les noves màquines no poden tenir una pausa d'aquest temps. El benefici de la quantitat de processament realitzat per aquestes màquines durant períodes d'inactivitat que més que compensen els membres del personal han hagut d'esperar un període curt (per exemple 1 minut) en arribar a les seves màquines del matí (jo sovint esperar més que això per a un Windows Defensar actualitzar a tenir lloc), sempre que es van fer conscients (temps útil per prendre un cafè al matí!).

En general em sento segur que m'han demostrat les tecnologies que es podrien utilitzar per crear aquest sistema. He demostrat que aquest sistema funciona en una escala de (molt) petita i amb una mica més l'experimentació podria ser ampliat a utilitzar els recursos de les màquines d'una oficina. Si no arriben al punt de fer això jo estaria molt interessat en saber / veure si algú més ho fa.

Conclusions i avaluació

El següent pas lògic seria fer que un exemple del món real i començar a implementar un sistema com aquest dins d'un entorn d'oficina i veure què passa. Demanar-li a un negoci que es comprometin a això sense una companyia d'obrir camins per provar la tecnologia i l'eficàcia pot ser una mica difícil. Grid / computació distribuïda és molt popular entre alguns cercles és i té algunes aplicacions de grans dimensions (BIONC, SETI @ home, Folding @ Home, etc.) No obstant això, trobar un format més petit i simple sistema com aquest en les meves recerques que hauran de posar en marxa dins d'un entorn d'oficina.

He creat un sistema bàsicament gratuïts utilitzant programari de codi obert i les eines disponibles en gairebé qualsevol oficina. Les tecnologies van ser demostrades i mostrar bàsicament per realitzar i treballar com s'esperava. Espero que demostren que amb el treball no és molt i amb una configuració molt simple que vostè pot implementar una xarxa d'oficines del sistema de computació que és de gran abast, una barata i escalable, tot alhora.

Quan el sistema està en marxa i funcionant gairebé no hi ha fi a la quantitat de personalització i millores que pot fer. Per exemple les estadístiques / avaluació comparativa es poden afegir fàcilment que mostra el valor d'aquest sistema cada dia. Les noves màquines es poden afegir de forma ràpida i amb la mateixa facilitat i quan arriben amb les actualitzacions per al maquinari existent reforçar la seva potència de processament.

Espero que hagis gaudit de la lectura d'aquesta sèrie d'articles i el seu fet pensar en el funcionament d'un sistema de xarxa d'oficines. La solució que aquí es presenta no necessàriament funcionarà en totes les situacions, però ha de ser adaptable perquè pugui obtenir el seu tractament de les dades es van realitzar amb la seva pròpia solució.

Si us plau, no dubti a enviar els seus comentaris, correccions o millores i faré el meu millor esforç per mantenir aquest article actualitzat per a que coincideixi.













Panorama Theme by Themocracy

7 visitants en línia ara
3 persones, 4 bots, 0 usuari
Capacitat màxima de visitants d'avui: 20 a les 04:29 UTC
Aquest mes: 26 a 2012.04.04 22:27 UTC
Aquest any: 69 a 2012.02.27 09:56 UTC
En total: 130 en 2011.03.28 22:40 UTC