Commenti (3)

Con Steven Lloyd Watkin , Venerdì 4 Dicembre, 2009 23:37

Introduzione

Io lavoro in una società dove eseguire i processi di elaborazione in batch molti milioni di record di dati ogni giorno e ho pensato di recente su tutte le macchine che si siedono intorno ogni giorno senza far nulla per diverse ore. Non sarebbe un bene se abbiamo potuto utilizzare queste macchine per sostenere la potenza di elaborazione dei nostri sistemi? In questa serie di articoli che sto andando a guardare i potenziali benefici di impiegare un ufficio griglia con ambienti virtualizzati.

Nella parte 2 abbiamo visto i posti di lavoro di un server verrà eseguito, e come posti di lavoro dovrebbe essere configurato in modo da ottenere la massima quantità di elaborazione, assicurando nel contempo che ogni lavoro viene elaborato a colpo sicuro.

Impostazione del lavoratore - o server LIMP

Il passo successivo nel processo è quella di creare i vostri collaboratori virtuali. Per questo ho intenzione di utilizzare un installazione di CentOS utilizzando VirtualBox. Ho intenzione di installare mySQL e PHP sul server, noto anche come LIMP (Nux Li, m ySQL, P HP) Servera (forse ho fatto quel nome in alto).

• Installare VirtualBox sulla vostra macchina Windows (segui link)
• Scaricare e installare CentOS (versione attuale 5.3) all'interno di una macchina virtuale creata

Non ha senso che io vada a questo c'è probabilmente 1,000 's di tutorial grandi là fuori (ok, eccone uno: Creazione e Managing CentOS macchina virtuale in VirtualBox ). Il punto importante da notare suppongo è che ho chiamato la mia macchina virtuale GridMachine.

Per quanto riguarda le mie scelte di virtualizzazione client e il sistema operativo va non c'è grande motivo convincente per ogni scelta. VirtualBox è una cosa che uso sul mio computer di casa ed è supportato dai tre principali sistemi operativi. Ho scelto CentOS come la sua un buon sistema operativo stabile e lo uso sul mio server web. Sono un grande sostenitore degli strumenti giusti per il lavoro (anche se sto applicando 'utilizzare il più veloce e più facile per te' mentalità qui), quindi se il sistema operativo X eseguito il codice più veloce ed efficiente utilizzo che invece :)

È importante assicurarsi che la VM utilizza DHCP, altrimenti per ogni nuova macchina virtuale dovrebbe essere configurato separatamente che è qualcosa che non want.By utilizzando DHCP non abbiamo bisogno di configurare le impostazioni di rete singolarmente per macchine worker, DHCP consegnerà out IP per voi. Pertanto è possibile copiare la macchina virtuale per l'ufficio, senza preoccuparsi di impostare ognuna up (questo migliora la scalabilità e riduce l'amministrazione lavoratore).

Il processo si dovrebbe cercare di raggiungere sarebbe quello di ottenere una nuova macchina fisica, installare VirtualBox, e quindi più o meno distribuire l'immagine virtuale senza molto altro. Potrebbe essere saggio impostare tutti i lavoratori su una sottorete diversa in modo da poter almeno vedere quante macchine sono in esecuzione. Avrete anche bisogno di impostare le macchine su un contratto di locazione a lungo o indeterminato lease DHCP.

Come eseguire i lavori del lavoratore

Questo è un settore interessante e ci sono diversi metodi validi per l'elaborazione dei processi del lavoratore. Qui mi limiterò a discutere i due più evidenti:

• Perennemente in esecuzione script: script, sia esso uno script di shell, o uno script PHP viene eseguito una volta il lavoratore e viene eseguito come parte di un ciclo infinito. Ho scontato questo metodo come un crash dello script e potenzialmente i lavoratori cesseranno di funzionare senza un qualche tipo di intervento.
• L'esecuzione di script basato su Cron: ogni X minuti il ​​demone cron prende il via una chiamata allo script per ottenere le cose. Senza alcun controllo questo potrebbe portare a molte molte copie della vostra corsa lavoratore script.

La mia decisione era quella di andare con cron che prende il via uno script di shell ogni 10 minutes. mio script shell esegue le seguenti operazioni:

1. Ottenere un elenco dei processi e grep questo per 'php'. Se non lo trova e poi continua.
2. Chiamate il vostro codice di lavoro, nel mio caso questo sarebbe qualcosa di PHP base
3. Script di Worker completa la sua corsa
4. Pronti a partire di nuovo alla prossima chiamata appropriata

Il mio script bash sembra qualcosa di simile al seguente:

  #! / Bin / sh
 se ps ax | grep-v grep | grep php> / dev / null
 poi
     echo "Job sta elaborando, uscita"
 altro
     echo "Il lavoro non è in esecuzione, inizia ora"
     php yourJobProcessingScript.php
 fi 

Nota: l'eco sono quasi completamente inutile, ma può aiutare la prossima persona che arriva per cercare di modificarle.

Con questo si conclude il set up della macchina virtuale lavoratore, rapido, semplice e facile da copiare ogni nuovo pezzo di hardware che si riceve. Il 'bravura' del sistema di rete in realtà non è visualizzato nel sistema operativo, è tutto a che fare con il codice creato per i lavori di processo, la configurazione del processo, e nel fare in modo che il processo viene eseguito quando appropriato (cioè quando l'host è inattivo ).

Configurazione di Windows per inizializzare lavoratori

Il primo compito è quello di lavorare il comando necessario per eseguire la macchina virtuale da linea di comando di Windows. Se hai installato VirtualBox nel percorso predefinito e hai chiamato il lavoratore GridMachine allora il comando necessario per caricare il tuo lavoro è la seguente:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Tuttavia, per eseguire lo script in uno stato 'senza testa' abbiamo bisogno di usare:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - VRDP = off 

Verrà avviata la macchina virtuale senza l'interfaccia grafica e permettono di salvare lo stato con garbo. Il secondo argomento si spegne RDP in modo che non entri in conflitto con le finestre RDP, o dare un messaggio relativo in ascolto sulla porta 3389. Il nome della macchina virtuale è case sensitive!

Quindi, abbiamo bisogno di impostare le finestre fino a dare il via la nostra VM lavoratore una volta che la macchina è rimasta inattiva. Per fare questo (in Windows XP) devi andare Start -> Tutti i programmi -> Accessori -> Utilità di sistema -> Operazioni pianificate come di seguito:

Successivamente clicca su 'Aggiungi operazione pianificata' seguito da Sfoglia per aggiungere un programma personalizzato. Passare il vostro script VBoxManage e fare clic su ok. Programmare il vostro compito per una qualsiasi delle opzioni (cambieremo questo in un minuto) e continuare. Dopo aver saltato la schermata successiva vi chiederà finestre che si desidera eseguire questo compito, io suggerirei o 'Administrator' o la creazione di un nuovo utente privilegiato. Ricorda che non vogliamo interferire con l'account personale di serie sulla macchina in qualsiasi punto. Fare clic su Avanti e verificare le opzioni delle presentazioni avanzate per questa operazione.

Alla fine della casella di testo run aggiungere il nostro 'startvm GridMachine' string e garantire che funzionano solo quando l'accesso viene lasciato spuntata. Visita la pianificazione di successiva e modificare la pianificazione di discesa l'opzione 'a riposo', scegliere la quantità di tempo che desideri la macchina può rimanere inattivo prima di passare alla scheda successiva.

Infine, deselezionare l'opzione in cui si afferma interrompere l'attività se è stato in esecuzione una quantità X di tempo, ma non selezionare l'opzione per interrompere l'operazione se la macchina non è più inattiva.

Che è poi per la configurazione host Windows!

Riassunto

In questa parte abbiamo creato una macchina virtuale di agire come un lavoratore, così come il modo in cui noi chiamiamo ed eseguire i nostri script di trasformazione di posti di lavoro (per me uno script PHP). Da qui si guarda a come impostare le nostre copie di Windows per avviare la macchina virtuale in modalità headless quando il computer diventa inattivo, e salvare il suo stato quando l'utente riprende l'uso della macchina. Speriamo a questo punto si sta vedendo come è semplice creare un tale sistema e sono prurito per ottenere alcuni esperimenti da soli andando!

La prossima volta

In parte 4 ci troveremmo di fronte a utilizzare gli strumenti per garantire che si sta eseguendo la versione più recente delle fonti di codice e dati, in modo che i risultati ottenuti siano sempre up-to-date con le ultime informazioni di business e la logica.

Commenti (3)

Con Steven Lloyd Watkin , Venerdì 4 Dicembre, 2009 11:03

Introduzione

Io lavoro in una società dove eseguire i processi di elaborazione in batch molti milioni di record di dati ogni giorno e ho pensato di recente su tutte le macchine che si siedono intorno ogni giorno senza far nulla per diverse ore. Non sarebbe un bene se abbiamo potuto utilizzare queste macchine per sostenere la potenza di elaborazione dei nostri sistemi? In questa serie di articoli che sto andando a guardare i potenziali benefici di impiegare un ufficio griglia con ambienti virtualizzati.

In Parte 4 abbiamo esaminato l'uso di strumenti volti a garantire che stiamo utilizzando l'ultima versione dei sorgenti di codice e dati, in modo che i risultati ottenuti siano sempre up-to-date con le ultime informazioni di business e la logica.

Pre-distribuzione

Prima di distribuire il vostro sistema di rete se c'è una cosa che fai e una sola cosa è punto di riferimento del sistema attuale! Non importa quello che dicono i colleghi su quanto lavoro extra, il sistema sta andando a fare se non avete i numeri a supporto i vostri garanzie non sono nulla. Così,

• quanti record si può elaborare attualmente? Al giorno? Per ora?
• Quanto tempo ci vuole di solito necessario per girare intorno a un lavoro?
• Quanto più la capacità hai?

C'è anche altre domande:

• Se il server di elaborazione (o uno dei server di elaborazione) scende Quali saranno le conseguenze le vostre capacità, vi è paralizzato?
• Quali sono i vantaggi speri / si aspettano di ottenere da un sistema di rete?
• Le vostre macchine per ufficio in grado di eseguire i lavori?
• Sono i tuoi (o si può essere convertito in posti di lavoro) per wrok in questo stile di esecuzione?

L'ultimo punto importante è prendere il vostro tempo su qualsiasi cambiamento importante come questo. Aggiorna il tuo codice di elaborazione di lavorare utilizzando la nuova metodologia, ancora una volta punto di riferimento. Forse configurare il server di elaborazione per eseguire una macchina virtuale, dopo tutto il vostro server di elaborazione sarà solo un altro lavoratore (solo molto potente relativamente). Lasciare che il nuovo processo di stabilirsi.

Deployment

Il mio suggerimento sarebbe quello di pop nel week-end ufficio uno di eseguire tutti gli impianti e di impostazione. Effettuare questa operazione poco prima di una quindicina di giorni di vacanza e lasciare in modo che altri poveretto per far fronte alle conseguenze ... forse non ...

Distribuzione per un sistema come questo deve essere lenta. Nonostante sia relativamente semplice per configurare il sistema interesserà l'intera infrastruttura di ufficio (anche quello digitale). In primo luogo, tirare fuori un paio di macchine in un momento, il traffico di rete monitor, come i padroni di casa di lavoro di eseguire in un giorno per giorno. Potrebbe essere necessario modificare la configurazione del processo in risposta alle vostre scoperte.

Una volta che il sistema si è risolta con poche macchine (diciamo il 10% di tutte le macchine d'ufficio, vale a dire 5) mantenere il traffico di rete di monitoraggio e macchina host benchmark performance. nuovamente Avanti, si dovrebbe ora essere l'elaborazione dei processi del 33% in più rispetto i primi benchmark. Controllare è così, o che siete almeno in questo campo da baseball. In caso contrario, indagare su ciò che sta accadendo prima di passare. Ripetere questo ciclo fino a quando non hanno felicemente tutte le macchine per ufficio in esecuzione senza uccidere performance individuale della macchina o rettifica la rete a un punto morto.

In ogni momento tenere benchmarking, anche dopo tutte le distribuzioni sono fatti. Verificare come i nuovi aggiornamenti del codice influire sulla velocità del sistema, controllare tutti i lavoratori stanno segnalando e l'elaborazione dei processi. Lentamente (molto lentamente) incrementare la configurazione del processo per ottenere il meglio dai tuoi lavoratori e di rete.

Stop!

Che cosa succede se si desidera interrompere i lavoratori in esecuzione a un certo momento? Sono tutti là fuori in esecuzione, rigenerante, e facendo del loro meglio per elaborare i dati, come gli insetti affamati. La risposta può sembrare ovvio ma vale la pena di aggiungere solo nel caso la sua trascurato. Basta modificare lo script di elaborazione di un exit (0) or die () o qualche altra dichiarazione di uccidere il processo di elaborazione. Una ragione importante per cui cerchiamo sempre di aggiornare lo script recentissima tecnologia di elaborazione prima di ogni corsa!

Dimostrazione del sistema

Per scrivere questa serie di brevi articoli che ho creato una griglia molto piccola per dimostrare le tecnologie e le metodologie. Ho letto un sacco di articoli, tutorial, e utilizzato vari strumenti per impostare e monitorare quello che stava succedendo. In nessun modo sono andato fuori e satura di un ufficio tutto con il traffico e non ho avuto accesso ad un normale PC membri del personale per vedere come le prestazioni di accoglienza è stata colpita.

Il mio sistema manifestazione era molto umile davvero. Ho usato il mio normale desktop configurato come un server di controllo del lavoro. Su questo avevo installato mySQL server installato impostato come un master in replica, PHP , Â e SVN collegati attraverso apache (per l'accesso tramite VM lavoratore).

Poi ho creato una macchina CentOS lavoratore su VirtualBox su un 6 anni portatile Windows XP. Ho impostato le operazioni pianificate, come specificato dopo aver copiato il VM sulla macchina e lasciarla andare.

La macchina virtuale è stato creato con PHP, sovversione, e mySQL. Ho controllato un ramo chiamato 'lavoratore' dal mio controllo dei lavori repository server e fatto in modo che possa essere aggiornato con 'svn update'. Poi ho l'installazione di MySQL come uno schiavo e controllato che i dati è stata la replica da MySQL sul server di controllo dei processi fino al VM lavoratore. Dopo tutto questo a configurare lo script bash e il lavoro cron.

Il mio script di elaborazione sostanzialmente andato secondo le linee di questa roba (molto semplice):

• Leggi nel campo del nome
• Contato il numero di nomi simili in una tabella dall'origine dati terrà il VM
• Contato il numero di nomi come sopra, ma dividere il nome da spazi (ad esempio nome, mezzo, cognome)
• Ripetuto questo processo di 1.000 volte

Ogni lavoro ha preso circa 20 minuti per l'esecuzione. A un certo punto ho aperto diverse copie del VM lavoratore sul portatile finestre e guardare i lavori da verificare fuori da ciascuno degli indirizzi IP del lavoratore. A questo punto mi ha anche confermato che la replica automaticamente riavviato.

Lasciando il portatile al minimo portato a un lavoratore di partenza per elaborare i processi dal server di controllo del lavoro. Quando si riprende l'uso portatile c'è stato un ritardo di circa 30-60 secondi, si tratta di una discreta quantità di tempo e di personale avrebbe bisogno di essere consapevoli che la loro macchina può mettere in pausa per un breve periodo al ritorno alla macchina. Le nuove macchine non possono avere una pausa di questa lunga. Il vantaggio della quantità di elaborazione effettuata da queste macchine durante i periodi di inattività potrebbe più che compensare gli agenti che attendere un breve periodo (diciamo 1 minuto) arrivando alla loro macchine di un mattino (Mi capita spesso di aspettare più a lungo che questo per un Windows Defender aggiornamento che si terrà), purché fossero messi al corrente di questo (tempo utile per prendere un caffè del mattino!).

Nel complesso mi sento fiducioso che ho dimostrato le tecnologie che potrebbero essere utilizzati per creare un tale sistema. Ho dimostrato che un tale sistema funziona su una (molto) su piccola scala e con ancora un po 'sperimentando potrebbe essere scalati utilizzare le risorse delle macchine di un ufficio. Se non arrivare al punto di fare questo sarei molto interessato a sapere / vedere quando qualcun altro fa.

Conclusioni / Valutazione

Il passo successivo sarebbe quello di ottenere effettivamente un esempio reale e iniziare a implementare un sistema come questo all'interno di un ambiente di ufficio e vedere cosa succede. Chiedere alle aziende di impegnarsi in questo percorso, senza una società ardente per provare la tecnologia e l'efficacia può essere un po 'difficile. Griglia / Il calcolo distribuito è molto popolare è certi ambienti e dispone di alcune applicazioni di grandi dimensioni (BIONC, SETI @ Home, Folding @ Home, ecc.) Non ho, però, trovare una scala più piccola e semplice sistema come questo nelle mie ricerche che potrebbero essere implementato all'interno di un ambiente d'ufficio.

Ho creato un sistema fondamentalmente gratuitamente utilizzando il software di origine perlopiù aperta e gli strumenti disponibili in quasi ogni ufficio. Le tecnologie sono state sostanzialmente dimostrato e dimostrano di effettuare e funzionare come previsto. Spero di avere dimostrano che con il lavoro non molto e con una configurazione molto semplice, è possibile distribuire un sistema di grid computing che ufficio è potente, economico, Â e scalabile al tempo stesso.

Una volta che un sistema è installato e funzionante non c'è quasi fine alla quantità di personalizzazioni e miglioramenti si possono fare. Per le statistiche esempio / benchmarking può essere facilmente aggiunto che mostra il valore di un tale sistema ogni giorno. Nuove macchine possono essere aggiunti rapidamente e facilmente come e quando si arriva con gli aggiornamenti per l'hardware esistente rafforzare la potenza di elaborazione.

Spero che abbiate gradito la lettura di questa serie di articoli e la sua è dato spunti di riflessione su esecuzione di un sistema di rete in ufficio. La soluzione presentata qui non funzionano necessariamente in tutte le situazioni, ma deve essere adattabile per consentire di ottenere il trattamento dei dati effettuata utilizzando la propria soluzione.

Non esitate a inviarmi commenti, correzioni o miglioramenti e farò del mio meglio per mantenere questo articolo aggiornato alla corrispondenza.