Commenti (3)

Con Steven Lloyd Watkin , Venerdì 4 Dicembre, 2009 23:37

Introduzione

Io lavoro in una società dove eseguire i processi di elaborazione in batch molti milioni di record di dati ogni giorno e ho pensato di recente su tutte le macchine che si siedono intorno ogni giorno senza far nulla per diverse ore. Non sarebbe un bene se abbiamo potuto utilizzare queste macchine per sostenere la potenza di elaborazione dei nostri sistemi? In questa serie di articoli che sto andando a guardare i potenziali benefici di impiegare un ufficio griglia con ambienti virtualizzati.

Nella parte 2 abbiamo visto i posti di lavoro di un server verrà eseguito, e come posti di lavoro dovrebbe essere configurato in modo da ottenere la massima quantità di elaborazione, assicurando nel contempo che ogni lavoro viene elaborato a colpo sicuro.

Impostazione del lavoratore - o server LIMP

Il passo successivo nel processo è quella di creare i vostri collaboratori virtuali. Per questo ho intenzione di utilizzare un installazione di CentOS utilizzando VirtualBox. Ho intenzione di installare mySQL e PHP sul server, noto anche come LIMP (Nux Li, m ySQL, P HP) Servera (forse ho fatto quel nome in alto).

• Installare VirtualBox sulla vostra macchina Windows (segui link)
• Scaricare e installare CentOS (versione attuale 5.3) all'interno di una macchina virtuale creata

Non ha senso che io vada a questo c'è probabilmente 1,000 's di tutorial grandi là fuori (ok, eccone uno: Creazione e Managing CentOS macchina virtuale in VirtualBox ). Il punto importante da notare suppongo è che ho chiamato la mia macchina virtuale GridMachine.

Per quanto riguarda le mie scelte di virtualizzazione client e il sistema operativo va non c'è grande motivo convincente per ogni scelta. VirtualBox è una cosa che uso sul mio computer di casa ed è supportato dai tre principali sistemi operativi. Ho scelto CentOS come la sua un buon sistema operativo stabile e lo uso sul mio server web. Sono un grande sostenitore degli strumenti giusti per il lavoro (anche se sto applicando 'utilizzare il più veloce e più facile per te' mentalità qui), quindi se il sistema operativo X eseguito il codice più veloce ed efficiente utilizzo che invece :)

È importante assicurarsi che la VM utilizza DHCP, altrimenti per ogni nuova macchina virtuale dovrebbe essere configurato separatamente che è qualcosa che non want.By utilizzando DHCP non abbiamo bisogno di configurare le impostazioni di rete singolarmente per macchine worker, DHCP consegnerà out IP per voi. Pertanto è possibile copiare la macchina virtuale per l'ufficio, senza preoccuparsi di impostare ognuna up (questo migliora la scalabilità e riduce l'amministrazione lavoratore).

Il processo si dovrebbe cercare di raggiungere sarebbe quello di ottenere una nuova macchina fisica, installare VirtualBox, e quindi più o meno distribuire l'immagine virtuale senza molto altro. Potrebbe essere saggio impostare tutti i lavoratori su una sottorete diversa in modo da poter almeno vedere quante macchine sono in esecuzione. Avrete anche bisogno di impostare le macchine su un contratto di locazione a lungo o indeterminato lease DHCP.

Come eseguire i lavori del lavoratore

Questo è un settore interessante e ci sono diversi metodi validi per l'elaborazione dei processi del lavoratore. Qui mi limiterò a discutere i due più evidenti:

• Perennemente in esecuzione script: script, sia esso uno script di shell, o uno script PHP viene eseguito una volta il lavoratore e viene eseguito come parte di un ciclo infinito. Ho scontato questo metodo come un crash dello script e potenzialmente i lavoratori cesseranno di funzionare senza un qualche tipo di intervento.
• L'esecuzione di script basato su Cron: ogni X minuti il ​​demone cron prende il via una chiamata allo script per ottenere le cose. Senza alcun controllo questo potrebbe portare a molte molte copie della vostra corsa lavoratore script.

La mia decisione era quella di andare con cron che prende il via uno script di shell ogni 10 minutes. mio script shell esegue le seguenti operazioni:

1. Ottenere un elenco dei processi e grep questo per 'php'. Se non lo trova e poi continua.
2. Chiamate il vostro codice di lavoro, nel mio caso questo sarebbe qualcosa di PHP base
3. Script di Worker completa la sua corsa
4. Pronti a partire di nuovo alla prossima chiamata appropriata

Il mio script bash sembra qualcosa di simile al seguente:

  #! / Bin / sh
 se ps ax | grep-v grep | grep php> / dev / null
 poi
     echo "Job sta elaborando, uscita"
 altro
     echo "Il lavoro non è in esecuzione, inizia ora"
     php yourJobProcessingScript.php
 fi 

Nota: l'eco sono quasi completamente inutile, ma può aiutare la prossima persona che arriva per cercare di modificarle.

Con questo si conclude il set up della macchina virtuale lavoratore, rapido, semplice e facile da copiare ogni nuovo pezzo di hardware che si riceve. Il 'bravura' del sistema di rete in realtà non è visualizzato nel sistema operativo, è tutto a che fare con il codice creato per i lavori di processo, la configurazione del processo, e nel fare in modo che il processo viene eseguito quando appropriato (cioè quando l'host è inattivo ).

Configurazione di Windows per inizializzare lavoratori

Il primo compito è quello di lavorare il comando necessario per eseguire la macchina virtuale da linea di comando di Windows. Se hai installato VirtualBox nel percorso predefinito e hai chiamato il lavoratore GridMachine allora il comando necessario per caricare il tuo lavoro è la seguente:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Tuttavia, per eseguire lo script in uno stato 'senza testa' abbiamo bisogno di usare:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - VRDP = off 

Verrà avviata la macchina virtuale senza l'interfaccia grafica e permettono di salvare lo stato con garbo. Il secondo argomento si spegne RDP in modo che non entri in conflitto con le finestre RDP, o dare un messaggio relativo in ascolto sulla porta 3389. Il nome della macchina virtuale è case sensitive!

Quindi, abbiamo bisogno di impostare le finestre fino a dare il via la nostra VM lavoratore una volta che la macchina è rimasta inattiva. Per fare questo (in Windows XP) devi andare Start -> Tutti i programmi -> Accessori -> Utilità di sistema -> Operazioni pianificate come di seguito:

Successivamente clicca su 'Aggiungi operazione pianificata' seguito da Sfoglia per aggiungere un programma personalizzato. Passare il vostro script VBoxManage e fare clic su ok. Programmare il vostro compito per una qualsiasi delle opzioni (cambieremo questo in un minuto) e continuare. Dopo aver saltato la schermata successiva vi chiederà finestre che si desidera eseguire questo compito, io suggerirei o 'Administrator' o la creazione di un nuovo utente privilegiato. Ricorda che non vogliamo interferire con l'account personale di serie sulla macchina in qualsiasi punto. Fare clic su Avanti e verificare le opzioni delle presentazioni avanzate per questa operazione.

Alla fine della casella di testo run aggiungere il nostro 'startvm GridMachine' string e garantire che funzionano solo quando l'accesso viene lasciato spuntata. Visita la pianificazione di successiva e modificare la pianificazione di discesa l'opzione 'a riposo', scegliere la quantità di tempo che desideri la macchina può rimanere inattivo prima di passare alla scheda successiva.

Infine, deselezionare l'opzione in cui si afferma interrompere l'attività se è stato in esecuzione una quantità X di tempo, ma non selezionare l'opzione per interrompere l'operazione se la macchina non è più inattiva.

Che è poi per la configurazione host Windows!

Riassunto

In questa parte abbiamo creato una macchina virtuale di agire come un lavoratore, così come il modo in cui noi chiamiamo ed eseguire i nostri script di trasformazione di posti di lavoro (per me uno script PHP). Da qui si guarda a come impostare le nostre copie di Windows per avviare la macchina virtuale in modalità headless quando il computer diventa inattivo, e salvare il suo stato quando l'utente riprende l'uso della macchina. Speriamo a questo punto si sta vedendo come è semplice creare un tale sistema e sono prurito per ottenere alcuni esperimenti da soli andando!

La prossima volta

In parte 4 ci troveremmo di fronte a utilizzare gli strumenti per garantire che si sta eseguendo la versione più recente delle fonti di codice e dati, in modo che i risultati ottenuti siano sempre up-to-date con le ultime informazioni di business e la logica.