Commenti (1)

Con Steven Lloyd Watkin , Venerdì 4 Dicembre, 2009 11:23

Introduzione

Io lavoro in una società dove eseguire i processi di elaborazione in batch molti milioni di record di dati ogni giorno e ho pensato di recente su tutte le macchine che si siedono intorno ogni giorno senza far nulla per diverse ore. Non sarebbe un bene se abbiamo potuto utilizzare queste macchine per sostenere la potenza di elaborazione dei nostri sistemi? In questa serie di articoli che sto andando a guardare i potenziali benefici di impiegare un ufficio griglia con ambienti virtualizzati.

Come PHP developer ho intenzione di utilizzare gli strumenti che uso ogni giorno e cioè Linux, mySQL , PHP, VirtualBox e Subversion (SVN). Comunque spero che questa guida si adatterà ad altri linguaggi e tecnologie altrettanto bene.

La soluzione che fornirà sarà molto liberamente ispirato al tipo di lavorazione che avevamo bisogno per raggiungere ciò però non può essere vero l'articolo per intero, come farò cambiare le cose per la semplicità, o per produrre scenari di utilizzo più interessanti.

Questi ambienti virtualizzati verrà eseguito su macchine windows in quanto questo è ciò che la maggior parte degli uffici eseguire. Il trattamento che le macchine per ufficio non dovrebbe interferire con il personale l'utilizzo di tali macchine, dovrebbe richiedere alcuna manutenzione alla macchina, ed essere facilmente utilizzabile a nuove macchine man mano che diventano disponibili. Inoltre, le nuove macchine virtuali non dovrebbe richiedere alcuna configurazione aggiuntiva in quanto riduce notevolmente la scalabilità e la facilità con cui il sistema della griglia può essere esteso.

Perché Distribuire un Grid Computing Office?

In primo luogo si può pensare, perché non utilizzare una risorsa cloud computing come piattaforma EC2 di Amazon ? Beh, le ragioni potrebbero essere diverse, ad esempio:

• Non si affiderà determinati dati in un ambiente di cloud computing
• Non puoi inserire determinati dati in un ambiente di cloud computing per motivi legali (ad esempio, dati di lasciare il paese), potenzialmente per motivi legali, ad esempio documenti NHS.
• Si desidera mantenere le unità di elaborazione chiudere e avere il pieno controllo l'hardware troppo
• Non hai i fondi del progetto di eseguire istanze di cloud
• Il vostro ufficio non ha una connessione a internet e quindi la sua non è possibile utilizzare una risorsa nuvola
• Non ti piace la pioggia, le nuvole suggeriscono pioggia, quindi si tiene ben lontano

Sono sicuro che l'elenco potrebbe continuare, ma penso che basta per ora.

Vantaggi di una Grid Computing di Office

Beh, lascia fare un po 'di matematica (e in vero stile fisica permette di fare alcune ipotesi radicali). Immaginate di avere grande beefy del server che esegue l'elaborazione di 100 lavori al giorno. In ufficio si dispone di 50 macchine che sono al minimo 16 ore al giorno, ognuna di queste macchine è del 10% potente come il sever di elaborazione beefy. (Tutti i risultati qui sono arrotondati a sottovalutare aumento delle prestazioni).

Quindi, 1 macchina * potenza del 10% * 2/3 volte = 0,067 ossia il 1 ° di elaborazione desktop in tempo di inattività in grado di elaborare 6 posti di lavoro completi al giorno.

Se ora questa scala ci vogliono fino a 15 desktop folli per elaborare i processi come molti al giorno, come il server di elaborazione principale fa.

Quindi, nel nostro ufficio finta di 50 macchine potremmo aumentare il nostro potere di trasformazione dal 1 server fino a 4 server di elaborazione completi, o potremmo essere l'elaborazione di 400 lavori al giorno invece di 100.

Avviso, per nessun investimento in hardware nuovo la vostra azienda ha appena aumentato la sua capacità di elaborazione batch 4 volte! Potenzialmente si sta andando ad aumentare il consumo di energia, ma dalla maggior parte degli ambienti di ufficio sono stato a macchine sono generalmente lasciati durante la notte in ogni caso, così si potrebbe vedere questa come iniziativa verde.

Altri vantaggi anche significare che gli investimenti in nuove (o aggiornato) server di elaborazione può essere ritardato se le macchine d'ufficio sono sufficienti e che, come si migliora la potenza delle vostre macchine d'ufficio la griglia ufficio diventa più potente automaticamente.

Technologies

Quello che vi serve? (O più correttamente ciò che ho usato):

• Macchine per ufficio Idle (nel mio caso un ricambio vecchio Windows XP laptop)
• VirtualBox (o un altro software di virtualizzazione client)
• Una macchina virtuale con PHP, mySQL running l'esecuzione di un taglio verso il basso OS, sto chiamando questi miei server Limp :)
• Offerte di lavoro per l'esecuzione
• Server di lavoro (può essere un'altra macchina virtuale da qualche parte)

Lavori tipici

I tipi di lavoro che questo sistema è progettato per funzionare è la seguente:

• Sistema riceve un elenco di dati su cui dobbiamo corrispondere e restituire risultati
• Corrispondenza consiste nel verificare / ricerca diversi (abbastanza statica) fonti di dati
• I risultati provenienti da fonti di dati può richiedere un'ulteriore conferma, la fusione, la verifica di ulteriori fonti di dati in risposta ai risultati
• I dati vengono restituiti con i record corrispondenti pienamente convalidati e trasformati
• Ogni record all'interno di un lavoro è indipendente dal resto

Quindi, fondamentalmente stiamo guardando l'esecuzione di lavori che richiedono una miscela di ricerche nei database e qualche scricchiolio numero, uno scenario abbastanza tipico in un ambiente aziendale.

Le soluzioni di rete non sono solo vantaggioso per l'elaborazione dei lavori di questo tipo. In sostanza, qualsiasi processo che può essere suddivisa in unità indipendenti possono essere eseguiti in parallelo. Vedere questo wikipedia per esempi ed ulteriori informazioni: Grid Computing , ma un paio di esempi famosi sono Seti @ Home e BIONC . Ci sono strutture per l'esecuzione di griglie di calcolo, e questi sono ben merita di essere esaminata.

Che cosa otteniamo?

Entro la fine di questi articoli spero di mostrare che la distribuzione di una griglia di ufficio non deve essere costoso o estremamente dispendioso di tempo. Io vado a discutere:

• Impostazione del sistema di controllo di lavoro, configurazione del processo di
• Creare una macchina virtuale idoneo trattamento
• Come impostare il sistema su una macchina Windows
• Garantire che stai usando l'ultima codice e dati
• Distribuzione e benchmarking
• Guardando al futuro

Sarò edificio (ok ho costruito, poi scrisse questo) una applicazione di esempio per testare i concetti su una macchina locale con Windows XP e la mia macchina 'GridMachine' virtuale. Il mio server di controllo del lavoro sarà la mia macchina principale che corre Fedora 11 .

Questo è in alcun modo lo scopo di dimostrare un sistema completamente funzionante robusta, il suo significato più di una dimostrazione e la discussione mostrando che queste cose può essere raggiunto in uno spazio di tempo ragionevolmente breve e con poca spesa. Non esitate a inviarmi commenti, correzioni o miglioramenti e farò del mio meglio per mantenere questo articolo aggiornato alla corrispondenza.

La prossima volta

In parte 2 inizierò guardando il sistema di controllo del lavoro, e in che modo i posti di lavoro dovrebbe essere configurato in modo da ottenere la massima quantità di elaborazione, assicurando nel contempo che ogni lavoro viene elaborato a colpo sicuro.