Introduzione
Io lavoro in una società dove eseguire i processi di elaborazione in batch molti milioni di record di dati ogni giorno e ho pensato di recente su tutte le macchine che si siedono intorno ogni giorno senza far nulla per diverse ore. Non sarebbe un bene se abbiamo potuto utilizzare queste macchine per sostenere la potenza di elaborazione dei nostri sistemi? In questa serie di articoli che sto andando a guardare i potenziali benefici di impiegare un ufficio griglia con ambienti virtualizzati.
In Parte 4 abbiamo esaminato l'uso di strumenti volti a garantire che stiamo utilizzando l'ultima versione dei sorgenti di codice e dati, in modo che i risultati ottenuti siano sempre up-to-date con le ultime informazioni di business e la logica.
Pre-distribuzione
Prima di distribuire il vostro sistema di rete se c'è una cosa che fai e una sola cosa è punto di riferimento del sistema attuale! Non importa quello che dicono i colleghi su quanto lavoro extra, il sistema sta andando a fare se non avete i numeri a supporto i vostri garanzie non sono nulla. Così,
- quanti record si può elaborare attualmente? Al giorno? Per ora?
- Quanto tempo ci vuole di solito necessario per girare intorno a un lavoro?
- Quanto più la capacità hai?
C'è anche altre domande:
- Se il server di elaborazione (o uno dei server di elaborazione) scende Quali saranno le conseguenze le vostre capacità, vi è paralizzato?
- Quali sono i vantaggi speri / si aspettano di ottenere da un sistema di rete?
- Le vostre macchine per ufficio in grado di eseguire i lavori?
- Sono i tuoi (o si può essere convertito in posti di lavoro) per wrok in questo stile di esecuzione?
L'ultimo punto importante è prendere il vostro tempo su qualsiasi cambiamento importante come questo. Aggiorna il tuo codice di elaborazione di lavorare utilizzando la nuova metodologia, ancora una volta punto di riferimento. Forse configurare il server di elaborazione per eseguire una macchina virtuale, dopo tutto il vostro server di elaborazione sarà solo un altro lavoratore (solo molto potente relativamente). Lasciare che il nuovo processo di stabilirsi.
Deployment
Il mio suggerimento sarebbe quello di pop nel week-end ufficio uno di eseguire tutti gli impianti e di impostazione. Effettuare questa operazione poco prima di una quindicina di giorni di vacanza e lasciare in modo che altri poveretto per far fronte alle conseguenze ... forse non ...
Distribuzione per un sistema come questo deve essere lenta. Nonostante sia relativamente semplice per configurare il sistema interesserà l'intera infrastruttura di ufficio (anche quello digitale). In primo luogo, tirare fuori un paio di macchine in un momento, il traffico di rete monitor, come i padroni di casa di lavoro di eseguire in un giorno per giorno. Potrebbe essere necessario modificare la configurazione del processo in risposta alle vostre scoperte.
Una volta che il sistema si è risolta con poche macchine (diciamo il 10% di tutte le macchine d'ufficio, vale a dire 5) mantenere il traffico di rete di monitoraggio e macchina host benchmark performance. nuovamente Avanti, si dovrebbe ora essere l'elaborazione dei processi del 33% in più rispetto i primi benchmark. Controllare è così, o che siete almeno in questo campo da baseball. In caso contrario, indagare su ciò che sta accadendo prima di passare. Ripetere questo ciclo fino a quando non hanno felicemente tutte le macchine per ufficio in esecuzione senza uccidere performance individuale della macchina o rettifica la rete a un punto morto.
In ogni momento tenere benchmarking, anche dopo tutte le distribuzioni sono fatti. Verificare come i nuovi aggiornamenti del codice influire sulla velocità del sistema, controllare tutti i lavoratori stanno segnalando e l'elaborazione dei processi. Lentamente (molto lentamente) incrementare la configurazione del processo per ottenere il meglio dai tuoi lavoratori e di rete.
Stop!
Che cosa succede se si desidera interrompere i lavoratori in esecuzione a un certo momento? Sono tutti là fuori in esecuzione, rigenerante, e facendo del loro meglio per elaborare i dati, come gli insetti affamati. La risposta può sembrare ovvio ma vale la pena di aggiungere solo nel caso la sua trascurato. Basta modificare lo script di elaborazione di un exit (0) or die () o qualche altra dichiarazione di uccidere il processo di elaborazione. Una ragione importante per cui cerchiamo sempre di aggiornare lo script recentissima tecnologia di elaborazione prima di ogni corsa!
Dimostrazione del sistema
Per scrivere questa serie di brevi articoli che ho creato una griglia molto piccola per dimostrare le tecnologie e le metodologie. Ho letto un sacco di articoli, tutorial, e utilizzato vari strumenti per impostare e monitorare quello che stava succedendo. In nessun modo sono andato fuori e satura di un ufficio tutto con il traffico e non ho avuto accesso ad un normale PC membri del personale per vedere come le prestazioni di accoglienza è stata colpita.
Il mio sistema manifestazione era molto umile davvero. Ho usato il mio normale desktop configurato come un server di controllo del lavoro. Su questo avevo installato mySQL server installato impostato come un master in replica, PHP , Â e SVN collegati attraverso apache (per l'accesso tramite VM lavoratore).
Poi ho creato una macchina CentOS lavoratore su VirtualBox su un 6 anni portatile Windows XP. Ho impostato le operazioni pianificate, come specificato dopo aver copiato il VM sulla macchina e lasciarla andare.
La macchina virtuale è stato creato con PHP, sovversione, e mySQL. Ho controllato un ramo chiamato 'lavoratore' dal mio controllo dei lavori repository server e fatto in modo che possa essere aggiornato con 'svn update'. Poi ho l'installazione di MySQL come uno schiavo e controllato che i dati è stata la replica da MySQL sul server di controllo dei processi fino al VM lavoratore. Dopo tutto questo a configurare lo script bash e il lavoro cron.
Il mio script di elaborazione sostanzialmente andato secondo le linee di questa roba (molto semplice):
- Leggi nel campo del nome
- Contato il numero di nomi simili in una tabella dall'origine dati terrà il VM
- Contato il numero di nomi come sopra, ma dividere il nome da spazi (ad esempio nome, mezzo, cognome)
- Ripetuto questo processo di 1.000 volte
Ogni lavoro ha preso circa 20 minuti per l'esecuzione. A un certo punto ho aperto diverse copie del VM lavoratore sul portatile finestre e guardare i lavori da verificare fuori da ciascuno degli indirizzi IP del lavoratore. A questo punto mi ha anche confermato che la replica automaticamente riavviato.
Lasciando il portatile al minimo portato a un lavoratore di partenza per elaborare i processi dal server di controllo del lavoro. Quando si riprende l'uso portatile c'è stato un ritardo di circa 30-60 secondi, si tratta di una discreta quantità di tempo e di personale avrebbe bisogno di essere consapevoli che la loro macchina può mettere in pausa per un breve periodo al ritorno alla macchina. Le nuove macchine non possono avere una pausa di questa lunga. Il vantaggio della quantità di elaborazione effettuata da queste macchine durante i periodi di inattività potrebbe più che compensare gli agenti che attendere un breve periodo (diciamo 1 minuto) arrivando alla loro macchine di un mattino (Mi capita spesso di aspettare più a lungo che questo per un Windows Defender aggiornamento che si terrà), purché fossero messi al corrente di questo (tempo utile per prendere un caffè del mattino!).
Nel complesso mi sento fiducioso che ho dimostrato le tecnologie che potrebbero essere utilizzati per creare un tale sistema. Ho dimostrato che un tale sistema funziona su una (molto) su piccola scala e con ancora un po 'sperimentando potrebbe essere scalati utilizzare le risorse delle macchine di un ufficio. Se non arrivare al punto di fare questo sarei molto interessato a sapere / vedere quando qualcun altro fa.
Conclusioni / Valutazione
Il passo successivo sarebbe quello di ottenere effettivamente un esempio reale e iniziare a implementare un sistema come questo all'interno di un ambiente di ufficio e vedere cosa succede. Chiedere alle aziende di impegnarsi in questo percorso, senza una società ardente per provare la tecnologia e l'efficacia può essere un po 'difficile. Griglia / Il calcolo distribuito è molto popolare è certi ambienti e dispone di alcune applicazioni di grandi dimensioni (BIONC, SETI @ Home, Folding @ Home, ecc.) Non ho, però, trovare una scala più piccola e semplice sistema come questo nelle mie ricerche che potrebbero essere implementato all'interno di un ambiente d'ufficio.
Ho creato un sistema fondamentalmente gratuitamente utilizzando il software di origine perlopiù aperta e gli strumenti disponibili in quasi ogni ufficio. Le tecnologie sono state sostanzialmente dimostrato e dimostrano di effettuare e funzionare come previsto. Spero di avere dimostrano che con il lavoro non molto e con una configurazione molto semplice, è possibile distribuire un sistema di grid computing che ufficio è potente, economico, Â e scalabile al tempo stesso.
Una volta che un sistema è installato e funzionante non c'è quasi fine alla quantità di personalizzazioni e miglioramenti si possono fare. Per le statistiche esempio / benchmarking può essere facilmente aggiunto che mostra il valore di un tale sistema ogni giorno. Nuove macchine possono essere aggiunti rapidamente e facilmente come e quando si arriva con gli aggiornamenti per l'hardware esistente rafforzare la potenza di elaborazione.
Spero che abbiate gradito la lettura di questa serie di articoli e la sua è dato spunti di riflessione su esecuzione di un sistema di rete in ufficio. La soluzione presentata qui non funzionano necessariamente in tutte le situazioni, ma deve essere adattabile per consentire di ottenere il trattamento dei dati effettuata utilizzando la propria soluzione.
Non esitate a inviarmi commenti, correzioni o miglioramenti e farò del mio meglio per mantenere questo articolo aggiornato alla corrispondenza.
Commenti (0) 
