Kommentare (2)

Mit Steven Lloyd Watkin , Freitag 4. Dezember 2009 11.59 Uhr

Einführung

Ich arbeite in einer Firma, wo wir laufen viele Batch-Jobs Verarbeitung von Millionen von Datensätzen der Daten jeden Tag und ich habe vor kurzem Nachdenken über all die Maschinen, um jeden zu sitzen und jeden Tag nichts zu tun für mehrere Stunden. Wäre es nicht gut, wenn wir diese Maschinen benutzen konnte, um die Rechenleistung der Systeme zu stärken? In dieser Reihe von Artikeln werde ich auf die potenziellen Vorteile der Verwendung eines Büro-Look Gitter mit virtualisierten Umgebungen.

In Teil 3 haben wir unsere virtuelle Maschine und Einrichten von Windows-Maschinen auf Leerlauf-Beschäftigten geworden.

Ausführen der neuesten Code

Zwangsläufig nach dem Erstellen Ihrer Mitarbeiter Geschäftslogik wird sich ändern, Fehler gefunden wird, wird schneller und effizienter Code erzeugt somit Verlassen Ihres Arbeiter saßen die Verarbeitung von Daten mit Hilfe werden alte stinkende Code . Wie also können wir sicherstellen, dass wir immer die neueste und beste Version von unserer Verarbeitung Skripte?

Es gibt ein paar sehr einfach einfache Möglichkeiten, wie wir dies tun konnte, der Trick ist aber, Rechenleistung und Netzwerk-Traffic bei der Erreichung dieses zu reduzieren. Fangen wir mit der einfachsten Lösungen und verbessern sie langsam über ein paar Iterationen.

Die erste Methode wäre, einfach zu unserem Job Control Server (über Samba-, FTP o.ä.) zu verbinden und ziehen Sie die neueste Version des Codes. Nicht sehr effizient, aber es wird die Arbeit zu tun. Lets verbessern, dass etwas, wie zum Erstellen eines rsync-Skript und die Verwendung dieser jedes Mal statt? Alternativ, was darum, unsere neuesten Verarbeitung Skript in Subversion auschecken den Code zunächst und dann einfach aktualisieren unseren Code auf jedem Lauf ( svn update )?

Am Ende konnten wir am Ende mit einem Bash-Skript (genannt von cron alle 10 Minuten), die so einfach wie folgt aussieht:

  #! / Bin / sh
 wenn ps ax | grep-v grep | grep php > / dev / null
 dann
     echo "Job gerade bearbeitet, Ausfahrt"
 sonst
     echo "Job nicht läuft, jetzt beginnen"
     cd / path / to / working / Kopie
     svn update
     php yourJobProcessingScript.php
 fi 

Jetzt können wir sicher sein, dass mit jedem Lauf sind wir definitiv mit der neuesten Code. Wir gewährleisten dies durch die Aktualisierung unserer Codebasis jedes Mal führen wir einen Lauf und reduziert den Netzwerkverkehr, indem nur die Übertragung der Datei Unterschiede in unserem Netzwerk.

In meiner Demo-Setup, ich habe genau wie oben. Subversion wurde auf meinen Job Processing Server installiert und ich zog einfach den neuesten Code von einem "Arbeitnehmer" Zweig mit 'svn update'. Ich habe auch eine Versionsnummer Tag, meine Verarbeitung Skript, das auf die Datenbank als Teil der Ergebnisse zurückgeben zurückgegeben wurde. Auf diese Weise konnte ich sehen, dass mein Code Wesen war jedes Mal wenn ich kopiert meinen Koffer in den Arbeitsprozess Filiale dh, dass ich auf jeden Fall die neueste Verarbeitung Skript aktualisiert.

Unter Verwendung der neuesten Daten

Wenn Ihr Job-Verarbeitung nutzt Datenquellen dann irgendwann diese werde auch aktualisiert werden. Sofern Sie rufen Ihre Datenquellen auf einer sehr unregelmäßigen Abständen wirst du zu Ihrem Netzwerk mit dem Verkehr so ​​schnell wie Ihre Mitarbeiter Anlauf brachte alles zum Stillstand Flut sind. Für meine Lösung entschied ich mich, dass ich möchte meine Datenquellen bewegen mit meiner VMs.

Halten Sie Pferde gibt! Was passiert, wenn meine Datenquellen sind riesig? Gut, das ist wirklich ein Fall von, wie viele Daten sprechen wir? Es kann kostengünstiger sein, eine zusätzliche größere Festplatte in jedem Rechner zu installieren, als einen zusätzlichen Verarbeitungsschritt Server erwerben. Dies ist eine Frage des Budgets und setzt sich für das Unternehmen zu entscheiden. Es ist vielleicht, dass Ihre Daten Quellen sind so groß, dass seine nur machbar, dass die Datenmenge in Ihrem Arbeitscomputer zu halten. In diesem Fall, was würden Sie tun? Nun konnten wir bei Aufruf eines lokalen Daten-Server aussehen, aber das könnte Probleme mit dem Netzwerk verursachen. In diesem Fall wird ein Grid-System, wie dies unrealistisch geworden, um in Ihre Büroumgebung gehören. Es kann auch sein, dass Sie in alternative Strategien laufen Look sind zum Beispiel nur fordern Ihre Mitarbeiter von 20.00 bis 06.00 pro Nacht und / oder Drosseln Datenquelle Zugriffe.

Umzug auf sagen wir unseren Datenquellen Betrag zu 100 GB Daten. Nun ja, das ist schon ein bisschen von Daten an das Netzwerk auf ein Update zu bewegen. Wie würden wir sicher, dass wir die aktuellste Kopie der Daten haben in diesem Fall? Rsync ist eine Möglichkeit, aber ich persönlich denke, indem Sie Ihre neuesten Datenquelle auf Ihren Job Processing Server und diesen Vorgang als ein Meister in der Replikation (mit einem schönen langen bin log) könnte der Weg zu gehen:

Durch die Einstellung jeder Ihrer Mitarbeiter als ein Sklave der Job-Steuerung Server Updates für Ihre Datenquellen wird Trickle-Down schön, um Ihre Mitarbeiter ohne einen enormen Zuwachs an Netzwerk-Aktivität (das heißt, wenn Sie einen riesigen Daten zu aktualisieren, und führen Sie alle Ihre Mitarbeiter kick in auf einmal). Dies hat Vorteile gegenüber rsync in die Sie nicht bekommen eine lange Pause vor jedem Job würde, als die Datenbank-Updates, die mysql -Daemon auf Ihrer Mitarbeiter wird ständig aktualisiert seine Daten während der Verarbeitung fortgesetzt wird.

Dies ist, wie ich eingerichtet meiner Demonstration Server. Zum Einrichten der Replikation Ich folgte die Führung auf der MySQL-Website ( Einrichten der Replikation ) und innerhalb von 20 Minuten hatte ich meinen inital Arbeiter Replikation der Job-Control-Server-Dataset. Für jede weitere Arbeiter der Replikation Einstellungen und Verfahren gearbeitet jedes Mal, wenn die VM kopiert wurde.

Zusammenfassung

In diesem Abschnitt des Artikels haben wir, wie einfach und schmerzlos ist es, Ihre Verarbeitung Code auf dem Laufenden halten, indem using rsync oder subverion (SVN), um die Arbeit zu tun und den Netzwerkverkehr zu reduzieren gleichzeitig time.A ausgesehen haben wir auch diskutiert, wie Ihre Datenquelle Informationen up-to-date, indem man es rieseln zu jedem Ihrer Mitarbeiter zu halten. So haben wir Raum dafür, dass wir immer mit Geschäftslogik und Informationen in unserem Büro Grid-System. Es wird offensichtlich unzählige Alternativen zu diesen Aufgaben, aber hier waren zwei einfache Beispiele, um zu zeigen, wie einfach eine Lösung zu bekommen ist.

Nächstes Mal

Im letzten Teil dieser Serie, treffend benannt Teil 5 , besprechen wir den Einsatz dieses Systems für. Ich werde zusammen, was gelernt wurde und was ich damit geschaffen.

Kommentare (1)

Mit Steven Lloyd Watkin , Freitag 4. Dezember 2009 23.23 Uhr

Einführung

Ich arbeite in einer Firma, wo wir laufen viele Batch-Jobs Verarbeitung von Millionen von Datensätzen der Daten jeden Tag und ich habe vor kurzem Nachdenken über all die Maschinen, um jeden zu sitzen und jeden Tag nichts zu tun für mehrere Stunden. Wäre es nicht gut, wenn wir diese Maschinen benutzen konnte, um die Rechenleistung der Systeme zu stärken? In dieser Reihe von Artikeln werde ich auf die potenziellen Vorteile der Verwendung eines Büro-Look Gitter mit virtualisierten Umgebungen.

Als PHP -Entwickler Ich werde Tools, die ich jeden Tag nämlich, Linux, verwenden mySQL , PHP, VirtualBox und Subversion (SVN). Aber ich hoffe, dieser Leitfaden in andere Sprachen und Technologien genauso gut passen.

Die Lösung, die ich geben wird sehr lose auf die Art der Verarbeitung würden wir müssen aber erreichen kann doch nicht wahr sein durch den gesamten Artikel als ich die Dinge der Einfachheit halber geändert werden, oder um mehr interessante Anwendungsszenarien produzieren basieren.

Diese virtualisierten Umgebungen wird auf Windows-Rechnern ausgeführt werden, da das ist, was die Mehrheit der Büros laufen. Die Verarbeitung, die Büromaschinen tun sollte nicht mit dem Personal mit diesen Maschinen stören, sollten erfordern keine Wartung an der Maschine, und leicht einsetzbar, um neue Maschinen, wie sie verfügbar sind. Außerdem sollten neue virtuelle Maschinen erfordert keine zusätzliche Konfiguration, da dies reduziert die Skalierbarkeit und Benutzerfreundlichkeit bei der die Grid-System erweitert werden kann.

Warum Bereitstellen einer Office Computing Grid?

Erstens können Sie denken, warum nicht einfach ein Cloud-Computing-Ressourcen wie Amazon EC2-Plattform ? Nun, die Gründe könnten mehrere, zum Beispiel:

• Sie werden nicht anvertrauen bestimmte Daten in einer Cloud Computing-Umgebung
• Sie können nicht bestimmte Daten in einer Cloud-Computing-Umgebung aus rechtlichen Gründen (z. B. Daten Verlassen des Landes), die möglicherweise aus rechtlichen Gründen, wie zB NHS Datensätze.
• Sie möchten, dass Ihre Processing Units zu schließen und die volle Kontrolle über die Hardware zu
• Sie haben nicht die Projektmittel auf Wolke Instanzen laufen
• Ihr Büro hat keine Verbindung zum Internet und damit seine nicht möglich, eine Wolke Ressourcennutzung
• Sie mögen es nicht regen, Wolken deuten regen, daher man auch fern zu halten

Ich bin sicher, die Liste ließe sich fortsetzen, aber ich denke, das ist genug für jetzt.

Vorteile von Office Computing Grid

Nun, können Sie einige Mathematik (und in wahre Physik Stil lets make einigen Kehren Annahmen). Angenommen, Sie haben große bullige Processing Server 100 Arbeitsplätze pro Tag laufen. In Ihrem Büro haben Sie 50 Maschinen, die inaktiv sind 16 Stunden am Tag, jede dieser Maschinen liegt bei 10% so stark wie Ihr bulliger Verarbeitung zu trennen. (Alle Ergebnisse hier sind gerundet, um die Leistung zu erhöhen unterschätzen).

So könnte 1 Maschine * 10% Leistung * 2 / 3 der Zeit = 0,067, dh 1 Desktop-Verarbeitung in Leerlaufzeiten Prozess 6 volle Arbeitsplätze pro Tag.

Wenn Sie nun diese Skala bis es dauert 15 Leerlauf-Desktops, um so viele Arbeitsplätze pro Tag verarbeiten als Haupt-Processing Server funktioniert.

So in unserem vorgeben Büro von 50 Maschinen konnten wir unsere Rechenleistung von 1-Server bis zu erhöhen, um 4 volle Verarbeitung Servern, oder wir könnten Verarbeitung 400 Arbeitsplätze pro Tag statt 100.

Beachten Sie, ohne Investitionen in neue Hardware Ihr Unternehmen hat gerade seine Stapelverarbeitung Kapazität stieg um 4 mal! Potenziell du wirst Ihren Stromverbrauch zu erhöhen, aber von den meisten Büroumgebungen ich Maschinen waren sind in der Regel über Nacht sowieso links, so könnte man dies als eine grüne Initiative zu sehen.

Weitere Vorteile auch bedeuten, dass Investitionen in neue (oder aktualisiert) Verarbeitung Server verzögert werden kann, wenn Ihr Büromaschinen ausreichend sind, und dass, wie Sie die Kraft Ihrer Büromaschinen verbessern Ihr Büro Grid wird mächtiger automatisch.

Technologies

Was Sie brauchen? (Oder besser gesagt, was habe ich benutzt):

• Idle Büromaschinen (in meinem Fall ein Ersatz alter Fenster XP Laptop)
• VirtualBox (oder einer anderen Virtualisierung Client-Software)
• Eine virtuelle Maschine mit PHP, mySQL running läuft eine abgespeckte OS, ich rufe diesen meinen schlaffen Server:)
• Jobs laufen
• Job-Server (kann eine andere virtuelle Maschine irgendwo)

Typische Jobs

Die Arten von Jobs, die dieses System entwickelt, um laufen wie folgt:

• System erhält eine Liste von Daten, auf die wir benötigen, um Spiel und Ergebnisse zurück
• Passende umfasst die Überprüfung / Suche mehrere (relativ statisch) Datenquellen
• Ergebnisse aus den Datenquellen kann eine weitere Validierung, Zusammenführung, Prüfung von zusätzlichen Datenquellen in Reaktion auf Ergebnisse
• Die Daten werden mit passenden Datensätze zurückgegeben, vollständig validiert und verarbeitet
• Jeder Datensatz in einem Job ist unabhängig von den übrigen

Also im Grunde sind wir bei laufenden Aufträge, die eine Mischung aus Datenbankabfragen und einige Zahlenverarbeitung, ein ziemlich typisches Szenario in einem geschäftlichen Umfeld erfordern suchen.

Grid-Lösungen sind nicht nur vorteilhaft für die Verarbeitung von Aufträgen von diesem Typ. Grundsätzlich kann jedes Verfahren, das in unabhängige Einheiten aufgeteilt werden kann in parallel ausgeführt werden. Sehen Sie diese wikipedia für Beispiele und weitere Informationen: Grid Computing , aber ein paar berühmte Beispiele sind Seti @ Home und BIONC . Es gibt Rahmenbedingungen für den Betrieb Computing-Grids, und diese sind auch diskussionswürdig.

Was werden wir erreichen?

Bis Ende diesen Artikel hoffe ich, um zu zeigen, dass die Bereitstellung eines Büros Gitter muss nicht sehr teuer oder zeitaufwendig. Ich werde zu diskutieren:

• Einrichten des Job-Steuerung, Job-Konfiguration
• Erstellen einer geeigneten Verarbeitung virtuellen Maschine
• Wie das System auf einem Windows-Rechner-Setup
• Gewährleistung Sie sind mit den neuesten Code und Daten
• Deployment und Benchmarking
• Blick in die Zukunft

Ich werde Gebäudes werden (ok ich gebaut, dann schreibt diese) ein Beispiel für Anwendung der Konzepte auf einem lokalen Computer mit Windows XP und mein 'GridMachine' virtuellen Maschine zu testen. Mein Job Control-Server wird mein Haupt-Maschine, die läuft sein Fedora 11 .

Dies ist in keiner Weise soll ein voll funktionsfähiges robustes System zu demonstrieren, soll seine eher eine Demonstration und Diskussion zeigt, dass diese Dinge in einer recht kurzer Zeit und mit geringem Aufwand erreicht werden kann. Bitte zögern Sie nicht senden Sie mir Ihre Kommentare, Berichtigungen oder Verbesserungen, und ich werde mein Bestes tun, um diesen Artikel aktualisiert, um Spiel zu halten.

Nächstes Mal

In Teil 2 werde ich, indem man die Job-Steuerung zu starten, und prüfen, wie Arbeitsplätze sollten so konfiguriert werden, um größte Menge der Verarbeitung gleichzeitig sicherzustellen, dass jeder Auftrag ohne Fehler verarbeitet zu erreichen.

Kommentare (1)

Mit Steven Lloyd Watkin , Freitag 4. Dezember 2009 23.23 Uhr

Einführung

Ich arbeite in einer Firma, wo wir laufen viele Batch-Jobs Verarbeitung von Millionen von Datensätzen der Daten jeden Tag und ich habe vor kurzem Nachdenken über all die Maschinen, um jeden zu sitzen und jeden Tag nichts zu tun für mehrere Stunden. Wäre es nicht gut, wenn wir diese Maschinen benutzen konnte, um die Rechenleistung der Systeme zu stärken? In dieser Reihe von Artikeln werde ich auf die potenziellen Vorteile der Verwendung eines Büro-Look Gitter mit virtualisierten Umgebungen.

In Teil 1 habe ich einen Überblick über das System und Technologien I benutzen werden, sowie einige der möglichen Gründe, warum Sie ein Büro Raster zu erstellen würden diskutiert.

Job Control

Wenn Sie vorhaben, werden laufende Aufträge sind dann wirst du einen Weg, sie zu verwalten müssen. Ihr Job-Steuerung (auf der Job-Server) muss wirklich gut durchdacht sein, bevor auch nur zu versuchen, ein Büro Grid laufen. Also erstens, was sind die Aufgaben für eine Job-Control-System:

• Hand von Jobs auf Anfrage von Arbeitern
• Sag Arbeiter, welche Art von Jobs, die
• Ihre Arbeitsplätze
• Stellen Sie sicher, dass die Arbeitsplätze nur einmal ausgeführt
• Geben Sie Job-Daten für die Arbeitnehmer, oder zumindest sagen, wo man es bekommt

Das System muss auch erweiterbar, eine Lösung, die für die arbeitet jetzt in einem einzigen Fall kann verlängert werden, verschiedene Arten von Jobs ausgeführt wie das Unternehmen sieht den Wert in einer Grid-Lösung sein. Zum Beispiel, Arbeitsplätze können Prioritäten zu gewinnen, mehr als ein Job-Typ bestehen können (dh mehrere Code-Basen), schließlich kann man sogar laufen verschiedene Arbeiter Maschinen, die für jede Art von Arbeit optimiert werden (auch wenn das bedeutet Abkehr von der "generic Arbeiter 'Idee). Versuchen Sie immer an die Zukunft denken bei der Entwicklung von Systemen kann eine kurzfristige Vision, langfristig Frust und erhöht die Entwicklungszeit führen.

Job Server

Wir werden irgendwo müssen unsere Job-Kontrolle aus, sollte dies das einzige System in Ihrem Netz, die eine feste Resource Locator hat sein werden, dass eine IP-Adresse, Hostname, URL (mit internen DNS), etc. Dies ist, weil die Arbeiter müssen wissen, wo nach Jobs suchen, müssen Arbeitnehmer vor der Job-Steuerung (nicht den Job-Steuerung finden die Arbeiter) zu finden.

Der Job Server selbst hat nicht wirklich eine komplizierte Aufgabe (in ein Basis-System sowieso), muss es eine Liste von Jobs zu speichern, hand out Arbeitsplätze erhalten Ergebnisse und anschließend speichern Sie diese für den späteren Abruf. Wie diese Teile (wie "Hand Job ') definiert werden kann, sehr einfach. Später können wir das System erweitern, um eine Administrationsoberfläche hinzufügen, bearbeiten, löschen, auszusetzen Arbeitsplätze, aber das ist jenseits dieser Übung sind.

Es gibt keinen Grund, dann, dass Ihr Job Server konnte nicht einer virtuellen Maschine läuft innerhalb Ihres Processing Server werden, sofern sie nicht drain zu viele Ressourcen von ihm. Der Job-Server jedoch braucht eine hohe Verfügbarkeit, wenn es runter geht an einem Freitag Abend wirst du ein ganzes Wochenende der Verarbeitung zu verlieren, möglicherweise kostet Sie ein paar Wochen im Wert von Verarbeitungszeit (wann Sie Ihre wichtigsten Processing Server im Vergleich zur alleinigen) . Vielleicht möchten Sie in Erwägung ziehen, Ihren Job Server auf einem load balanced Umfeld für hohe Verfügbarkeit.

Basic Setup

Die Grundeinstellung für unseren Job Server wird von dem, was ich rufe einen meiner LIMP-Server (das ist Li nux, m ySql, P HP) bestehen. Der Code, der auf Thea Arbeiter tatsächlich herausfinden, was Arbeitsplätze es laufen kann durch die Interaktion mit mit Job-Control-System-Datenbanken. Später konnten wir einen Web-Service und tatsächlich Hand Arbeitsplätze, anstatt die Arbeiter nicht die harte Arbeit selbst zu erstellen, aber jetzt werden wir weiterhin mit dem KISS-Prinzip (Keep it simple, stupid!).

So können Sie drei mySQL -Tabellen mit Arbeitsplätzen beschäftigen. Diese wird `Arbeitsplätze`, `jobRecords` und `jobResults` werden.

Hier verwende ich SQL Buddy eine großartige kleine Alternative zu phpMyAdmin , nur weil die leichter auf CentOS installieren (für die anderen sehen: 10 Great Alternativen zu phpMyAdmin )

Diese Tabelle besteht aus 5 einfachen Feldern,

• ID: Eindeutige Identifizierung der den Job
• Name: Könnte eine Kundennummer oder eine beliebige Anzahl von anderen Kennungen werden
• Status: Sie müssen wissen, wo die Arbeit ist, z. B.
  • 0: Nicht gestartet
  • 1: Nahm
  • 2: Abgeschlossene
• started_by: Wer angefangen hat, den Job? Dies ist nicht ganz erforderlich, aber ein nice to have. Ich würde Tracking Arbeiter durch ihre IP-Adresse in Ihrem Netzwerk vorschlagen
• started_at: Wann hat der Arbeitnehmer Beginn der Arbeit? Durch die Verfolgung Jobs, die nicht innerhalb von X Höhe der Zeit, dass wir wissen, müssen wir holen den Job noch einmal und starten Sie die Verarbeitung durch einen anderen Arbeitnehmer abgeschlossen haben. Workers könnte Stop Verarbeitung / go für eine beliebige Anzahl von Gründen, Stromausfall, Absturz-, Netzwerk-Verlust, etc. offline

Es ist leicht, wie diese Tabelle mit ein paar zusätzliche Felder ausgedehnt werden könnte, um für die Statistik-Tracking, ein Endzeit-Spalte, um zu sehen, wie lange der Job annahm, einen Zähler, um zu sehen, um zu neigen, wie viele Arbeiter nahm den Job (natürlich muss dies erlauben 1), Job-Priorität, kann die Liste weiter und weiter gehen. In komplexeren Szenarien Job wäre es möglich, festzulegen, wie viel Speicher die Arbeiter würden den Zugang zu (und damit nur geeignete Arbeitnehmer), oder auch, welche Art von Arbeiter benötigt würden müssen.

Lets fügen Sie ein paar Beispiel-Jobs:

Die nächste Tabelle ist wieder ganz einfach zu verstehen, das sind unsere Job Datensätze. Sie sind die wichtigsten Aufträge Tabelle eine Spalte `jobs_id` verknüpft. Das Make-up dieser Tabelle hängt sehr stark von den Daten, die Sie benötigen, um Ihre Mitarbeiter liefern, können Sie ein sehr einfaches Beispiel, wo wir vier Säulen:

• id: ID des Datensatzes
• Name: Person Name
• Adresse: Person Adresse
• jobs_id: Die Job-ID, dass dieser Datensatz verknüpft ist

Die dritte und letzte Tabelle besteht aus einer Ergebnistabelle, hat es viel das gleiche Make-up, wie unsere Aufzeichnungen Tisch, und mit der Zugabe von einigen Spalten könnte ein Teil der Datensätze Tabelle:

• job_record_id: Link das Ergebnis um den Job Tisch
• Ergebnis: Das Ergebnis Daten

... Und das ist alles, was Sie für Job-Kontrolle! (Wenn auch auf einer sehr grundlegenden Ebene) In meinem Fall bin ich zu einem anderen Tisch, wo meine Daten zu verarbeiten befand hingewiesen, aber das könnte genauso gut eine Datei, Parameter zur Simulation Code auszuführen, you name it.

Auswählen eines Jobs

Wie bereits erwähnt, werden die Arbeiter unserer Job-Management für uns tun jetzt, so alles, was wir brauchen, um wirklich zu tun ist einen Job zu finden, dass die Verarbeitung braucht und die Informationen. Wie würden wir das tun? Nun holen unsere Aufgabe Auswahlkriterien und suchen Arbeit, in SQL Ich habe die folgenden:

1. Nehmen Sie alle Jobs, die nicht so vollständig, aber aus unserer Arbeiter sind markiert und zurückgesetzt werden (Ersatz __ME__ mit einer Kennung, am einfachsten wäre IP-Adresse):

     UPDATE `Arbeitsplätze` SET `status` = 0 WHERE `status` = 1 AND `started_by` = __ME__; 

2. Mit unserem Job Auswahlkriterien, wählen Sie einen Job und sagen, die Regelung, dass diese Arbeitnehmer mit ihm zu tun haben:

     UPDATE `Arbeitsplätze` `status` = 1, `started_by` = __ME__, `started_at` = NOW () WHERE `status` = 0 oder SET
    (`Status` = 1 AND `started_at`> DATE_SUB (NOW (), INTERVAL X HOUR)) ORDER BY `id` ASC; 

   Durch grabbing Jobs, die nicht Ergebnisse wurden in X viel Zeit wir dafür sorgen, dass alle Arbeitsplätze im Falle eines Arbeitnehmers Abstürzen oder gehen AWOL ausgeführt werden zurückgegeben.

3. Als nächstes hol dir die Jobs Details durch die Datensätze selbst verfolgt:

     SELECT * FROM `Arbeitsplätze` WHERE `started_by` = __ME__ LIMIT 1;
    SELECT * FROM `job_records` WHERE `id` = __JOBID__; 

Nach Abschluss der Arbeit setzen wir unser Ergebnis Aufzeichnungen und markieren Sie die Aufgabe als abgeschlossen. Denken Sie daran, wie Arbeitsplätze können suspend / jederzeit wieder aufnehmen können für einige Robustheit in Ihrem Skript. Es könnte sein, dass die Aufgabe auf halbem Weg unterbricht durch die Aktualisierung der Job-Steuerung, so überprüft die Anzahl der Datensätze in einem Job und die Anzahl der Ergebnisse zurück an den Job-Steuerung gespeichert wäre eine weise Entscheidung.

Darüber hinaus, während dies zeigt, wie Arbeitsplätze ausgewählt werden kann und aus einer SQL-Abfrage Rahmen wirklich verwaltet werden sollte, zu abstrahieren Ihre Arbeit kontrollieren, so dass, wenn Sie sich entschließen, die Verwendung eines Web-Service, eine Datei-basierte System, schalten XML , oder jede andere Anzahl der Systeme wird es keinen Einfluss auf die Code darüber.

Job-Konfiguration

Der nächste Aspekt ist die Größe des Auftrags und Konfiguration. Durch das Spiel mit Job-Konfiguration können wir schlagen eine exzellente Balance zwischen Geschwindigkeit, Prozess-Replikation und Zuverlässigkeit. Nehmen Sie ein paar ofa Szenarien:

1. Jobs nehmen jeweils 1 Tag zu laufen: Dies bedeutet, dass Ihre Mitarbeiter 15 Tage brauchen, um jeden Job Prozess (Sie erinnern sich 10% der Energie für 2/3rds der Zeit). Dies ist offensichtlich nicht eine weise Konfiguration ist es Ihre Aufgabe Größe viel zu groß! Es würde mindestens die doppelte Zeit, um einen Job verarbeitet bekommen die ersten Arbeiter gehen sollte AWOL (Zeit abholen, dass es nicht wieder ein Ergebnis sowie Wiederaufbereitung Zeit). In einer idealen müssten Sie mindestens einen vollen Job einfach bis zum Ende des jeweils langen Ruhezeit geräumt, da man so die Arbeitsplätze Leerlauf und im schlimmsten Fall ein Job behalten würde zwei Tage dauern die ersten gehen sollte fehlen.
2. Jobs nehmen 1 Minute zu laufen: Dies bedeutet, dass Ihre Mitarbeiter etwa 15 Minuten dauern, bis jeder Auftrag ausgeführt. Dies mag zunächst scheinen ideal, Ihnen zusätzliche Arbeit Verarbeitungsverstärkung während der Mittagspause, Kaffeepausen, Meetings, etc diesem Szenario belastet die andere Bereiche Ihres Systems und stellt seine eigenen Probleme. Zum Beispiel, zunächst das Setup / Bearbeitungszeit Verhältnis wird sich bis hinunter zu gehen, daher verlieren Effizienz des Systems. Ihr Netzwerk sein wird ständig Streaming Job-Informationen zu den verschiedenen Arbeitern frustrierend Mitarbeiter, dong sind ihre tägliche Arbeit. Sie werden auch mehr Belastung für Ihr Job-Verarbeitung-Server setzen, wie es austeilen viele, viele kleine Stücke von der Arbeit auf einer regelmäßigen Basis hat. Schließlich, in dieser Situation, wenn dein Job Server ausfällt wirst du eine riesige zurück Protokoll nicht abgeschlossener Arbeiten während größere Arbeitsplätze schaffen könnte Weiterverarbeitung völlig ahnungslos, dass der Job Server war in Schwierigkeiten.

In der Realität wird es niemand ideale Konfiguration für Ihr Netz eingerichtet werden, hängt stark von der verfügbaren Ressourcen, Arten von Arbeit, Job Bearbeitungszeit Anforderungen, Netzwerkfähigkeit, und so weiter. Doch einige Richtlinien wäre:

• Größe Arbeitsplätze, so dass jeder Arbeitnehmer über mindestens 3-4 Arbeitsplätze in einem Zeitraum von 15 Stunden (die längste wahrscheinlich idle Zeit) bekommen
• Spielen Sie mit dem Job-Größe, so dass Rüstzeiten wird ziemlich unbedeutend im Vergleich zu der Verarbeitungszeit (unter Berücksichtigung der oben genannten Punkt).
• Wenn ein Job nicht in die doppelte Menge an Zeit (vielleicht sogar weniger), die Sie erwarten, dass es komplett abgeschlossen ist anzunehmen, dass es weg ist AWOL und Verarbeitung mit einem anderen Arbeiter zu beginnen. Das heißt, Sie können warten, bis das Dreifache der normalen Länge der einen Job für ihn in Anspruch (möglicherweise mehr, wenn die nachfolgende Auftrag fehlschlägt). Vielleicht möchten Sie diese Zeit zu reduzieren, aber darauf achten, nicht zu viel, wie Sie vielleicht anfangen zu duplizieren Bearbeitungsaufgaben in regelmäßigen Abständen zu reduzieren.
• Jobs sollten unabhängig von außerhalb Anforderungen so weit wie möglich. Der Job-Server, zum Beispiel sollte nur am Anfang und am Ende jedes Auftrags kontaktiert werden.
• Nicht zu sättigen Ihr Netzwerk, das wird zwei negative Effekte haben, werden Sie tagsüber Personal zu finden über das Netzwerk frustrierend und Probleme mit Anschlüssen Zeitüberschreitung ein Problem, das nur bekommen schlimmer, wie Sie Ihren Rasterskala erlebt werden.
• Stellen Sie sicher, Arbeitsplätze können auf Ihre Mitarbeiter führen. Wenn Arbeitsplätze zu Erinnerung werden intensive oder Speicherplatz intensive Beschäftigung startet Abbruch und das einzige, was werden Sie feststellen, ist ein Tropfen an der Zahl der Arbeitsplätze mit keinen wirklichen Grund, warum verarbeitet.

Einreichen Ergebnisse einer Job

Bei der Einreichung der Ergebnisse der Arbeit ist es wichtig zu überprüfen, dass die Ergebnisse nicht durch einen anderen Arbeitnehmer eingereicht worden, vor allem, wenn die aktuelle Arbeitnehmer hat seit einiger Zeit inaktiv.

Wenn die Ergebnisse vorgelegt werden sicherstellen, dass die Anzahl der Ergebnisse die Anzahl der Datensätze entspricht im Job.

Wie bereits erwähnt, und kann nicht genug betont, bauen Fehlertoleranz in Wiederfinden und Ergebnisse Unterwerfung. Die Arbeiter können (und wahrscheinlich wird) in den Suspend-Modus zu den ungünstigsten Zeiten und dies muss Rücksicht genommen werden. Auch noch einmal abstrahiert weg Ihre Ergebnisse Vorlage wird dazu beitragen, sorgen für zukünftige Änderungen an Ihrem Job Control System viel einfacher zu handhaben.

Zusammenfassung

In diesem Schnitt A haben wir, was eine Job-Control-Server muss nicht sah und wie man ein sehr einfaches System einzurichten. Wir diskutierten, wie man einen Auftrag aus der Steuerung und wie man am besten, um Arbeitsplätze zu konfigurieren, dass die meisten unserer Ihres Büros Grid-System erhalten abzurufen. Zum Abschluss wurde ein oder zwei Absätze zur Einreichung Ergebnisse zurück an die Job-Kontrolle-Server vorgestellt.

• Ein Job-Kontrolle-Server verwaltet Arbeitsplätze und sorgt dafür, dass alle Arbeiten abgeschlossen sind Einheiten
• Durch Abstraktion Ihren Job auswählen / Ergebnisse Vorlage können wir die Technologie der Kontroll-Server ohne viel Probleme ändern
• Konfigurieren Sie Ihren Job, um sicherzustellen, dass sie schnell und effizient sind, ohne zu viel Druck auf Ihrem Netzwerk-Infrastruktur zu betreiben, und ohne doppelte Verarbeitung Aufgaben auf einer regulären Basis.
• Achten Sie darauf, Fehlertoleranz und Fehler checking in Ihre Routinen zu bauen, können die Arbeiter Suspend-und Resume und den ungünstigsten Zeiten. Denken Sie daran, zu überprüfen, ob die Ergebnisse bereits von einem anderen Arbeiter eingereicht.

Nächstes Mal

In Teil 3 werden wir schaffen unsere virtuelle Maschine und bauen unser Windows-Rechner in den Ruhezustand Kurzarbeiter werden.

Kommentare (3)

Mit Steven Lloyd Watkin , Freitag 4. Dezember 2009 11.03 Uhr

Einführung

Ich arbeite in einer Firma, wo wir laufen viele Batch-Jobs Verarbeitung von Millionen von Datensätzen der Daten jeden Tag und ich habe vor kurzem Nachdenken über all die Maschinen, um jeden zu sitzen und jeden Tag nichts zu tun für mehrere Stunden. Wäre es nicht gut, wenn wir diese Maschinen benutzen konnte, um die Rechenleistung der Systeme zu stärken? In dieser Reihe von Artikeln werde ich auf die potenziellen Vorteile der Verwendung eines Büro-Look Gitter mit virtualisierten Umgebungen.

In Teil 4 sahen wir uns im Umgang mit Werkzeugen, um sicherzustellen, dass wir mit der neuesten Version des Codes und Datenquellen, so dass erzielten Ergebnisse sind immer up-to-date mit den neuesten Geschäftsinformationen und Logik.

Pre-Deployment

Vor der Bereitstellung Ihrer Grid-System, wenn es eine Sache gibt Sie und eine Sache allein es ist Benchmark Ihr aktuelles System! Egal was Sie Kollegen darüber, wie viel zusätzliche Arbeit auf Ihrem System tun zu sagen, wenn Sie Zahlen, um dies zu Ihrem garantiert zurück haben, sind nichts. So,

• wie viele Datensätze können Sie derzeit Prozess? Pro Tag? Pro Stunde?
• Wie lange dauert es typischerweise, sich umzudrehen einen Job?
• Wie viel mehr Kapazität haben Sie?

Es gibt auch weitere Fragen:

• Wenn Ihr Processing Server (oder einer Ihrer Verarbeitung Server) ausfällt, wie wird diese Ihre Fähigkeiten beeinflussen, werden Sie gelähmt werden?
• Welche Vorteile erhoffen Sie sich / erwarten, von einem Grid-System zu bekommen?
• Sind Ihre Büromaschinen lauffähig die Arbeitsplätze?
• Sind Ihre (oder können Sie Aufträge umgewandelt werden), um in diesem Laufstil zu arbeiten?

Der letzte große Punkt ist es, Ihre Zeit auf größere Veränderungen wie diese zu nehmen. Aktualisieren Sie Ihre Verarbeitung Code funktioniert mit der neuen Methodik Benchmark erneut. Möglicherweise richten Sie Ihre Processing Server zu einer virtuellen Maschine laufen, nach all Ihren Processing Server wird nur ein weiterer Arbeiter zu sein (nur ein sehr mächtiger relativ). Lassen Sie den neuen Prozess zu begleichen.

Einsatz

Mein Vorschlag wäre, in das Büro ein Wochenende pop führen alle Installationen und Setup. Tun Sie dies kurz vor einem zweiwöchigen Urlaub und lassen so andere arme Kerl mit den Folgen ... vielleicht nicht viel ...

Bereitstellung für ein System wie dieses muss langsam sein. Obwohl es relativ einfach einzurichten diesem System wird auf Ihre gesamte Büro-Infrastruktur (auch die digitalen eins). Erstens, Roll-Out auf ein paar Maschinen in einer Zeit, Überwachung des Netzwerkverkehrs, wie die Arbeiter Gastgeber an einem Tag zu Tag Grundlage durchzuführen. Möglicherweise müssen Sie Ihre Job-Konfiguration in Reaktion auf Ihre Ergebnisse verändern.

Sobald das System mit ein paar Maschinen (sagen wir 10% aller Büromaschinen, dh 5) halten die Überwachung des Netzwerkverkehrs und Host-Maschine performance. Next Benchmark wieder abgesetzt hat, sollten Sie jetzt Verarbeitung 33% mehr Arbeitsplätze als die erste Benchmarks. Prüfen Sie dies so ist, oder dass Sie zumindest in diesem Stadion. Falls nicht, untersuchen, was los ist, bevor Sie fortfahren. Wiederholen Sie diesen Zyklus, bis Sie glücklich alle Büromaschinen laufen haben, ohne zu töten individuelle Leistung der Maschine oder Schleifen Ihrem Netzwerk zum Erliegen.

Zu allen Zeiten zu halten Benchmarking, auch nach alle Einsätze gemacht sind. Prüfen Sie, wie neue Code-Updates Geschwindigkeit beeinflussen Ihres Systems, überprüfen Sie alle Arbeiter sind in der Berichterstattung und Verarbeitung von Aufträgen. Langsam (sehr langsam) erhöhen Sie Ihre Job-Konfiguration, um das Beste aus Ihren Mitarbeitern und Netzwerk zu erhalten.

Stop!

Was, wenn Sie Ihre Mitarbeiter vom Laufen zu einem bestimmten Zeitpunkt beenden wollen? Sie sind alle da draußen läuft, regenerierend und versuchen ihr Bestes, um Daten wie hungrige Insekten Prozess. Die Antwort mag offensichtlich erscheinen, aber es lohnt Zugabe nur für den Fall seiner übersehen. Ändern Sie einfach Ihre Verarbeitung Skript mit einem exit (0) or die () oder eine andere Anweisung zur Verarbeitung Job zu töten. Ein wichtiger Grund, warum wir immer versuchen, um die neuesten Verarbeitung Skript vor jedem Lauf zu aktualisieren!

Demonstration System

Um diese Reihe von kurzen Artikel zu schreiben habe ich eine sehr kleine Raster, um die Technologien und Methoden zu demonstrieren. Ich lese viele Artikel, Tutorials und verwendet verschiedene Werkzeuge zur Konfiguration und Überwachung, was los war. Keineswegs habe ich ausgegangen und gesättigten ein ganzes Büro mit Verkehrs-und noch habe ich Zugang zu einem regelmäßigen Mitarbeiter-PC zu sehen, wie Host-Performance beeinträchtigt wurde.

Meine Demo-System war sehr bescheiden in der Tat. Ich habe meinen normalen Desktop als eine Job-Control-Server eingerichtet. Auf dieser hatte ich installiert mySQL -Server up installiert als Meister in die Replikation eingerichtet, PHP , Â und SVN durch verknüpfte apache (für den Zugriff via worker VM).

Ich habe dann eine CentOS Arbeiter Maschine VirtualBox auf einem 6 Jahre alten Windows XP-Laptop. Ich setup geplanten Aufgaben wie nach dem Kopieren der VM an der Maschine angegeben und lasst sie gehen.

Die virtuelle Maschine wurde mit PHP, Subversion und mySQL gesetzt. Ich checkte ein Zweig mit dem Namen "Arbeiter" von meinem Job Control-Server-Repository und sorgte dafür, dass es aktualisiert konnte mit 'svn update' werden. Weiter habe ich sie MySQL als Slave und überprüft, dass die Daten aus mySQL Replikation auf der Job-Steuerung Server herunter, um den Arbeiter VM. Nach all diesen richte ich die Bash-Skript, und der Cron-Job.

Mein Verarbeitung script Grunde ging entlang der Linien dieser (sehr einfache Sachen):

• Lesen Sie in das Feld Name
• Zählten die Anzahl der ähnlichen Namen in eine Tabelle aus der Datenquelle auf dem VM statt
• Zählte die Anzahl der Namen wie oben, aber Aufspaltung der Name durch Leerzeichen (dh Vorname, Mitte, Nachname)
• Wiederholte dieses Prozesses 1.000 Mal

Jeder Job dauerte etwa 20 Minuten zu laufen. An einer Stelle öffnete ich mehrere Exemplare des Arbeitnehmers VM auf dem Windows-Laptop und beobachtete die Arbeitsplätze weg von jedem der Arbeiter IP-Adressen überprüft werden. An diesem Punkt habe ich auch bestätigt, dass die Replikation automatisch neu gestartet.

Verlassen der Laptop in ein Arbeiter ab, um Jobs aus der Job-Steuerung Server-Prozess führte im Leerlauf. Bei der Wiederaufnahme Laptop Nutzung gab es eine Verzögerung von etwa 30-60 Sekunden, das ist eine ganze Menge Zeit und Personal müssten darauf aufmerksam gemacht, dass ihre Maschine darf Pause für eine kurze Zeit bei der Rückkehr in die Maschine. Neuere Maschinen können nicht eine Pause von diesem lang. Der Vorteil der Höhe der Verarbeitung durch diese Maschinen in Leerlaufzeiten durchgeführt würden mehr als aufwiegen Mitarbeiter mit auf einen kurzen Zeitraum (etwa 1 Minute) bei der Ankunft in ihren Maschinen ein Morgen warten (ich häufig länger warten, dass diese für eine Windows-Defender Update stattfinden soll), sofern sie gemacht wurden bewusst (nützlicher Zeit zu einem Kaffee am Morgen packen!).

Insgesamt bin ich zuversichtlich, dass ich die Technologien, die zur Schaffung eines solchen Systems könnte demonstriert. Ich habe gezeigt, dass ein solches System die Arbeit an einem (sehr) kleinen Maßstab und mit etwas mehr experimentieren können skaliert werden die Ressourcen eines Büro-Maschinen hat. Wenn ich nicht bis zu dem Punkt, dies zu tun zu tun bekommen würde ich mich sehr daran interessiert zu wissen / sehen, wenn es jemand anderes tut.

Schlussfolgerungen / Evaluation

Die nächste offensichtliche Schritt wäre tatsächlich ein Beispiel aus der Praxis und beginnen, ein System wie dieses in einer Büroumgebung einsetzen und sehen was passiert. Fragt ein Geschäft, dies ohne eine bahnbrechende Unternehmen verpflichten sich, die Technologie und Effizienz unter Beweis stellen kann ein wenig schwierig. Grid / Distributed Computing ist sehr beliebt ist manchen Kreisen und hat einige große Anwendungen (BIONC, SETI @ Home, Folding @ Home, etc). Ich wusste nicht, jedoch finden in kleinerem Maßstab und einfaches System wie dieses in meinem Suchen, die innerhalb einer Büroumgebung gerollt werden konnte.

Ich habe eine grundsätzlich frei-System mit allem Open-Source-Software und Tools in fast jedem Büro. Die Technologien waren im Grunde bewiesen und zeigen Leistungsbereitschaft und wie erwartet funktioniert. Hoffentlich habe ich zeigen, dass mit nicht viel Arbeit und mit einer sehr einfachen Setup können Sie ein Büro Grid-Computing-System, die leistungsfähig, preiswert, Â und skalierbare alle zur gleichen Zeit einsetzen.

Sobald ein System zum Laufen gibt es fast kein Ende, die Menge an Anpassung und Verbesserungen, die Sie machen können. Zum Beispiel Statistik / Benchmarking können leicht hinzugefügt, welche den Wert eines solchen Systems jeden Tag. Neue Maschinen können schnell und einfach wie hinzugefügt werden und wenn sie mit Upgrades für vorhandene Hardware Stärkung Ihrer Rechenleistung erreichen.

Ich hoffe, Sie haben Freude beim Lesen dieser Serie von Artikeln und deren euch Denkanstöße für ein Büro Grid-System. Die hier vorgestellte Lösung wird nicht unbedingt in allen Situationen, sollte aber anpassungsfähig sein, damit Sie sich Ihre Datenverarbeitung erfolgt über eine eigene Lösung.

Bitte zögern Sie nicht senden Sie mir Ihre Kommentare, Berichtigungen oder Verbesserungen, und ich werde mein Bestes tun, um diesen Artikel aktualisiert, um Spiel zu halten.