Kommentarer (3)

Genom att Steven Lloyd Watkin , fredag ​​4 dec 2009 23:37

Införandet

Jag arbetar i ett företag där vi köra många batchjobb behandla miljontals skivor av data varje dag och jag har funderat nyligen om alla de maskiner som sitter runt varje dag gör ingenting i flera timmar. Skulle det inte vara bra om vi kunde använda dessa maskiner för att stärka processorkraften i våra system? I denna uppsättning artiklar jag kommer att titta på de potentiella fördelarna med att anställa ett kontor galler med virtualiserade miljöer.

I del 2 tittade vi på de jobb en server kommer att köra, och hur jobben ska konfigureras för att uppnå största möjliga behandling och samtidigt säkerställa att varje jobb behandlas utan att misslyckas.

Ställa in arbetare - eller halta server

Nästa steg i processen är att ställa in dina virtuella anställda. För detta jag kommer att använda en installation av CentOS med VirtualBox. Jag ska installera mySQL och PHP på servern, även känd som börjar halta (Li Nux, m ySQL, P HP) Servera (jag kan ha gjort det namnet upp).

• Installera VirtualBox på din Windows-maskin (följ länk)
• Ladda ner och installera CentOS (nuvarande version 5,3) i en skapad virtuell maskin

Det är ingen idé jag gå till denna finns det nog 1.000-tals stora tutorials där ute (ok, här är ett: Skapa och Managing CentOS virtuella maskinen under VirtualBox ). Det viktiga att notera antar jag är att jag ringde min virtuell maskin GridMachine.

När det gäller mina val av virtualisering klient och operativsystem åka dit är ingen stor övertygande skäl för att varje val. VirtualBox är något jag använder på mitt hem maskinen och stöds av de tre stora operativsystemen. Jag valde CentOS som det är en bra stabil OS och jag använder det på min egen webbserver. Jag är en stor anhängare av rätt verktyg för jobbet (även om jag ansöker "använda den snabbaste och enklaste för dig" mentalitet här), så om operativsystem X körs din kod snabbare och mer effektivt utnyttja den istället :)

Viktigt att din VM använder DHCP, annars för varje ny virtuell maskin skulle behöva konfigureras separat vilket är något vi inte want.By använder DHCP vi inte behöver konfigurera nätverksinställningar individuellt för arbetsdatorer kommer DHCP lämna ut IP-adresser för dig. Därför kan du kopiera din virtuella maskin om Office utan att oroa om hur var och en upp (detta förbättrar skalbarheten och minskar arbetare administration).

Processen bör du sträva efter att uppnå skulle vara att få en ny fysisk maskin, installera VirtualBox och sedan ganska mycket distribuera den virtuella bild utan mycket annat. Det kan vara klokt att ställa alla dina anställda på ett annat subnät så att du åtminstone kan se hur många maskiner igång. Du måste också ställa in dina maskiner på ett långt hyreskontrakt eller obegränsad leasing DHCP.

Hur man kör jobb på arbetstagaren

Detta är ett intressant område och det finns flera giltiga metoder för bearbetning jobb på arbetstagaren. Här ska jag bara diskutera de två mest uppenbara:

• Ständigt köra skript: Ett skript, antingen det är en skalskript eller ett PHP-skript körs en gång på arbetstagaren och körs som en del av en oändlig slinga. Jag har diskonterat denna metod som ett kraschen manuset och potentiellt dina anställda kommer att upphöra att köras utan någon form av intervention.
• Cron-baserade skript utförande: Var X minuter cron-demonen startar ett samtal till ditt manus för att få saker och ting. Utan någon kontroll kan detta leda till många, många kopior av arbetstagarens skript som körs.

Mitt beslut var att gå med cron som drar igång ett script var 10 minutes. mitt skal skript utför följande uppgifter:

1. Få en process lista och grep detta för "php". Om den inte hittas sedan fortsätta.
2. Ring ditt jobb koden, i mitt fall skulle detta vara något PHP baserade
3. Arbetare script slutför loppet
4. Redo att gå igen på nästa lämpliga samtal

Min bash script ser ut ungefär så här:

  #! / Bin / sh
 om PS AX | grep-v grep | grep php> / dev / null
 därefter
     echo "Job närvarande bearbetar, avfart"
 annars
     echo "Job inte körs, starta nu"
     php yourJobProcessingScript.php
 fi 

OBS: ECHO: s är nästan helt meningslöst, men kan hjälpa nästa person som kommer med till försöka redigera dem.

Som avslutar uppsättningen av arbetstagaren virtuella maskinen, snabbt, enkelt och lätt att kopiera till varje ny maskinvara som tas emot. Den "skicklighet" av nätet är egentligen inte i visualiseras OS, dess alla att göra med koden skapades för att processen jobb, jobb konfiguration, och i att se till att jobbet körs när så är lämpligt (dvs när värden är inaktiv ).

Ställa in Windows för att initiera arbetare

Den första uppgiften är att träna kommandot krävs för att köra den virtuella maskinen från fönstren kommandoraden. Om du har installerat VirtualBox på standardplatsen och du har döpt din arbetstagarens GridMachine sedan kommandot som krävs för att ladda upp din arbetstagare:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Men för att köra skriptet i en "huvudlös" stat måste vi använda:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = off 

Detta kommer att starta den virtuella maskinen utan GUI och låt den för att spara tillståndet graciöst. Det andra argumentet stängs RDP så det inte strider mot fönster RDP, eller ge dig ett meddelande om att lyssna på port 3389. Den virtuella maskinen Namnet är skiftlägeskänsligt!

Därefter behöver vi ställa fönster upp till avspark vårt arbetstagaren VM när maskinen har varit inaktiv. För att göra detta (i Windows XP) du behöver för att gå Start -> Alla program -> Tillbehör -> Systemverktyg -> Schemalagda aktiviteter enligt nedan:

Klicka sedan på "Lägg till schemalagd aktivitet" följt av några för att lägga till ett anpassat program. Navigera till din VBoxManage manus och klicka på ok. Schemalägg din uppgift för någon av alternativen (vi kommer att ändra detta i en minut) och fortsätta. Efter att hoppa över nästa skärm fönstren kommer att fråga dig vem du vill köra den här uppgiften, skulle jag föreslå antingen "Administratör" eller skapa en ny privilegierad användare. Kom ihåg att vi inte vill störa standard personalen konto på maskinen när som helst. Klicka på Nästa och kontrollera visar avancerade alternativ för denna uppgift.

Till slutet av körningen textrutan lägga till vår "startvm GridMachine 'string och se till att löpa först när Inloggad omarkerad kvar. Besök schemat uppgiften nästa och ändra schemat falla ner till alternativet "när inaktiv", välj den tid du vill att maskinen ska vara inaktiv innan man går vidare till nästa flik.

Slutligen avmarkera det alternativ som anger stoppa aktiviteten om den har varit igång X tid, men välj alternativet för att stoppa uppgiften om maskinen inte längre ledig.

Det är det då för Windows Host setup!

Sammanfattning

I denna del har vi satt upp en virtuell maskin för att fungera som arbetstagare, liksom det sätt på vilket vi kallar och exekvera våra skript lönbearbetning (för mig själv ett PHP-skript). Härifrån vi tittar på hur man ställer upp våra exemplar av Windows att starta upp den virtuella maskinen i huvudlösa läge när datorn blir ledig, och spara dess tillstånd när användaren återupptar användning av maskinen. Förhoppningsvis på denna punkt du ser hur enkelt det är att inrätta ett sådant system och längtar efter att få några försök att gå själv!

Nästa gång

I del 4 kommer vi att titta på med verktyg för att se till att du kör den senaste versionen av kod och data källor så att resultaten alltid up-to-date med den senaste affärsinformation och logik.

Kommentarer (3)

Genom att Steven Lloyd Watkin , fredag ​​4 dec 2009 11:03

Införandet

Jag arbetar i ett företag där vi köra många batchjobb behandla miljontals skivor av data varje dag och jag har funderat nyligen om alla de maskiner som sitter runt varje dag gör ingenting i flera timmar. Skulle det inte vara bra om vi kunde använda dessa maskiner för att stärka processorkraften i våra system? I denna uppsättning artiklar jag kommer att titta på de potentiella fördelarna med att anställa ett kontor galler med virtualiserade miljöer.

I del 4 har vi tittat på att använda verktyg för att säkerställa att vi kör den senaste versionen av kod och data källor så att resultaten alltid up-to-date med den senaste affärsinformation och logik.

Pre-Deployment

Innan du distribuerar ditt nätet om det är en sak du gör och en sak bara det är riktmärken ditt nuvarande system! Oavsett vad du säger dina kolleger om hur mycket extra arbete ditt system kommer att göra om du inte har nummer för att backa upp dina garantier är ingenting. Så,

• hur många poster kan du bearbeta just nu? Per dag? Per timme?
• Hur lång tid tar det normalt att vända ett jobb?
• Hur mycket mer kapacitet har du?

Det finns också ytterligare frågor:

• Om din behandling server (eller en av dina bearbetning servrar) går ner hur kommer detta att påverka dina möjligheter, kommer du att handikappade?
• Vilka fördelar hoppas du / räkna med att få från ett rutnät system?
• Är dina kontorsmaskiner kan köra jobb?
• Är din (eller kan du jobb omvandlas) till wrok i denna stil att köra?

Den sista viktiga punkten är att ta din tid på någon större förändring så här. Uppdatera din processkod att arbeta med den nya metoden, riktmärke igen. Möjligen ställa in din behandling server att köra en virtuell maskin, efter alla dina behandling servern kommer bara att vara en annan arbetare (bara en mycket kraftfull en relativt). Låt den nya processen att lösa.

Deployment

Mitt förslag skulle vara att titta in på kontoret en helg utföra alla installationer och installation. Gör detta precis innan en fjorton dagars semester och lämnar så att andra fattiga kap att ta itu med konsekvenserna ... kanske inte ...

Deployment för ett system som detta måste vara långsam. Trots att det är relativt enkelt att ställa in detta system kommer att påverka hela ditt kontor infrastruktur (såväl den digitala ett). För det första, rulla ut till ett par av maskiner åt gången, bildskärm nätverkstrafik, hur arbetstagare värdarna utföra på en dag till dag. Du kan behöva ändra ditt jobb konfiguration som svar på dina resultat.

När systemet har satt sig med några maskiner (låt säga 10% av alla kontorsmaskiner, dvs 5) Håll trafikövervakning nätverk och värddatorn performance. Nästa riktmärke igen bör du nu behandla 33% fler arbetstillfällen än dina första riktmärken. Kontrollera det är så, eller att du åtminstone i detta Ballpark. Om inte, undersöka vad som händer innan vi går vidare. Upprepa denna cykel tills du gärna har alla kontorsmaskiner igång utan att döda enskilda maskinens prestanda eller slipning ditt nätverk till ett stopp.

Alltid hålla benchmarking, även efter alla installationer görs. Kontrollera hur nya kod uppdateringar påverkar hastigheten på ditt system, kontrollera alla arbetstagare redovisning och bearbetning jobb. Långsamt (långsamt) stega ditt jobb konfiguration för att få ut det bästa av dina arbetare och nätverk.

Stopp!

Vad händer om du vill stoppa dina anställda från att köras någon gång? De är alla där ute som kör, regenerering, och försöker sitt bästa för att bearbeta data som hungriga insekter. Svaret kan tyckas självklart men värt att lägga i fall den förbises. Helt enkelt redigera din behandling manus med en exit (0) eller dör () eller någon annan förklaring till döda din behandling jobb. En viktig orsak till varför vi alltid försöker att uppdatera till den senaste bearbetningen manus innan loppet!

Demonstration System

För att skriva denna rad korta artiklar jag skapat en mycket liten galler att demonstrera teknik och metoder. Jag läste massor av artiklar, tutorials och använt olika verktyg för att ställa in och övervaka vad som pågick. På något sätt har jag gått ut och mättade en hel kontor med trafik och inte heller har jag haft tillgång till en ordinarie personal medlemmar PC för att se hur värden prestanda påverkades.

Min demonstration systemet var mycket ödmjuk faktiskt. Jag använde min vanliga skrivbordet inrättades som en kontroll över arbetet server. På denna hade jag installerat mySQL server installerad inrättades som en mästare i replikering, PHP , A och SVN länkade via apache (för åtkomst via arbetare VM).

Jag skapade sedan en CentOS arbetsdator på VirtualBox på en 6 år gammal Windows XP laptop. Jag ställa schemalagda uppgifter som anges efter att ha kopierat VM på maskinen och låt den gå.

Den virtuella maskinen sattes upp med PHP, subversion, och mySQL. Jag kollade ut en gren som heter "arbetstagare" från mitt jobb styrning servrar arkiv och såg till att det kan uppdateras med hjälp av "svn update '. Nästa Jag installation MySQL som en slav och kontroll av att data replikeras från MySQL på jobbet styrservern ner till arbetstagaren VM. Efter allt detta har jag ställa in bash script och cron-jobb.

Min bearbetning manus gick i stort sett i linje med detta (mycket enkla saker):

• Läs i namnfältet
• Räknade antal likadana namn i en tabell från datakällan hålls på VM
• Räknade antal namn som ovan men att dela upp namnet med mellanslag (dvs förnamn, mitten, efternamn)
• Upprepad denna process 1000 gånger

Varje jobb tog ungefär 20 minuter att köra. Vid ett tillfälle öppnade jag flera kopior av arbetstagaren VM på Windows laptop och såg de arbeten kontrolleras av var och en av adresserna arbetstagare IP. Här vill jag också bekräftat att replikering automatiskt startas om.

Lämna den bärbara datorn på tomgång resulterade i att arbetstagaren börjar bearbeta jobb från jobbet kontrollen servern. När återuppta laptop användning fanns en fördröjning på cirka 30-60 sekunder, är detta en hel del tid och personal skulle behöva vara medvetna om att deras maskin kan stanna en kort stund när de återvänder till maskinen. Nyare maskiner kan inte ha en paus på denna långa. Fördelen med den mängd som utförs av dessa maskiner under lediga perioder skulle mer än uppväga anställda tvungna att vänta en kort period (säg 1 minut) när de anländer till sina maskiner av en morgon (jag väntar ofta längre än detta för en Windows Defender uppdatera ske) förutsatt att de fick kännedom om detta (bra tid för att ta en morgonkaffe!).

Överlag är jag säker på att jag har visat den teknik som skulle kunna användas för att skapa ett sådant system. Jag har visat att ett sådant system fungerar på en (mycket) liten skala och med lite mer experimenterande kan skalas upp utnyttja resurserna i en kontorets maskiner. Om jag inte får till den punkt att göra detta skulle jag vara mycket intresserad av att veta / se när någon annan gör det.

Slutsatser / Utvärdering

Nästa självklara steg skulle vara att faktiskt få ett exempel från verkliga livet och börja distribuera ett system som detta inom en kontorsmiljö och se vad som händer. Att be ett företag att engagera sig i detta utan ett spår flammande företag att visa tekniken och effektivitet kan vara lite svårt. Grid / distributed computing är mycket populärt är vissa kretsar och har några stora program (BIONC, SETI @ Home, Folding @ Home, etc). Jag har dock inte hitta en mindre skala och enkelt system som detta i mina sökningar som kan rullas ut inom ett kontorsmiljö.

Jag skapade en i grunden gratis system använder mest öppen källkod och verktyg som finns i nästan alla kontor. Den teknik var grunden visat och visar att utföra och fungera som förväntat. Förhoppningsvis har jag visar att med inte mycket arbete och med en mycket enkel installation kan du distribuera en Office-systemet grid computing som är kraftfull, billig, A och skalbar alla på samma gång.

När ett system är igång det finns nästan ingen ände på hur mycket anpassning och förbättringar du kan göra. Till exempel statistik / benchmarking kan enkelt läggas visar värdet av ett sådant system varje dag. Nya maskiner kan läggas snabbt och enkelt och när de kommer med uppgraderingar till befintlig hårdvara stärka ditt processorkraft.

Jag hoppas du har haft att läsa denna serie av artiklar och gett dig en tankeställare om att köra en System Office nätet. Den lösning som presenteras här kommer inte nödvändigtvis fungerar i alla situationer men bör kunna anpassas så att du kan få din databehandling sker med din egen lösning.

Du får gärna skicka mig kommentarer, korrigeringar eller förbättringar och jag kommer göra mitt bästa för att hålla den här artikeln uppdateras för att matcha.