Athugasemdir (3)

Með því að Steven Lloyd Watkin og föstudagur 4. desember 2009 11:37 pm

Inngangur

Ég vinn í fyrirtæki þar sem við keyra mörg störf Runuvinnsla milljónir gagna af gögnum á hverjum degi og ég hef verið að hugsa undanfarið um allar vélar sem sitja í kring á hverjum degi að gera ekki neitt í nokkrar klukkustundir. Væri ekki gott ef við gætum notað þær vélar til að efla vinnslu kraft kerfi okkar? Í þessu mengi greina sem ég ætla að líta á hugsanlegum ávinningi af ráðningu skrifstofu rist með virtualised umhverfi.

Í hluta 2 leit við á störf a framreiðslumaður vilja hlaupa, og hvernig störf skal stilla til að ná mesta magn af vinnslu á meðan að tryggja að hvert starf er unnið án þess að mistakast.

Uppsetning starfsmann þinn - eða Limp miðlara

Næsta skref í ferlinu er að setja upp raunverulegur starfsmenn þína. Fyrir þetta ætla ég að nota uppsetningu á CentOS með Raunverulegur. Ég ætla að setja MySQL og PHP á vefþjóninum, einnig þekktur sem Limp (Li nux, m ySQL, P HP) Servera i kann að hafa gert það nafn upp).

• Setja Raunverulegur á Windows vél (fylgja tengilinn)
• Sækja og setja upp CentOS (núverandi útgáfa 5,3) innan skapa raunverulegur vél

Það er ekkert lið mér að fara að þessu það er líklega er 1.000 'af frábærum námskeið þarna úti (ok, hér er eitt: Að búa og Managing CentOS raunverulegur vél undir Raunverulegur ). Mikilvægast að hafa í huga að ég ætla að ég kallaði raunverulegur vél mín GridMachine.

Eins og langt eins og val mitt af viðskiptavinur virtualisation og stýrikerfi fara það er ekki stór sannfærandi ástæða fyrir hvert val. Raunverulegur er eitthvað sem ég nota á vélinni heima og er studd af þremur helstu stýrikerfi. Ég valdi CentOS sem í hennar góðu jafnvægi OS og ég nota það á eigin vefþjóni mínum. Ég er mikill trúmaður í the réttur verkfæraskúr fyrir vinnu (þó ég sótt 'nota fljótlegasta og einfaldasta fyrir þig um hugarfar hér), þannig að ef stýrikerfi X keyrir kóðann þinn hraðar og meira duglegur að nota það í staðinn :)

Mikilvægt að tryggja að VM notar DHCP, annars fyrir hverja nýja raunverulegur vél þyrfti að vera stillt sérstaklega sem er eitthvað sem við ekki want.By nota DHCP við þurfum ekki að stilla net stillingarnar sig fyrir vélar starfsmaður, DHCP mun afhenda út IP-tölum fyrir þig. Því þú getur afritað raunverulegur vél um skrifstofu án þess að hafa áhyggjur um að setja hvert og eitt upp (þetta bætir sveigjanleika og dregur starfsmanna stjórnsýslu).

Ferlið sem þú ættir að stefna að því að ná væri að fá nýja líkamlega vél, setja í embætti Raunverulegur, og þá ansi mikið að senda á vettvang raunverulegur mynd án þess að mikið annað. Það gæti verið skynsamlegt að setja alla starfsmenn þína á mismunandi subnet þannig að þú getur að minnsta kosti sjá hversu margar vélar eru í gangi. Þú þarft einnig að setja upp vélar þínum á langan leigusamning eða ótakmarkaða leigusamnings DHCP.

Hvernig á að keyra starf á starfsmaður

Þetta er áhugavert svæði og það eru nokkrar gildar aðferðir til að vinna störf á starfsmann. Hér ég bara ræða tvö augljós:

• Perpetually hlaupandi handriti: A handrit, vera það skel handrit, eða PHP handrit er keyrð einu sinni á starfsmann og keyrir sem hluta af óendanlega lykkju. Ég hef afsláttur þessa aðferð eins og einn hrun á handriti og hugsanlega starfsmenn þínir munu hætta að keyra án þess að einhvers konar íhlutunar.
• Cron byggir handrit framkvæmd: hvert X mínútur að cron púkinn ánægja burt hringja í handriti til að fá það að fara. Án sumir stöðva þetta gæti leitt til margra margra eintaka af launþega handrit að keyra þinn.

Ákvörðun mín var að fara með cron sem ánægja burt skeljaskripta hvert 10 minutes. skeljaskripta mín sinnir eftirfarandi verkefnum:

1. Fá ferli lista og grep þetta fyrir 'php'. Ef ekki finnst þá áfram.
2. Hringdu starf númerið þitt, í mínu tilfelli þetta væri eitthvað PHP byggt
3. Starfsmaður handrit lýkur hlaupa sitt
4. Tilbúinn til að fara aftur á næsta viðeigandi símtali

Bash handrit mitt lítur eitthvað eins og eftirfarandi:

  #! / Bin / sh
 ef PS öxin | grep-v grep | grep PHP> / dev / null
 þá
     echo "Job er nú að vinna, hætta"
 annars
     echo "Job er ekki í gangi, byrja núna"
     PHP yourJobProcessingScript.php
 Fi 

Athugið: echo eru næstum alveg tilgangslaust, en getur hjálpað næsta mann sem kemur með til að reyna að breyta þeim.

Það lýkur sett upp af starfsmanninum raunverulegur vél, fljótur, einfalt og auðvelt að afrita hverja nýja stykki af vélbúnaður sem berst. The 'Cleverness' á rist kerfi er í raun ekki í visualized OS, þess allt að gera með kóða búin að vinna störf, starf stillingar, og í því að tryggja að starf keyrir þegar við á (þ.e. þegar vélin er aðgerðalaus ).

Setja upp Windows til frumstilt Verkafólk

Fyrsta verkefni er að vinna út skipun sem þarf til að keyra raunverulegur vél frá gluggakista stjórn lína. Ef þú hefur sett upp Raunverulegur í sjálfgefna staðsetningu og þú hefur nefnt starfsmanna GridMachine þína þá er stjórn skylt að hlaða upp starfsmann þinn:

  "C: \ Program Files \ Sun \ Raunverulegur \ VBoxManage.exe" startvm GridMachine 

Hins vegar til að keyra handrit í a 'höfuðlaus' á ástandi við þurfum að nota:

  "C: \ Program Files \ Sun \ Raunverulegur \ VBoxHeadless.exe"-startvm GridMachine - vrdp = burt 

Þetta mun byrja að raunverulegur vél án GUI og leyfa því að spara stöðu þokkafullur. Annað rifrildi slekkur flokkurinn svo það er ekki stangast á við Windows flokkurinn, eða gefa þér skilaboð um að hlusta á höfn 3389. The raunverulegur vél nafn er málið viðkvæmt!

Næst munum við þurfa að setja glugga upp til að sparka burt starfsmanna VM okkar þegar vélin hefur verið aðgerðalaus. Til að gera þetta (á Windows XP) þú þarft að fara Start -> All Programs -> Accessories -> System Tools -> Áætlunarferðir Verkefni sem hér segir:

Næsta smella á 'Bæta við tímaáætlun verkefni' ásamt fletta að bæta við siðvenja áætlun. Sigla til VBoxManage handritið og smellt á OK. Dagskrá verkefni fyrir eitthvað af valkostum (við munum breyta þessu í eina mínútu) og halda áfram. Eftir skipstjóri næsta skjár Windows mun spyrja þig hver þú vilja til hlaupa this verkefni, myndi ég stinga upp annað hvort 'Stjórnandi' eða búa til nýja forréttinda notanda. Mundu að við viljum ekki að trufla venjulegu starfsfólk reikning á vélinni á hverjum stað. Smelltu á Next og athuga sýna háþróaður valkostur fyrir þetta verkefni.

Til að lokum hlaupa kennslubók bæta band okkar 'startvm GridMachine' og tryggja að hlaupa aðeins þegar skráður í er eftir unticked. Farðu á áætlun verkefni næsta og breyta áætlun falla niður að valkostur 'þegar aðgerðalaus ", velja the magn af tími þú vilt að tölvan að vera aðgerðalaus áður en hann flutti í næsta flipa.

Að lokum untick möguleika sem segir að hætta við verkefni ef það hefur verið í gangi X magn af tíma, en ekki merkið möguleika á að stöðva verkefni ef vélin er ekki lengur aðgerðalaus.

Það er það þá fyrir Windows gestgjafi skipulag!

Yfirlit

Í þessum hluta höfum við sett upp a raunverulegur vél til að starfa sem launþegi, sem og því hvernig sem við köllum og framkvæma starf vinnslu forskriftir okkar (fyrir mig PHP handrit). Héðan við líta á hvernig á að setja upp afrit okkar af gluggum til að byrja upp á raunverulegur vél í höfuðlaus ham þegar tölvan verður aðgerðalaus, og spara stöðu sína þegar notandinn aftur notkun á vél. Vonandi á þessum tímapunkti sem þú ert að sjá hvernig það er einfalt að setja upp slíkt kerfi og kláði að fá nokkrar tilraunir að fara sjálfur!

Næst þegar

Í hluta 4 við munum vera að horfa á að nota verkfæri til að tryggja að þú ert að keyra nýjustu útgáfuna af kóða og gögn heimildum svo sem fengnar niðurstöður eru alltaf upp-til-dagsetning með nýjustu upplýsingar um fyrirtæki og rökfræði.

Athugasemdir (3)

Með því að Steven Lloyd Watkin og föstudagur 4. desember 2009 11:03 pm

Inngangur

Ég vinn í fyrirtæki þar sem við keyra mörg störf Runuvinnsla milljónir gagna af gögnum á hverjum degi og ég hef verið að hugsa undanfarið um allar vélar sem sitja í kring á hverjum degi að gera ekki neitt í nokkrar klukkustundir. Væri ekki gott ef við gætum notað þær vélar til að efla vinnslu kraft kerfi okkar? Í þessu mengi greina sem ég ætla að líta á hugsanlegum ávinningi af ráðningu skrifstofu rist með virtualised umhverfi.

Í hluta 4 skoðuðum við að nota verkfæri til að tryggja að við erum að keyra nýjustu útgáfuna af kóða og gögn heimildum svo sem fengnar niðurstöður eru alltaf upp-til-dagsetning með nýjustu upplýsingar um fyrirtæki og rökfræði.

Pre-Dreifing

Áður en að beita rist kerfi ef það er einn hlutur sem þú gerir og einn hlutur einn það er kvóti núverandi kerfi! Sama hvað þú segir samstarfsmenn um hversu mikið auka vinna að kerfið þitt er að fara að gera nema þú hafa tölur til að styðja þetta upp tryggingar þínar eru ekkert. Svo,

• hversu margar færslur er hægt að vinna núna? Á dag? Á klukkustund?
• Hversu lengi tekur það yfirleitt að snúa að vinnu?
• Hversu mikið meira rúmtak þarft þú?

Það er líka fleiri spurningar:

• Ef vinnslu miðlara (eða einn af netþjónum vinnslu þinn) fer niður hvernig mun þetta hafa áhrif á getu þína, verður þú að vera örkumla?
• Hvaða kosti finnst þér vona / búist við að fá frá rist kerfi?
• Eru Skrifstofuvélar þín fær um að keyra á störf?
• Ert þinn (eða er hægt að störf að breyta) að wrok í þessum stíl í gangi?

Síðasta meiriháttar lið er að taka tíma á öllum helstu breytinga eins og þetta. Uppfæra vinnslu kóða til að vinna með nýja aðferðafræði og viðmið aftur. Hugsanlega að setja upp vinnslu miðlara til að keyra raunverulegur vél, eftir allt vinnslu miðlara verður bara að vera annar starfsmaður (bara mjög öflugur einn tiltölulega). Leyfa nýja aðferð til að leysa.

Dreifing

Tillaga mín væri að skjóta inn í skrifstofu einu helgi framkvæma allar innsetningar og uppsetningu. Gerðu þetta bara áður en frí tvær vikur og fara svo annað léleg springa til að takast á við afleiðingar ... kannski ekki ...

Dreifing fyrir kerfi eins og þetta þarf að vera hægt. Þrátt fyrir það að vera tiltölulega einfalt að setja upp þetta kerfi mun hafa áhrif á allt skrifstofu innviði þína (og the stafrænn einn). Í fyrsta lagi, rúlla út a par af vélum í einu, fylgjast með net umferð, hvernig starfsmanninum vélar framkvæma á degi til dags. Þú gætir þurft að breyta starf uppsetninguna til að bregðast við niðurstöðum þínum.

Þegar kerfið hefur leyst með nokkrum vélum (segjum 10% af öllum Skrifstofuvélar, þ.e. 5) halda eftirlit net umferð og gestgjafi vél performance. Næsta viðmið aftur, ættir þú nú að afgreiða 33% fleiri störf en fyrstu viðmið þína. Athugaðu að þetta er svo, eða að þú ert að minnsta kosti í þessu ballpark. Ef ekki, rannsaka hvað er að gerast áður en hann flutti á. Endurtaktu þetta hringrás þar til þú hamingjusamlega hafa öll Skrifstofuvélar keyra án þess að drepa einstaka vél árangur eða mala netið til kyrrstöðu.

Á öllum tímum að halda kvóti, jafnvel eftir að öll dreifing eru gerðar. Athugaðu hvernig nýjar uppfærslur kóða áhrif hraða kerfisins, athuga allar starfsmenn eru skýrslur í og ​​vinnslu störf. Hægt (mjög hægt) hækka starf stillingar til að fá það besta frá starfsmönnum og netið.

Hættu!

Hvað ef þú vilt hætta að starfsmenn þína frá að birtast á einhverjum tíma? Þau eru öll þarna í gangi, endurnýjun, og reyna sitt besta til að vinna úr gögnum eins svangur skordýr. Svarið kann að virðast augljóst, en þess virði að bæta bara í tilfelli gleymast þess. Einfaldlega breyta vinnslu handritið með brottför (0) eða deyja () eða einhver önnur staðhæfing að drepa vinnslu starf. Mikilvægt ástæða þess að við reynum alltaf að uppfæra í nýjustu vinnslu handrit áður en hlaupa!

Sýning Kerfi

Til að skrifa þennan hóp af stuttum greinum sem ég skapa mjög litla töflu til að sýna fram á tækni og aðferðafræði. Ég las fullt af greinum, námskeið, og nota ýmis verkfæri til að setja upp og fylgjast með hvað var að gerast. Alls ekki ég hef farið út og mettuð í heild skrifstofu með umferð og né hef ég haft aðgang að reglulegum starfsfólki tölvunni til að sjá hvernig vélin árangur var fyrir áhrifum.

Sýning kerfi minn var mjög auðmjúkur örugglega. Ég nota reglulega skrifborð mitt sett upp sem stjórna vinnu miðlara. Á þetta að ég hafði sett upp MySQL framreiðslumaður uppsett sett upp sem skipstjóri í afritunar, PHP , Â og SVN tengd í gegnum Apache (fyrir aðgang gegnum VM starfsmanna).

Ég bjó þá til CentOS starfsmanna vél á Raunverulegur á 6 ára gamla Windows XP laptop. Ég skipulag áætlunarflug verkefni eins og tilgreint er eftir að afrita VM inn á vél og láta það fara.

The raunverulegur vél var sett upp með PHP, niðurrifsstarfsemi og MySQL. Ég skoðaði út útibú sem heitir "starfsmaður" úr starfi stjórna framreiðslumaður minni geymsla og gerði viss um að það gæti verið uppfærð að nota 'SVN uppfærslu ". Næsta ég skipulag MySQL sem þræl og athugað þessi gögn var afrit af MySQL á stjórn starf miðlara niður að starfsmanninum VM. Eftir allt þetta, er ég setja upp bash handrit og cron starf.

Vinnslu handrit mitt fór í grundvallaratriðum á sömu nótum og þetta (mjög einfalt efni):

• Lesa í reitinn
• Taldi fjölda svipuðum nöfnum í töflunni frá gagnaheimild haldinn á VM
• Taldi fjölda nafna sem ofan en skipta nafni með rými, þ.e. eiginnafn, miðja, kenninafn)
• Endurtekin þetta ferli 1.000 sinnum

Hvert starf tók um það bil 20 mínútur að keyra. Á einum tímapunkti opnaði ég nokkur eintök af starfsmanninum VM á Windows fartölvu og horfði störf að athuga burt af hverju IP starfsmaður viðtakandi. Á þessum tímapunkti ég staðfesti einnig að afritunar sjálfkrafa aftur.

Keyrsla á fartölvu að aðgerðalaus leiddi í starfsmann að byrja að vinna störf frá stjórn starf miðlara. Þegar haldið áfram fartölvu notkun var seinkun um 30-60 sekúndur, þetta er heilmiklar tíma og starfsfólk þarf að vera meðvitaður um að vélin þeirra getur hvílt í stuttan tíma þegar aftur á vél. Nýrri vélar geta ekki hlé á þessu lengi. Ávinningur af fjárhæð vinnslu er gerð af þessum vélum á aðgerðalaus tíma myndi meira að vega þyngra en starfsmenn þurfa að bíða í stutta stund (td 1 mínútu) á að koma á vélum þeirra á morgun (ég bíða oft lengur að þessu fyrir Windows Defender uppfæra til að taka fram) að því tilskildu að þeir voru meðvitaðir um þetta (gagnlegt tími til að grípa morgun kaffi!).

Heildarstigagjöf Mér finnst viss um að ég hafi sýnt fram á þá tækni sem hægt væri að nota til að búa til slíkt kerfi. Ég hef sýnt að slíkt kerfi virkar á (mjög) litlum mæli og með meira tilraunir gæti verið minnkaðar upp nýta auðlindir af vélum skrifstofu félagsins. Ef ég fæ ekki að benda á að gera þetta ég væri mjög áhugavert að vita / sjá þegar einhver annar það.

Ályktanir / mat

Næsta augljóst skref væri að raunverulega fá a raunverulegur veröld dæmi og byrja að senda á vettvang kerfi eins og þetta innan skrifstofu umhverfi og sjá hvað gerist. Spyrja fyrirtæki til að skuldbinda sig til að þetta án slóð logandi fyrirtæki til að sanna tækni og skilvirkni getur verið svolítið erfitt. Tafla / Úthluta computing er mjög vinsæll er sumum hópum og hefur einhverja stór forrit (BIONC, SETI @ Home, Folding @ home, osfrv.) Ég vissi hins vegar ekki að finna í minni mæli og einföld kerfi eins og þetta í leitum mínum gæti verið að vals út innan skrifstofu umhverfi.

Ég bjó til í grundvallaratriðum frjáls kerfi með mestu opinn hugbúnað og tiltæk tól í nánast hvaða starfi. The tækni var í rauninni sýnt fram á og sýna að framkvæma og vinna eins og búast mætti ​​við. Vonandi hef ég sýna að við ekki mikillar vinnu og með mjög einfalda uppsetningu þú geta sent á rist skrifstofu computing kerfi sem er öflugt, ódýr, Â og stigstærð allt á sama tíma.

Þegar er kerfi upp og keyra það er nánast enginn endir til the magn af customization og úrbætur sem þú getur gert. Fyrir tölfræði td / kvóti getur auðveldlega bætt sýnir virði slíkt kerfi á hverjum degi. Ný vél er hægt að bæta fljótt og auðveldlega eins og þegar þeir koma með uppfærslu á núverandi vélbúnaði efla vinnsla máttur þinn.

Ég vona að þú hafir gaman af að lesa þessa röð af greinum og þess gefa þér mat fyrir hugsun á að keyra rist skrifstofu kerfi. Lausnin sem hér munu ekki endilega virka í öllum tilfellum en ættu að vera að laga til að leyfa þér að fá gagnavinnslu þinn gert með þína eigin lausn.

Vinsamlegast ekki hika við að senda mér einhverjar athugasemdir, leiðréttingar eða úrbætur og ég mun gera mitt besta til að halda þessa grein uppfærð til að passa.