Athugasemdir (2)

Með því að Steven Lloyd Watkin og Föstudagur 4 desember 2009 23:59

Inngangur

Ég vinn í fyrirtæki þar sem við keyra mörg störf Runuvinnsla milljónir gagna af gögnum á hverjum degi og ég hef verið að hugsa undanfarið um allar vélar sem sitja í kring á hverjum degi að gera ekki neitt í nokkrar klukkustundir. Væri ekki gott ef við gætum notað þær vélar til að efla vinnslu kraft kerfi okkar? Í þessu mengi greina sem ég ætla að líta á hugsanlegum ávinningi af ráðningu skrifstofu rist með virtualised umhverfi.

Í 3. hluta sem við bjuggum til raunverulegur vinnsla vél okkar og setja upp Windows vélar til að verða aðgerðalaus-tími starfsmenn.

Keyra nýjustu kóða

Óhjákvæmilega eftir að búa starfsmenn viðskipti rökfræði þína mun breyta, villur verður að finna, mun hraðar skilvirkari kóða er framleitt þannig að fara starfsmenn þínir sat um vinnslu gagna með gamla daunillur kóða . Hvernig þá áttu að tryggja að við að við erum alltaf með nýjustu og mest útgáfu af skriftum vinnslu okkar?

Það eru nokkrar mjög einfaldar einfaldar leiðir að við gætum gert þetta, bragð er hins vegar að draga úr vinnslugetu og net umferð í að ná þessu. Lets byrja með einföldustu lausnir og bæta það rólega yfir nokkrar endurtekningar.

Fyrsta aðferðin væri að einfaldlega tengja við starf stjórna miðlara okkar (í gegnum Samba, FTP, eða svipað) og rífa niður nýjustu útgáfu af kóða. Ekki mjög duglegur, en það vilja gera the starf. Lets bæta á að nokkuð, hvernig væri að búa til rsync handriti og nota það í hvert sinn í staðinn? Einnig hvað um að setja nýjustu vinnslu handrit okkar í niðurrifsstarfsemi að skoða kóðann í upphafi og þá bara að uppfæra kóðann okkar á hverju hlaupa ( SVN uppfærslu )?

Í lok við gæti endað með bash handrit (kallað eftir cron á 10 mínútna fresti), sem lítur út eins einfalt og þetta:

  #! / Bin / sh
 ef PS öxin | grep-v grep | grep PHP > / dev / null
 þá
     echo "Job er nú að vinna, hætta"
 annars
     echo "Job er ekki í gangi, byrja núna"
     CD / slóð / að / vinna / afrit
     SVN uppfæra
     PHP yourJobProcessingScript.php
 Fi 

Nú getum við verið viss um að með hverjum tíma sem við erum örugglega að keyra nýjustu kóða. Við erum að tryggja þetta með því að uppfæra kóða stöð okkar í hvert og hvert skipti sem við framkvæma að hlaupa og draga úr net umferð aðeins um að flytja skrá mismun yfir netið okkar.

Í uppsetningu kynningu mína, gerði ég nákvæmlega eins og hér að ofan. Niðurrifsstarfsemi var sett á starf vinnslu vefþjóninum mínum og ég kippti einfaldlega nýjustu kóða frá a 'launþega' á grein nota "SVN uppfærslu". Ég bætti líka útgáfunúmer tag vinnslu handriti mínu sem var aftur í gagnagrunn sem hluta af niðurstöðum aftur. Þannig að ég gat séð að kóðinn minn var að uppfæra í hvert sinn sem ég afrita skottinu mínu í grein starfsmanna, þ.e. að ég var örugglega að keyra nýjustu vinnslu handrit.

Notkun nýjustu gögn

Ef starf vinnslu þinn gerir notkun heimildum gögn þá á einhverjum tímapunkti þetta eru að fara að uppfæra líka. Nema þú hringja gögn heimildir þínar á mjög örfáum grundvelli þú ert að fara að drekkja net með umferð eins fljótt og starfsmenn þínar byrja að birtast færa allt til kyrrstöðu. Lausn ég ákvað að ég vil færa gögn heimildir mínar í kring með VMS mínum.

Haltu þú ert hestar þar! Hvað ef gögn heimildir mínar eru HUGE? Jæja þetta er í raun dæmi um hversu mikið af gögnum erum við að tala? Það kann að vera hagkvæmari til að setja upp fleiri stærri harður ökuferð inn í hverja vél en að kaupa til viðbótar vinnslu miðlara. Þetta er spurning um fjárhagsáætlun og er allt að fyrirtæki til að ákveða. Það kannski að gögn heimildir þínar eru svo stór að þess bara unfeasible að halda að magn af gögnum í vél starfsmaður þinn. Í því tilfelli hvað myndir þú gera? Jæja við gætum litið á að kalla á staðnum gögn miðlara, en þetta gæti valdið mál með netið. Í þessu tilfelli er net kerfi eins og það getur orðið óraunhæft að fela í umhverfi skrifstofu. Það getur líka verið að þú getur litið inn í aðra gangi áætlanir, til dæmis aðeins að kalla starfsmenn þína milli 8pm og 6am á hverju kvöldi og / eða throttling gögn uppspretta þess.

Flutningur á segjum gögn heimildum magn okkar til 100GB af gögnum. Jæja já það er töluvert af gögnum til að fara um netið á uppfærslu. Hvernig myndum við tryggja að við höfum nýjustu afrit af gögnum í þessu tilfelli? Rsync er möguleiki, en persónulega finnst með því að keyra nýjustu gögn fengið þinn á starf vinnslu miðlara og setja þetta upp sem skipstjóri í eftirmyndun (með fallegu langan bin log) gæti verið leið til að fara:

Með því að setja hvern starfsmanna upp sem þræll að stjórna vinnu miðlara breytingar á gögnum heimildum þínum mun trickle niður fallega til starfsmanna án þess að mikið aukningu á virkni net (sem er nema þú framkvæma a gríðarstór gögn uppfærslu og allir starfsmenn þínir sparka í í einu). Þetta hefur yfirburði yfir rsync í að þú viljir ekki fá langt hlé fyrir hvert starf, sem gagnasafn endurnýja, að MySQL púkinn á starfsmann þinn mun stöðugt að uppfæra gögn á meðan vinnsla áfram.

Þetta er hvernig ég setja upp sýning vefþjóninum mínum. Til að setja upp afritunar Ég fylgdi leiðbeiningunum á MySQL staður ( Uppsetning afritunar ) og innan 20 mínútna sem ég hafði inital starfsmann minn afrit stjórn starf netþjóna DataSet. Fyrir hvern starfsmann á afritunar stillingar og ferli vann í hvert sinn þegar VM var afrituð.

Yfirlit

Í þessum hluta greinarinnar sem við höfum litið á hversu auðvelt og sársaukalaust það er að halda vinnslu kóðann þinn upp til dagsetning með using rsync eða subverion gr SVN) til að vinna verk og draga net umferð á sama time. Við ræddum einnig hvernig að halda gögn uppspretta upplýsinga upp-til-dagsetning með því að leyfa það að seytla niður til hver af starfsmönnum þínum. Þannig að við svæði að tryggja að við höldum upp með rökfræði fyrirtæki og upplýsingar í skrifstofu rist kerfi okkar. Það mun augljóslega vera ótal kostir til að sinna þessum verkefnum, en hér voru tvær einfaldar dæmi til að sýna hversu auðvelt lausn er að koma með.

Næst þegar

Í síðasta hluta þessa röð, viðeigandi hét Hluti 5 , munum við ræða að beita þessu kerfi fyrir. Ég draga það hefur verið lært og það sem ég náði að búa til.

Athugasemdir (1)

Með því að Steven Lloyd Watkin og föstudagur 4. desember 2009 11:23 pm

Inngangur

Ég vinn í fyrirtæki þar sem við keyra mörg störf Runuvinnsla milljónir gagna af gögnum á hverjum degi og ég hef verið að hugsa undanfarið um allar vélar sem sitja í kring á hverjum degi að gera ekki neitt í nokkrar klukkustundir. Væri ekki gott ef við gætum notað þær vélar til að efla vinnslu kraft kerfi okkar? Í þessu mengi greina sem ég ætla að líta á hugsanlegum ávinningi af ráðningu skrifstofu rist með virtualised umhverfi.

Sem PHP forritari ég ætla að nota verkfæri sem ég nota á hverjum degi þ.e., Linux, MySQL , PHP, Raunverulegur og niðurrifsstarfsemi (SVN). En ég vona að þessi handbók mun laga sig að öðrum tungumálum og tækni eins og heilbrigður.

Lausnin sem ég afla verður mjög lauslega byggð á tegund vinnslu við þyrftum að ná þó þetta getur ekki verið satt í gegnum allt hlutur sem ég breyta hlutum fyrir einfaldleika, eða að framleiða fleiri áhugaverða notkun atburðarás.

Þessar virtualised umhverfi mun keyra á Windows vél þar sem þetta er það sem meirihluti skrifstofur hlaupa. Vinnslu að Skrifstofuvélar gera ætti ekki að trufla starfsfólk með þessum vélum ætti að þurfa ekki viðhald á vélinni, og vera auðveldlega deployable nýjum vélum sem þeir verða í boði. Einnig nýr raunverulegur vél ætti ekki að þurfa frekari stillingar sem þetta dregur verulega úr sveigjanleika og vellíðan þar sem rist kerfi er hægt að framlengja.

Hvers vegna Dreifa að Computing Skrifstofa Tafla?

Í fyrsta lagi getur þú verið að hugsa, hvers vegna ekki bara að nota computing ský auðlind eins og EC2 pallur Amazon ? Jæja ástæður gætu verið nokkur, td:

• Þú munt ekki fela ákveðnar upplýsingar í tölvunarfræði ský umhverfi
• Þú getur ekki sett ákveðin gögn í tölvunarfræði ský umhverfi fyrir lagalegum ástæðum (td gögn yfirgefa landið), hugsanlega fyrir lagalegum ástæðum, td NHS records.
• Þú vilt halda vinnslu einingar þinn loka og hafa fulla stjórn á vélbúnaði of
• Þú hefur ekki verkefni fjármagn til að keyra ský dæmi
• Skrifstofu hefur ekki tengingu við netið og því ekki hægt til þess að nota ský síðu
• Þú líkar ekki rigning, ský benda regn, því þú haldir vel í burtu

Ég er viss um að listinn gæti haldið áfram, en ég held að það nóg í bili.

Kostir við Computing Office Grid

Jæja leyfir, gera sumir stærðfræði (og í réttu eðlisfræði stíl lætur gera nokkrar umfangsmiklar forsendur). Ímyndaðu þér að þú ert stór Beefy vinnslu framreiðslumaður hlaupandi 100 störf á dag. Í skrifstofu þú hefur 50 vélar sem eru aðgerðalaus 16 tímar á dag, hver af þessum vélum er 10% eins og öflugur eins Beefy vinnslu skera þinn. (Allar niðurstöður hér eru ávalar til að vanmeta árangur aukning).

Svo, 1 vél * 10% völd * 2/3 tíma = 0,067, þ.e. 1 skrifborð vinnslu á aðgerðalaus tíma geta afgreitt 6 fullri vinnu á dag.

Ef þú mælikvarði nú þetta upp og það tekur 15 aðgerðalaus skjáborð til að vinna eins mörg störf á dag sem helstu vinnslu netþjóninn gerir.

Svo í þykjast skrifstofu okkar 50 vél við gætum aukið vinnslugetu okkar frá 1. miðlara allt að 4 full netþjóna vinnslu, eða við gætum verið að afgreiða 400 störf á dag í stað 100.

Tilkynning, því að enginn fjárfestingu í nýjum vélbúnaði fyrirtæki þitt hefur bara aukist Runuvinnsla getu sína 4 sinnum! Hugsanlega þú ert að fara að auka vald notkun þína, en frá flestum skrifstofu umhverfi sem ég hef verið að vélar eru almennt vinstri á einni nóttu engu að síður, svo þú gætir séð þetta sem græna frumkvæði.

Aðrir kostir þýða einnig að fjárfesting í nýjum (eða uppfæra) vinnsla framreiðslumaður geta tafist ef Skrifstofuvélar þínar eru fullnægjandi og að eins og þú bæta kraft vélum skrifstofu skrifstofu rist þitt verða öflugri sjálfkrafa.

Tækni

Það sem þú þarft? (Eða réttara hvað gerði ég nota):

• Idle vélar skrifstofa (í minn tilfelli a vara gamall gluggakista XP laptop)
• Raunverulegur (eða annar viðskiptavinur virtualisation hugbúnaður)
• A raunverulegur vél með PHP, MySQL running keyra skera niður OS, ég kalla þessar mínum Limp netþjóna :)
• Algengar til að keyra
• Atvinna miðlara (getur verið annar raunverulegur vél einhvers staðar)

Dæmigert Algengar

Þær gerðir af störfum að þetta kerfi er hannað til að keyra er sem hér segir:

• Kerfi fær lista af gögnum á sem við þurfum að passa og skila niðurstöðum
• Lokað felur haka / leita nokkrum (frekar truflanir) gögn heimildir
• Niðurstöður úr heimildum gögn getur krafist frekari staðfestingu, samruna, eftirlit með viðbótar gögnum heimildum til að bregðast við niðurstöðum
• Gögn er skilað með samsvarandi færslur, að fullu staðfest og unnin
• Hver færsla innan starf er óháð öðrum

Svo í rauninni erum við að horfa á gangi störf sem krefjast blöndu af leit gagnagrunninum og sumir tala marrinu í völsunum og nokkuð dæmigerður atburðarás í rekstrarumhverfi.

Tafla lausnir eru ekki einungis gagnleg fyrir vinnslu störf af þessu tagi. Í grundvallaratriðum, getur einhver aðferð sem hægt er að skipta í sjálfstæðar einingar að keyra samhliða. Sjá Wikipedia fyrir dæmi og frekari upplýsingar: Tafla Computing , en a par af fræga dæmi eru Seti @ Home og BIONC . Það eru ramma fyrir að keyra computing grids, og þetta eru vel þess virði að skoða.

Hvað munum við ná?

Í lok þessara greinar Ég vona að sýna að beita skrifstofu rist þarf ekki að vera gríðarlega dýrt eða tímafrekt. Ég ætla að ræða:

• Uppsetning stjórn starf kerfi, starf stillingar
• Búa til viðeigandi vinnslu raunverulegur vél
• Hvernig á að setja upp kerfi á Windows vél
• Tryggja þú ert að nota nýjustu kóða og gögn
• Dreifing og kvóti
• Horft fram á veginn

Ég ætla að byggja (ok ég byggt, þá skrifaði þetta) dæmi forrit til að prófa hugmyndir á vél með Windows XP og minn 'GridMachine "raunverulegur vél. Starf stjórna framreiðslumaður minn mun vera aðal vél mín sem keyrir Fedora 11 .

Þetta er á engan hátt ætlað að sýna fram á fullu að vinna öflugt kerfi, þess ætlað meira á kynningu og umræðu sem sýnir að þetta er hægt að ná í tiltölulega skömmum tíma og á litlum tilkostnaði. Vinsamlegast ekki hika við að senda mér einhverjar athugasemdir, leiðréttingar eða úrbætur og ég mun gera mitt besta til að halda þessa grein uppfærð til að passa.

Næst þegar

Í hluta 2 mun ég byrja á því að horfa á stjórn starf kerfi, og líta inn í hvernig störf skal stilla til að ná mesta magn af vinnslu á meðan að tryggja að hvert starf er unnið án þess að mistakast.

Athugasemdir (1)

Með því að Steven Lloyd Watkin og föstudagur 4. desember 2009 11:23 pm

Inngangur

Ég vinn í fyrirtæki þar sem við keyra mörg störf Runuvinnsla milljónir gagna af gögnum á hverjum degi og ég hef verið að hugsa undanfarið um allar vélar sem sitja í kring á hverjum degi að gera ekki neitt í nokkrar klukkustundir. Væri ekki gott ef við gætum notað þær vélar til að efla vinnslu kraft kerfi okkar? Í þessu mengi greina sem ég ætla að líta á hugsanlegum ávinningi af ráðningu skrifstofu rist með virtualised umhverfi.

Í hluta 1 ég gaf yfirlit yfir kerfi og tækni sem ég mun nota eins og heilbrigður eins og rætt sumir af mögulegum ástæðum hvers vegna þú vilt að búa til skrifstofu rist.

Job Control

Ef þú ert að fara að keyra störf þá þú ert að fara að þurfa einhverja leið til að stjórna þeim. Starf eftirlitskerfi þín (á þjóninum starfsumsókn) þarf að vera virkilega vel hugsað út fyrir jafnvel að reyna að keyra skrifstofu rist. Svo í fyrsta lagi, hver eru verkefni fyrir stjórn starf kerfi:

• Skilið út störf að beiðni starfsmanna
• Segðu starfsmenn hvaða tegund af störf til að keyra
• Track störf
• Að tryggja að störf eru aðeins keyra einu sinni
• Veita starf gögn til starfsmanna, eða að minnsta kosti segja þeim hvar á að fá það

Kerfið þarf einnig að vera teygjanlegur, lausn sem virkar fyrir nú í einu tilviki er heimilt að framlengja til að keyra nokkrar tegundir af störfum sem fyrirtæki sér gildi í töflu lausn. Til dæmis, störf má fá forgangsröðun, fleiri en eitt starf tegund getur verið (þ.e. margar undirstöður númer), að lokum getur þú jafnvel hlaupa nokkrum mismunandi véla starfsmaður sem eru bjartsýni fyrir hverja tegund vinnu (þó að það er flutt í burtu frá the 'almenna starfsmann "Hugmyndin). Alltaf að reyna að hugsa um framtíðina þegar að þróa kerfi, til skamms tíma sýn getur leitt til lengri tíma gremju og aukinni þróun tíma.

Atvinna Server

Við erum að fara að þurfa einhvers staðar að stjórna störf okkar frá, ætti þetta að vera eina kerfið á rist þinn sem hefur fasta úrræði Locator, vera að IP tölu, gestgjafi nafn, slóð (með innri DNS) o.fl. Þetta er vegna þess að starfsmenn þurfa að vita hvar á að leita að starfi, þarf starfsmenn til að finna stjórn starf kerfi (ekki stjórna starf kerfi finna starfsmenn).

Starfið framreiðslumaður sig ekki í raun hafa flókið verkefni (í grunn kerfi einhvern veginn), þarf það að geyma lista yfir störf, hönd út störf, fá niðurstöður, og síðan vista þær til síðari sókn. Hvernig þessir hlutir ('hönd út Jobs "eins) eru skilgreindar getur verið mjög einfalt. Seinna getum við lengja kerfið til að fela í sér gjöf tengi til að bæta við, breyta, eyða, fresta störfum en þetta er handan þessa æfingu.

Það er engin ástæða alls þá sem starf framreiðslumaður þín gæti ekki verið raunverulegur vél í gangi innan helstu vinnslu miðlara enda er ekki holræsi of margar auðlindir frá því. Starfið framreiðslumaður þó hefur þurft mikið framboð, ef það fer niður á föstudagskvöldi þú ert að fara að missa allt helgi vinnslu, hugsanlega kosta þig nokkrar vikur virði af tíma vinnslu (í samanburði við helstu vinnslu miðlara eingöngu) . Þú vilt kannski að íhuga að setja starf miðlara á hlaða jafnvægi umhverfi fyrir hár framboð.

Basic Setup

Grunn skipulag fyrir miðlara starf okkar mun samanstanda af því sem ég kalla einn af Limp netþjónum mínum (sem er Li nux, m ySql, P HP). Kóðinn í gangi á Thea starfsmenn vilja raunverulega vinna út hvað störf það er hægt að keyra í gegnum samskipti við með starf stjórna kerfi gagnagrunna. Síðar við gætum búið til vefur þjónustu og í raun hendinni út störf frekar en að þurfa starfsmenn að gera vinnu sig, en nú munum við halda áfram að nota KISS meginreglu (Hafðu það einfalt, Stupid!).

Svo leyfir, að búa til þrjú mySQL töflur til að takast á við störf. Þetta mun vera `störf`, `jobRecords` og `jobResults`.

Hér ég er að nota SQL Buddy a mikill lítill val til phpMyAdmin bara vegna þess að auðveldara þess að setja á CentOS (fyrir aðra sjá: 10 Great val til phpMyAdmin )

Þessi tafla samanstendur af 5 einföldum sviðum,

• id: Einstaklega finna starf
• Nafn: Gæti verið viðskiptavinur tilvísun, eða allir tala af öðrum auðkennum
• Staða: Þú þarft að vita hvar starfið er á, td
  • 0: Ekki byrja
  • 1: sóttir
  • 2: Lokið
• started_by: Hver er byrjað að gera í vinnunni? Þetta er ekki alveg nauðsynlegt en er gott að hafa. Ég vil benda mælingar starfsmenn með IP tölu þeirra á netið
• started_at: Hvenær starfsmaður hefja starf? Með því að fylgjast með störf sem ekki hafa lokið innan X tíma og við vitum að við þurfum að taka upp starf aftur og byrja vinnslu af öðrum starfsmanni. Starfsmenn gætu hætt vinnslu / go ótengdur fyrir af ýmsum ástæðum, máttur bilun, hrun, net tap, o.fl.

Það er auðvelt hvernig þessi tafla gæti verið framlengdur með nokkrum fleiri sviðum til að leyfa fyrir tölfræði virka, tími klára dálki til að sjá hversu lengi starf tók, er gegn til að sjá hversu margir starfsmenn tóku upp starfið (augljóslega þetta þarf að hafa tilhneigingu til að 1), starf forgang, listinn getur farið á og á. Í flóknari vinnu tilfellum væri hægt að tilgreina hversu mikið minni starfsmaður þyrfti aðgang að (og því aðeins að nota viðeigandi starfsmenn), eða jafnvel hvaða tegund af starfsmanni væri nauðsynleg.

Lets bæta nokkrum störf dæmi:

Næsta tafla aftur er alveg einfalt að skilja, eru þetta starf færslur okkar. Þau eru tengd við helstu störf töflu með dálkum `jobs_id`. Að hringja upp á þessari töflu mjög mikið veltur á þeim gögnum sem þú þarft að veita starfsmönnum þínum, gerir þér kleift að gera mjög einfalt dæmi þar sem við höfum fjóra dálka:

• id: Auðkenni færslu
• Nafn: nafn viðkomandi
• Heimilisfang: heimilisfang viðkomandi
• jobs_id: Starfið auðkenni sem þessi færsla er tengd við

Þriðja og síðasta borð samanstendur af niðurstöðunum, það hefur mikið sama að gera upp og færslur borð okkar, og með því að bæta við nokkrum dálkum gæti verið hluti af færslur töflu:

• job_record_id: Link niðurstöðu að starf borð
• Niðurstaðan: niðurstöðu gögn

... Og það er allt sem þú þarft að stjórna vinnu! (Að vísu á mjög undirstöðu stig) Í mínu tilfelli ég benti á annað borð þar sem gögn mín aðferð var staðsett, en þetta gæti alveg eins auðveldlega verið skrá, breytur til að keyra uppgerð kóða, nefndu það.

Val á starfi

Eins og áður segir, að starfsmenn vilja gera starf stjórnenda okkar fyrir okkur nú, svo er allt sem við þurfum virkilega að gera að finna vinnu sem þarf úrvinnslu og fá upplýsingar. Hvernig myndum við gera þetta? Jæja velja starf valforsendur okkar og leita að starfi, í SQL Ég gerði eftirfarandi:

1. Taka allar störf sem eru ekki merkt sem lokið en frá starfsmanni okkar og endurstilla þá (í stað __ ME__ með heiti, einfaldasta væri IP heimilisfang):

     UPDATE `störf` SET `Staða` = 0 ÞAR `Staða` = 1 OG `started_by` = __ ME__; 

2. Notkun starf valforsendur okkar, velja starf og segja eftirlitskerfi sem þessi starfsmaður er að takast á við það:

     UPDATE `störf` SET `Staða` = 1, `started_by` = __ ME__, `started_at` = NÚNA () HVAR `Staða` = 0 EÐA
    (`Staða` = 1 OG `started_at`> DATE_SUB (nú (), bil X Hour)) Raða eftir `id` Svæðisþjónustu; 

   Með því að grípa störf sem ekki hafa skilað árangri í X tíma við að tryggja að öll störf eru að keyra ef starfsmanni hrun eða fara AWOL.

3. Næsta grípa störf upplýsingar fylgja með gögnum sjálfum:

     SELECT * FROM `störf` HVAR `started_by` = __ ME__ VIÐMIÐUNARMÖRK 1;
    SELECT * FROM `job_records` HVAR `id` = __ JOBID__; 

Að loknu starfi við að setja niðurstöðu Okkar og merkja starf sem lokið. Mundu svo störf geta svæfingu / vöknun hvenær leyfa einhverjum robustness í handritið. Það gæti verið að verkefni frestar hálfa leið í gegnum uppfærslu stjórn starf kerfi, svo haka við fjölda gagna í starfi og fjölda niðurstaðna vistuð aftur að stjórna vinnu kerfi myndi vera vitur hreyfa.

Að auki, á meðan þetta sýnir hvernig störf er hægt að velja og stjórnað frá SQL-fyrirspurn ramma sem þú ættir virkilega að abstracting starf stjórn þannig að ef þú ákveður að skipta yfir í að nota vefur þjónusta, skrá undirstaða kerfi, XML , eða einhver önnur fjöldi kerfa mun það ekki hafa áhrif á kóðann hér að ofan.

Atvinna Stillingar

Næsta þáttur til íhuga er starf stærð og stillingar. Með því að spila með stillingum starf við getum slá mjög gott jafnvægi milli hraða, ferli afritunar og áreiðanleika. Taktu of nokkra atburðarás:

1. Algengar taka 1 dag hvern til að keyra: Þetta þýðir að starfsmenn þínir þurfa 15 daga til að vinna hvert starf (muna 10% af krafti fyrir 2/3rds í tíma). Þetta er greinilega ekki vitur stillingar, starf stærð er alltof stór! Það myndi taka að minnsta kosti tvöfalt tíma til að fá starf unnið að fyrstu starfsmaður fara AWOL (tími til að ná upp að það hefur ekki skilað niðurstöðu auk endurvinnslu tíma). Í hugsjón sem þú vilt hafa að minnsta kosti einn fullan vinnu auðveldlega bjartur í lok hvers langs aðgerðalaus tíma, þannig að þú halda störf tjalddúkur yfir og í versta falli ef starf myndi taka tvo daga að vinna ætti að fara fyrst vantar.
2. Algengar taka 1 mínútu til að keyra: Þetta þýðir að starfsmenn þínir taka um 15 mínútur að keyra hvert starf. Þó að þetta getur í upphafi virðast hugsjón, þú fá frekari vinnu vinnslu á hádeginu og kaffitíma og fundir o.fl. Þessi atburðarás setur álag á öðrum sviðum kerfisins og kynnir eigin vandamálum sínum. Til dæmis, í fyrsta lagi skipulag / vinnsla tími hlutfall er að fara að fara rétt niður, því að tapa kerfi skilvirkni. Net er að fara að vera stöðugt streymi starf upplýsingar til ýmissa starfsmanna frustrating starfsmanna sem eru dó þeirra dagur til dags vinnu. Þú ert líka að fara að setja meira álag á starf vinnslu miðlara sem það hefur að fat út fullt og fullt af litlum bitum af vinnu með reglulegu millibili. Loks, í þessu ástandi ef starf netþjóninn fer niður þú ert að fara að búa til mikið aftur yfir það uncompleted vinnu en stærri störf gæti áframhaldandi vinnslu í sátt og samlyndi ókunnugt um að starfið framreiðslumaður var í vandræðum.

Í raun og veru verður enginn kjörinn stillingar fyrir uppsetningu rist þitt, mikið veltur á fyrirliggjandi úrræði, gerðir af vinnu, starf afgreiðslutími kröfur, net hæfileiki, og svo framvegis. Hins vegar nokkrar leiðbeiningar væru:

• Stærð störf þannig að hver starfsmaður getur fengið í gegnum að minnsta kosti 3-4 störfum á tímabili 15 klst lengsta líklegt aðgerðalaus tímabil)
• Spila með starf stærð þannig að skipulag tíma verður nokkuð óveruleg samanborið við vinnslu tíma gr ber í huga að ofan benda).
• Ef starf er ekki lokið í tvöfalt tíma (kannski minna) þú ætlast það til að ljúka því gera ráð fyrir að gengið AWOL hennar og byrja að vinna það með öðrum starfsmanni. Þetta þýðir að þú gætir þurft að bíða í allt að þrisvar sinnum eðlilega lengd vinnu fyrir það að ljúka (hugsanlega lengur ef síðari starf ekki). Þú vilt kannski að draga úr þessum tíma, en vera varkár ekki til að draga það of mikið og þú getur byrjað að endurtaka vinnslu verkefna með reglulegu millibili.
• Algengar ætti að vera óháð utanaðkomandi kröfum eins mikið og mögulegt er. Starfið miðlara, til dæmis, ætti aðeins að hafa samband í upphafi og lok hvert starf.
• Ekki saturate ekki net, þetta mun hafa tvær neikvæð áhrif, daginn starfsfólk mun finna með því að nota net pirrandi og vandamál geta komið fram við tengingar tímasetja út vandamál sem mun aðeins versna og þú mælikvarði rist þinn.
• Tryggja störf geta keyrt á starfsmenn þínum. Ef störf verða of minni ákafur eða diskur rúm ákafur störf hefst Hætti og það eina sem þú munt taka eftir er dropi í fjölda starfa unnin með enginn raunverulegur ástæðu hvers vegna.

Sendi Niðurstöður atvinnuleit

Þegar að senda inn niðurstöður vinnu er mikilvægt að athuga að árangur hefur ekki verið lögð fram af öðrum starfsmanni, sérstaklega ef núverandi starfsmaður hefur verið sofandi um nokkurt skeið.

Þegar niðurstöður eru lagðar að tryggja að fjöldi niðurstaðna samsvarar fjölda gagna innan starfi.

Eins og áður segir, og má ekki vera yfir áherslu, byggja kenna umburðarlyndi í sókn starf og niðurstöður uppgjöf. Starfsmenn geta (og líklega verður) að fara inn fresta háttur á the óþægilegur sinnum og þetta þarf að vera veitingamaður fyrir. Einnig ný abstracting burtu úrslit senda inn mun hjálpa koma til móts við um breytingar á starfi stjórna vélinni þinni miklu auðveldara að takast á við.

Yfirlit

Í þessu section höfum við litið á það sem stjórnkerfi starf miðlara þarf að gera og hvernig á að fá mjög einfalt kerfi sett upp. Við ræddum hvernig á að sækja vinnu frá eftirlitskerfi og hvernig best sé að stilla störf til að fá sem mest okkar á skrifstofu rist kerfi. Til að ljúka, var málsgrein eða tveir á að senda niðurstöður til baka til að stjórna vinnu miðlara fram.

• A stjórna starf miðlara stýrir störfum og tryggir að öll vinna einingar er lokið
• Með abstracting starf velja / niðurstöður uppgjöf við getum breytt tækni stjórna miðlara án þess að mikið vandamál
• Stilla störf til að tryggja að þeir eru að keyra hratt og vel án þess að setja of mikið álag á innviði net, og án þess að endurtaka vinnslu verkefna með reglulegu millibili.
• Gakktu úr skugga um að þú byggir kenna umburðarlyndi og villa checking í venjur þínar, starfsmenn geta stöðvað og haldið áfram og mest óþægilegur sinnum. Mundu að athuga hvort árangur hefur þegar verið lögð fram af öðrum starfsmanni.

Næst þegar

Í 3. hluta munum við búa til raunverulegur vinnsla vél okkar og setja upp Windows vélar okkar til að verða aðgerðalaus-tími starfsmenn.

Athugasemdir (3)

Með því að Steven Lloyd Watkin og föstudagur 4. desember 2009 11:03 pm

Inngangur

Ég vinn í fyrirtæki þar sem við keyra mörg störf Runuvinnsla milljónir gagna af gögnum á hverjum degi og ég hef verið að hugsa undanfarið um allar vélar sem sitja í kring á hverjum degi að gera ekki neitt í nokkrar klukkustundir. Væri ekki gott ef við gætum notað þær vélar til að efla vinnslu kraft kerfi okkar? Í þessu mengi greina sem ég ætla að líta á hugsanlegum ávinningi af ráðningu skrifstofu rist með virtualised umhverfi.

Í hluta 4 skoðuðum við að nota verkfæri til að tryggja að við erum að keyra nýjustu útgáfuna af kóða og gögn heimildum svo sem fengnar niðurstöður eru alltaf upp-til-dagsetning með nýjustu upplýsingar um fyrirtæki og rökfræði.

Pre-Dreifing

Áður en að beita rist kerfi ef það er einn hlutur sem þú gerir og einn hlutur einn það er kvóti núverandi kerfi! Sama hvað þú segir samstarfsmenn um hversu mikið auka vinna að kerfið þitt er að fara að gera nema þú hafa tölur til að styðja þetta upp tryggingar þínar eru ekkert. Svo,

• hversu margar færslur er hægt að vinna núna? Á dag? Á klukkustund?
• Hversu lengi tekur það yfirleitt að snúa að vinnu?
• Hversu mikið meira rúmtak þarft þú?

Það er líka fleiri spurningar:

• Ef vinnslu miðlara (eða einn af netþjónum vinnslu þinn) fer niður hvernig mun þetta hafa áhrif á getu þína, verður þú að vera örkumla?
• Hvaða kosti finnst þér vona / búist við að fá frá rist kerfi?
• Eru Skrifstofuvélar þín fær um að keyra á störf?
• Ert þinn (eða er hægt að störf að breyta) að wrok í þessum stíl í gangi?

Síðasta meiriháttar lið er að taka tíma á öllum helstu breytinga eins og þetta. Uppfæra vinnslu kóða til að vinna með nýja aðferðafræði og viðmið aftur. Hugsanlega að setja upp vinnslu miðlara til að keyra raunverulegur vél, eftir allt vinnslu miðlara verður bara að vera annar starfsmaður (bara mjög öflugur einn tiltölulega). Leyfa nýja aðferð til að leysa.

Dreifing

Tillaga mín væri að skjóta inn í skrifstofu einu helgi framkvæma allar innsetningar og uppsetningu. Gerðu þetta bara áður en frí tvær vikur og fara svo annað léleg springa til að takast á við afleiðingar ... kannski ekki ...

Dreifing fyrir kerfi eins og þetta þarf að vera hægt. Þrátt fyrir það að vera tiltölulega einfalt að setja upp þetta kerfi mun hafa áhrif á allt skrifstofu innviði þína (og the stafrænn einn). Í fyrsta lagi, rúlla út a par af vélum í einu, fylgjast með net umferð, hvernig starfsmanninum vélar framkvæma á degi til dags. Þú gætir þurft að breyta starf uppsetninguna til að bregðast við niðurstöðum þínum.

Þegar kerfið hefur leyst með nokkrum vélum (segjum 10% af öllum Skrifstofuvélar, þ.e. 5) halda eftirlit net umferð og gestgjafi vél performance. Næsta viðmið aftur, ættir þú nú að afgreiða 33% fleiri störf en fyrstu viðmið þína. Athugaðu að þetta er svo, eða að þú ert að minnsta kosti í þessu ballpark. Ef ekki, rannsaka hvað er að gerast áður en hann flutti á. Endurtaktu þetta hringrás þar til þú hamingjusamlega hafa öll Skrifstofuvélar keyra án þess að drepa einstaka vél árangur eða mala netið til kyrrstöðu.

Á öllum tímum að halda kvóti, jafnvel eftir að öll dreifing eru gerðar. Athugaðu hvernig nýjar uppfærslur kóða áhrif hraða kerfisins, athuga allar starfsmenn eru skýrslur í og ​​vinnslu störf. Hægt (mjög hægt) hækka starf stillingar til að fá það besta frá starfsmönnum og netið.

Hættu!

Hvað ef þú vilt hætta að starfsmenn þína frá að birtast á einhverjum tíma? Þau eru öll þarna í gangi, endurnýjun, og reyna sitt besta til að vinna úr gögnum eins svangur skordýr. Svarið kann að virðast augljóst, en þess virði að bæta bara í tilfelli gleymast þess. Einfaldlega breyta vinnslu handritið með brottför (0) eða deyja () eða einhver önnur staðhæfing að drepa vinnslu starf. Mikilvægt ástæða þess að við reynum alltaf að uppfæra í nýjustu vinnslu handrit áður en hlaupa!

Sýning Kerfi

Til að skrifa þennan hóp af stuttum greinum sem ég skapa mjög litla töflu til að sýna fram á tækni og aðferðafræði. Ég las fullt af greinum, námskeið, og nota ýmis verkfæri til að setja upp og fylgjast með hvað var að gerast. Alls ekki ég hef farið út og mettuð í heild skrifstofu með umferð og né hef ég haft aðgang að reglulegum starfsfólki tölvunni til að sjá hvernig vélin árangur var fyrir áhrifum.

Sýning kerfi minn var mjög auðmjúkur örugglega. Ég nota reglulega skrifborð mitt sett upp sem stjórna vinnu miðlara. Á þetta að ég hafði sett upp MySQL framreiðslumaður uppsett sett upp sem skipstjóri í afritunar, PHP , Â og SVN tengd í gegnum Apache (fyrir aðgang gegnum VM starfsmanna).

Ég bjó þá til CentOS starfsmanna vél á Raunverulegur á 6 ára gamla Windows XP laptop. Ég skipulag áætlunarflug verkefni eins og tilgreint er eftir að afrita VM inn á vél og láta það fara.

The raunverulegur vél var sett upp með PHP, niðurrifsstarfsemi og MySQL. Ég skoðaði út útibú sem heitir "starfsmaður" úr starfi stjórna framreiðslumaður minni geymsla og gerði viss um að það gæti verið uppfærð að nota 'SVN uppfærslu ". Næsta ég skipulag MySQL sem þræl og athugað þessi gögn var afrit af MySQL á stjórn starf miðlara niður að starfsmanninum VM. Eftir allt þetta, er ég setja upp bash handrit og cron starf.

Vinnslu handrit mitt fór í grundvallaratriðum á sömu nótum og þetta (mjög einfalt efni):

• Lesa í reitinn
• Taldi fjölda svipuðum nöfnum í töflunni frá gagnaheimild haldinn á VM
• Taldi fjölda nafna sem ofan en skipta nafni með rými, þ.e. eiginnafn, miðja, kenninafn)
• Endurtekin þetta ferli 1.000 sinnum

Hvert starf tók um það bil 20 mínútur að keyra. Á einum tímapunkti opnaði ég nokkur eintök af starfsmanninum VM á Windows fartölvu og horfði störf að athuga burt af hverju IP starfsmaður viðtakandi. Á þessum tímapunkti ég staðfesti einnig að afritunar sjálfkrafa aftur.

Keyrsla á fartölvu að aðgerðalaus leiddi í starfsmann að byrja að vinna störf frá stjórn starf miðlara. Þegar haldið áfram fartölvu notkun var seinkun um 30-60 sekúndur, þetta er heilmiklar tíma og starfsfólk þarf að vera meðvitaður um að vélin þeirra getur hvílt í stuttan tíma þegar aftur á vél. Nýrri vélar geta ekki hlé á þessu lengi. Ávinningur af fjárhæð vinnslu er gerð af þessum vélum á aðgerðalaus tíma myndi meira að vega þyngra en starfsmenn þurfa að bíða í stutta stund (td 1 mínútu) á að koma á vélum þeirra á morgun (ég bíða oft lengur að þessu fyrir Windows Defender uppfæra til að taka fram) að því tilskildu að þeir voru meðvitaðir um þetta (gagnlegt tími til að grípa morgun kaffi!).

Heildarstigagjöf Mér finnst viss um að ég hafi sýnt fram á þá tækni sem hægt væri að nota til að búa til slíkt kerfi. Ég hef sýnt að slíkt kerfi virkar á (mjög) litlum mæli og með meira tilraunir gæti verið minnkaðar upp nýta auðlindir af vélum skrifstofu félagsins. Ef ég fæ ekki að benda á að gera þetta ég væri mjög áhugavert að vita / sjá þegar einhver annar það.

Ályktanir / mat

Næsta augljóst skref væri að raunverulega fá a raunverulegur veröld dæmi og byrja að senda á vettvang kerfi eins og þetta innan skrifstofu umhverfi og sjá hvað gerist. Spyrja fyrirtæki til að skuldbinda sig til að þetta án slóð logandi fyrirtæki til að sanna tækni og skilvirkni getur verið svolítið erfitt. Tafla / Úthluta computing er mjög vinsæll er sumum hópum og hefur einhverja stór forrit (BIONC, SETI @ Home, Folding @ home, osfrv.) Ég vissi hins vegar ekki að finna í minni mæli og einföld kerfi eins og þetta í leitum mínum gæti verið að vals út innan skrifstofu umhverfi.

Ég bjó til í grundvallaratriðum frjáls kerfi með mestu opinn hugbúnað og tiltæk tól í nánast hvaða starfi. The tækni var í rauninni sýnt fram á og sýna að framkvæma og vinna eins og búast mætti ​​við. Vonandi hef ég sýna að við ekki mikillar vinnu og með mjög einfalda uppsetningu þú geta sent á rist skrifstofu computing kerfi sem er öflugt, ódýr, Â og stigstærð allt á sama tíma.

Þegar er kerfi upp og keyra það er nánast enginn endir til the magn af customization og úrbætur sem þú getur gert. Fyrir tölfræði td / kvóti getur auðveldlega bætt sýnir virði slíkt kerfi á hverjum degi. Ný vél er hægt að bæta fljótt og auðveldlega eins og þegar þeir koma með uppfærslu á núverandi vélbúnaði efla vinnsla máttur þinn.

Ég vona að þú hafir gaman af að lesa þessa röð af greinum og þess gefa þér mat fyrir hugsun á að keyra rist skrifstofu kerfi. Lausnin sem hér munu ekki endilega virka í öllum tilfellum en ættu að vera að laga til að leyfa þér að fá gagnavinnslu þinn gert með þína eigin lausn.

Vinsamlegast ekki hika við að senda mér einhverjar athugasemdir, leiðréttingar eða úrbætur og ég mun gera mitt besta til að halda þessa grein uppfærð til að passa.