Comments (3)

Ag Steven Lloyd Watkin , Dé hAoine 4 Nollaig, 2009 23:37

Réamhrá

Tá mé ag obair i gcuideachta a áit a reáchtáil againn go leor poist baisce a phróiseáil na milliúin ar thaifid sonraí gach lá agus mé ag smaoineamh le déanaí faoi na meaisíní go suí thart agus gach lá ag déanamh aon rud le haghaidh roinnt uaireanta. Ní bheadh ​​sé go maith dá mbeadh muid úsáid as na meaisíní a threisiú an chumhacht a phróiseáil ar ár gcórais? Sa tsraith airteagal mé ag dul chun breathnú ar na tairbhí féideartha a fhostú oifig greille úsáid a bhaint as timpeallachtaí virtualised.

Sa chuid 2 d'fhéachamar ar na poist a bheidh ar fhreastalaí a reáchtáil, agus conas ba chóir poist a chumrú chun an méid is mó a bhaint amach de phróiseáil ag an am céanna a chinntiú go bhfuil gach post a phróiseáil gan teip.

A chur ar bun do oibrí - nó freastalaí limp

Is é an chéad chéim eile sa phróiseas a chur ar bun do oibrithe fíorúil. Chun seo tá mé ag dul a úsáid suiteáil centOS ag baint úsáide as VirtualBox. Mé ag dul a shuiteáil MySQL agus PHP ar an bhfreastalaí, ar a dtugtar freisin mar limp (Li nux, m ySQL, HP P) Server (is féidir liom a bheith déanta go ainm suas).

• Suiteáil VirtualBox ar do ríomhaire fuinneoga (nasc lean)
• Íoslódáil agus a shuiteáil centOS (reatha leagan 5.3) laistigh de mheaisín a cruthaíodh fíorúil

Níl aon pointe ag dul dom seo níl dócha 1000 's na ranganna teagaisc mór amach ann (is ceart go leor, anseo ná: Cruthú agus Managing centOS fíorúil meaisín faoi virtualbox ). Is é an pointe tábhachtach a thabhairt faoi deara docha gur iarr mé mo meaisín fíorúil GridMachine.

Chomh fada is a théann mo roghanna de chliaint fíorúlú agus córas oibriúcháin níl aon chúis láidre mór do gach rogha. Tá rud éigin VirtualBox úsáid mé ar mo meaisín bhaile agus le tacaíocht ó na trí chóras oibriúcháin móra. Roghnaigh mé centOS mar OS lena maith cobhsaí agus a úsáid mé é ar mo fhreastalaí gréasáin féin. Creidim go mór i na huirlisí ceart don phost (cé go bhfuil mé ag cur isteach 'a bhaint as an tapúla agus is éasca chun tú a' mentality anseo), mar sin má ritheann córas oibriúcháin X do chód níos tapúla agus níos éifeachtaí a úsáid in ionad :)

Ba mhaith tábhachtaí a dhéanamh cinnte go n-úsáideann do VM DHCP, ar shlí eile le haghaidh gach meaisín nua fíorúil gá iad a chumrú ar leithligh a bhfuil rud éigin nach bhfuil muid ag baint úsáide as want.By DHCP ní mór dúinn a chumrú suíomhanna líonra ina n-aonar do mheaisíní oibrí, beidh DHCP lámh amach SPÉ ar do shon. Dá bhrí sin, is féidir leat cóip do mheaisín fíorúil mar gheall ar an oifig gan a bheith buartha faoi shocrú gach ceann suas (seo a fheabhsaíonn scalability agus laghdaíonn riarachán oibrí).

Ba mhaith leis an bpróiseas ba chóir duit é is aidhm a bhaint amach a bheith a fháil meaisín nua fisiciúil, shuiteáil VirtualBox, agus ansin go leor i bhfad ar an íomhá fhíorúil a imscaradh gan mórán eile. B'fhéidir go mbeadh sé ciallmhar a thus do gach oibrí ar subnet éagsúla ionas gur féidir leat ar a laghad a fheiceáil conas a lán meaisíní ag rith. Beidh ort freisin a chur ar bun do mheaisíní ar léas fada nó neamhtheoranta léas DHCP.

Conas Poist reáchtáil ar an oibrí

Is réimse é seo spéisiúil agus tá modhanna éagsúla bailí le haghaidh post a phróiseáil ar an oibrí. Anseo beidh mé ag plé a dhéanamh ach an bheirt is soiléire:

• Perpetually reáchtáil script: A script, go mbeadh sé script bhlaosc, nó script PHP Tá báis uair amháin ar an oibrí agus ritheann mar chuid de lúb gan teorainn. Tá mé lascainiú an modh seo mar cheann de tuairteála an script agus d'fhéadfadh a bheidh do oibrithe d'fheidhm a reáchtáil gan éigin de idirghabhála.
• Forghníomhú Cron script bhunaithe: Gach nóiméad X thosaíonn an deamhan cron amach le glao ar do script a fháil ar rudaí ag dul. Gan seiceáil éigin d'fhéadfadh sé seo mar thoradh ar go leor cóipeanna a lán de do rith script oibrí.

Mo cinneadh chun dul leis cron a thosaíonn script bhlaosc gach minutes. 10 fheidhmíonn mo script bhlaosc na cúraimí seo a leanas:

1. Faigh liosta phróiseas seo agus grep for 'php'. Más rud é nach bhfuarthas ar aghaidh ansin.
2. Cuir glaoch ar do cód poist, i mo chás go mbeadh sé seo a bheith PHP rud atá bunaithe
3. Críochnaíonn script Oibrí a reáchtáil
4. Réidh le dul arís ar an chéad ghlaoch eile cuí

Breathnaíonn Mo script bash rud éigin cosúil leis an méid seo a leanas:

  #! / Bin / sh
 má ps tua | grep-v grep | grep php> / dev / null
 ansin
     macalla "Tá Poist a phróiseáil faoi láthair, scoir"
 eile
     echo "Ní Poist ag rith, ag tosú anois"
     php yourJobProcessingScript.php
 fi 

Nóta: Tá an macalla ar beagnach pointless go hiomlán, ach d'fhéadfadh cabhrú leis an duine eile a thagann chomh maith chun iarracht a dhéanamh agus a chur in eagar iad.

Go gcinnfidh an bun ar an meaisín oibrí fíorúil, mear, simplí, agus éasca a chóipeáil do gach píosa nua crua-earraí atá faighte. Tá an 'cleverness' ar an gcóras eangaí nach bhfuil i ndáiríre an OS visualized, a go léir a dhéanamh leis an gcód a cruthaíodh go poist phróiseas, an chumraíocht phost, agus a chinntiú go ritheann an post nuair is cuí (ie nuair atá an óstach díomhaoin ).

A chur ar bun chun Windows Oibrithe Initialise

Is é an chéad tasc a oibriú amach an t-ordú a cheanglaítear a reáchtáil ar an meaisín fíorúil na n-orduithe fuinneoga. Má tá tú suiteáilte virtualBox sa suíomh réamhshocraithe agus atá tú ainmnithe do oibrí GridMachine Is ansin an t-ordú a cheanglaítear a luchtú suas do oibrí:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

Mar sin féin a reáchtáil an script i stát 'dícheannta' is gá dúinn a úsáid:

  "C: \ Program Files \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - vrdp = uaire 

Cuirfidh sé seo tús an meaisín fíorúil gan an GUI agus ligean dó stáit a shábháil gracefully. Casadh an argóint dara amach RDP mar sin ní dhéanann sé ar neamhréir le fuinneoga RDP, nó a thabhairt duit teachtaireacht faoi éisteacht ar chalafoirt 3389. Is é an t-ainm meaisín fíorúil cásíogair!

Next, beidh muid gá fuinneoga ar bun chun tús amach ár n-VM oibrí nuair a bheidh an meaisín a bhí díomhaoin. Chun seo a dhéanamh (ar Windows XP) beidh ort dul Start -> All Programs -> Accessories - Córas Uirlisí> -> Cúraimí Sceidealta mar seo thíos:

Next cliceáil ar 'Cuir Tasc Sceidealta' le leanúint ag brabhsáil a chur le clár saincheaptha. Navigate le do script VBoxManage agus cliceáil OK. Sceideal do chúram ar aon cheann de na roghanna (beidh muid ag athrú seo i nóiméad) agus ar aghaidh. Tar éis an scáileán seo chugainn beidh gan bacadh le fuinneoga iarrann tú ar mian leat a rith an tasc seo, ba mhaith liom a mholadh go 'Riarthóir' nó a chruthú i d'úsáideoir nua faoi phribhléid. Cuimhnigh nach bhfuil muid ag iarraidh cur isteach ar an gcuntas fhoireann caighdeán ar an meaisín ag aon phointe. Cliceáil seo chugainn agus roghanna seó chun cinn le haghaidh an tasc seo a sheiceáil.

Go dtí deireadh na textbox reáchtáil a chur ar ár 'startvm GridMachine' téad agus go reáchtáil a chinntiú ach nuair atá logáilte isteach atá fágtha unticked. Tabhair cuairt ar an tasc sceideal seo chugainn agus athrú ar an sceideal titim síos go dtí an rogha 'nuair díomhaoin', roghnaigh an méid ama gur mhaith leat an meaisín a bheith díomhaoin roimh bogadh ar aghaidh go dtí an cluaisín seo chugainn.

Ar deireadh untick an rogha a deir stop a chur leis an tasc má tá sé ag rith X méid ama, ach an rogha chun stop a chur leis an tasc má tá an meaisín a thuilleadh díomhaoin tic.

Sin é ansin don setup óstach fuinneoga!

Achoimre

Sa chuid seo ní mór dúinn a chur ar bun le meaisín fíorúil chun gníomhú mar oibrí, chomh maith leis an tslí a ghlaoch agus ár scripteanna próiseála post a fhorghníomhú (do féin script PHP). Ó anseo táimid ar conas a chur ar bun ar ár cóipeanna de na fuinneoga chun tús a chur suas ar an meaisín fíorúil i mód dícheannta nuair a thiocfaidh an ríomhaire díomhaoin, agus a shábháil ar a staid nuair a thosaíonn an t-úsáideoir úsáid an meaisín. Táimid dóchasach ag an bpointe seo tá tú ag féachaint ar conas simplí é a chur ar bun a leithéid de chóras agus tá siad itching a fháil ar roinnt turgnaimh ag dul duit féin!

An chéad uair eile

I gCuid 4 beidh muid ag breathnú ar uirlisí a úsáid chun a chinntiú go bhfuil tú ag rith an leagan is déanaí de na foinsí sonraí agus cód ionas go bhfuil torthaí a fuarthas i gcónaí cothrom le dáta an t-eolas is déanaí gnó agus loighic.

Comments (1)

Ag Steven Lloyd Watkin , Dé hAoine 4 Nollaig, 2009 11:23

Réamhrá

Tá mé ag obair i gcuideachta a áit a reáchtáil againn go leor poist baisce a phróiseáil na milliúin ar thaifid sonraí gach lá agus mé ag smaoineamh le déanaí faoi na meaisíní go suí thart agus gach lá ag déanamh aon rud le haghaidh roinnt uaireanta. Ní bheadh ​​sé go maith dá mbeadh muid úsáid as na meaisíní a threisiú an chumhacht a phróiseáil ar ár gcórais? Sa tsraith airteagal mé ag dul chun breathnú ar na tairbhí féideartha a fhostú oifig greille úsáid a bhaint as timpeallachtaí virtualised.

Mar PHP forbróir mé ag dul a úsáid uirlisí gur úsáid mé gach lá eadhon, Linux, MySQL , PHP, VirtualBox agus Subversion (SVN). Mar sin féin tá súil agam go mbeidh an treoir seo a oiriúnú do theangacha eile agus teicneolaíochtaí díreach chomh maith.

Beidh an réiteach a chur ar fáil dom a bheith an-loosely bunaithe ar an gcineál phróiseáil mhaith linn a bhaint amach, áfach, ní fhéadfadh sé seo a bheith fíor tríd an t-alt ar fad mar beidh mé rudaí a athrú ar mhaithe le simplíocht, nó le cásanna úsáid níos suimiúla a tháirgeadh.

Beidh na timpeallachtaí virtualised reáchtáil ar mheaisíní fuinneoga ós rud é an scéal seo an chuid is mó de na hoifigí a reáchtáil. Níor cheart an phróiseáil a dhéanamh ar na meaisíní oifige cur isteach leis an bhfoireann ag baint úsáide as na meaisíní Ba chóir, a cheangal ar aon chothabháil ag an inneall, agus a bheith go héasca imscaradh chun meaisíní nua de réir mar a thagann siad ar fáil. Chomh maith leis sin, níor chóir go fíorúil meaisíní nua a cheangal ar aon chumraíocht breise mar a laghdaíonn sé seo go mór leis an scalability agus éasca ag ar féidir an córas eangaí a leathnú.

Cén fáth a Scaipeadh ar Eangach Ríomhaireacht Oifig?

Gcéad dul síos is féidir leat a bheith ag smaoineamh nach bhfuil, cén fáth a úsáid ach mar acmhainn ríomhaireachta scamall mar ardán EC2 Amazon ar ? Bhuel d'fhéadfadh a bheith ar na cúiseanna éagsúla, mar shampla:

• Ní bheidh tú sonraí áirithe cúraim a chur ar timpeallacht ríomhaireachta scamall
• Ní féidir leat a chur sonraí áirithe isteach i dtimpeallacht ríomhaireachta scamall ar chúiseanna dlí (eg sonraí ag fágáil na tíre), d'fhéadfadh a bheith ar chúiseanna dlí, mar shampla, taifid NHS.
• Ba mhaith leat a choinneáil do aonaid phróiseála dhúnadh agus a bhfuil smacht iomlán na crua-earraí ró-
• Ní gá duit na cistí tionscadal a reáchtáil cásanna scamall
• Ní thacaíonn do oifig a bhfuil nasc leis an idirlíon agus dá bhrí sin nach féidir a úsáid a bhaint as acmhainn scamall
• Ní gá duit mhaith báistí, le fios scamaill báisteach, dá bhrí sin, go gcoinníonn tú go maith ar shiúl

Tá mé cinnte go bhféadfadh an liosta ar aghaidh, ach is dóigh liom go bhfuil go leor do anois.

Buntáistí d'Eangach Ríomhaireacht Oifig

Bhuel ligeann, a dhéanamh ar roinnt matamaitic (agus i stíl fisice fíor ligeann a dhéanamh ar roinnt boinn tuisceana scuabadh). Samhlaigh go bhfuil tú freastalaí próiseála mór beefy reáchtáil 100 post in aghaidh an lae. I do oifig tá tú 50 meaisíní atá díomhaoin 16 uair sa lá, tá gach ceann de na meaisíní 10% chomh cumhachtach mar do sever próiseáil beefy. (Gach torthaí anseo atá slánaithe go dtí underestimate méadú feidhmíochta).

Mar sin, 1 meaisín * chumhacht 10% * 2/3 = uair d'fhéadfadh 0.067 ie 1 phróiseáil deisce i am díomhaoin phróiseáil 6 poist iomlán in aghaidh an lae.

Má tá tú anois de réir scála seo suas go dtógann sé 15 deasc díomhaoin a phróiseáil post mar go leor in aghaidh an lae mar a dhéanann do fhreastalaí a phróiseáil is mó.

Mar sin, in ár n-oifig ligean ar 50 meaisíní gur féidir linn cur lenár cumhachta próiseála ó 1 freastalaí suas go dtí 4 freastalaithe a phróiseáil go hiomlán, nó a d'fhéadfadh muid a phróiseáil 400 post in aghaidh an lae in áit 100.

Fógra, tá ar aon infheistíocht i crua-earraí nua do chuideachta méadú díreach ar a cumas próiseála bhaisc 4 huaire! D'fhéadfadh a bhfuil tú ag dul chun cur le do chumhacht ach úsáid as timpeallachtaí oifig an chuid is mó bhí mé chun meaisíní a d'fhág go ginearálta ar aon nós thar oíche, mar sin d'fhéadfaí tú a fheiceáil seo mar thionscnamh glas.

Ciallaíonn buntáistí eile freisin, is féidir go bhfuil infheistíocht i nua (nó suas chun dáta) freastalaithe moill a phróiseáil má tá do meaisíní oifige agus go leor mar atá tú feabhas a chur ar an chumhacht do meaisíní oifige a thiocfaidh do greille oifig níos cumhachtaí go huathoibríoch.

Teicneolaíochtaí

Cad is gá duit? (Nó níos mó i gceart cad a rinne mé úsáid as):

• Meaisíní oifige díomhaoin (i mo chás a spártha d'aois Windows XP ríomhaire glúine)
• VirtualBox (nó eile bogearraí cliant fíorúlú)
• A meaisín fíorúil le PHP, MySQL running reáchtáil ghearradh síos OS, tá mé ag iarraidh na freastalaithe mo limp :)
• Poist a reáchtáil
• Freastalaí Poist (Is féidir a bheith eile meaisín fíorúil áit éigin)

Jobs tipiciúla

Na cineálacha poist go bhfuil an córas seo ceaptha chun a reáchtáil Is mar seo a leanas:

• Córas a fhaigheann liosta de na sonraí ar a bhfuil gá dúinn a mheaitseáil agus seol ar ais torthaí
• Meaitseáil i gceist le seiceáil / cuardach roinnt (go cothrom statach) foinsí sonraí
• Is féidir Torthaí ó fhoinsí sonraí a cheangal ar bhailíochtú breise, a chumasc, seiceáil ar fhoinsí sonraí breise mar fhreagra ar na torthaí
• Sonraí ar ais le taifid meaitseáil, go hiomlán bailíochtaithe agus a phróiseáil
• Tá gach taifead laistigh de post neamhspleách ar an gcuid eile

Mar sin, go bunúsach tá muid ag breathnú ar siúl post a éilíonn meascán de lookups bunachar sonraí agus roinnt crunching uimhir, le cás go cothrom tipiciúil i dtimpeallacht gnó.

Nach bhfuil réitigh Eangach ach amháin buntáiste as próiseáil post den chineál seo. Go bunúsach, is féidir aon phróis ar féidir iad a dheighilt i n-aonad neamhspleách a reáchtáil go comhuaineach. Féach ar seo wikipedia le haghaidh samplaí agus tuilleadh eolais a fháil: Ríomhaireacht Eangach , ach cúpla samplaí cáiliúil atá Seti @ Home agus BIONC . Tá creataí do rith ghreillí ríomhaireachta, agus tá siad fiú go maith ag breathnú isteach.

Cad a bhaint amach?

Faoi dheireadh na hairteagail seo tá súil agam chun a thaispeáint go imscaradh le greille oifig ní gá a bheith Tógann mór daor nó ama. Tá mé ag dul chun plé a dhéanamh:

• Bunú an córas rialaithe post, post cumraíocht
• Chruthú le meaisín próiseála iomchuí fíorúil
• Conas thus an gcóras ar meaisín fuinneoga
• A chinntiú go bhfuil tú ag baint úsáide as an cód is déanaí agus sonraí a
• Imlonnú agus tagarmharcáil
• Ag féachaint chun cinn

Beidh mé foirgneamh (OK tógadh mé, ansin scríobh seo) iarratas mar shampla, a thástáil ar na coincheapa ar meaisín áitiúil ag baint úsáide as Windows XP agus mo 'GridMachine' meaisín fíorúil. Beidh mo fhreastalaí a rialú post mo meaisín is mó a ritheann Fedora 11 .

Tá sé seo ar aon bhealach i gceist a léiriú go bhfuil córas go hiomlán ag obair go láidir, i gceist níos mó de a léiriú agus a phlé ag taispeáint gur féidir na rudaí seo a bhaint amach in achar réasúnta gearr ama agus ar chostas beag. Cuir glaoch a sheoladh chugam aon tuairimí, ceartúcháin, nó feabhsúcháin agus beidh mé mo dhícheall a choinneáil cothrom le dáta an Airteagal seo a mheaitseáil.

An chéad uair eile

Sa chuid 2 Beidh mé ag tosú ag féachaint ar an gcóras um rialú phost, agus breathnú ar conas ba chóir poist a chumrú chun an méid is mó a bhaint amach de phróiseáil ag an am céanna a chinntiú go bhfuil gach post a phróiseáil gan teip.