Fógraí clib: macasamhlú

Ríomhaireacht Eangach Oifig ag baint úsáide as timpeallachtaí Fíorúil - Cuid 4

Ag , Dé hAoine 4 Nollaig, 2009 11:59

Réamhrá

Tá mé ag obair i gcuideachta a áit a reáchtáil againn go leor poist baisce a phróiseáil na milliúin ar thaifid sonraí gach lá agus mé ag smaoineamh le déanaí faoi na meaisíní go suí thart agus gach lá ag déanamh aon rud le haghaidh roinnt uaireanta. Ní bheadh ​​sé go maith dá mbeadh muid úsáid as na meaisíní a threisiú an chumhacht a phróiseáil ar ár gcórais? Sa tsraith airteagal mé ag dul chun breathnú ar na tairbhí féideartha a fhostú oifig greille úsáid a bhaint as timpeallachtaí virtualised.

Sa chuid 3 cruthaithe againn ár n-inneall próiseála fíorúil agus arna chur ar bun meaisíní fuinneoga a bheith díomhaoin-am oibrithe.

Rith an cód is déanaí

Dosheachanta tar éis a chruthú do loighic gnó oibrithe Beidh athrú, beidh bugs a fháil, beidh cód níos tapúla níos éifeachtaí a thabhairt ar aird dá bhrí sin ag fágáil do oibrithe shuigh ar fud próiseáil sonraí ag baint úsáide as cód smelly d'aois . Conas is ansin is féidir linn a chinntiú go bhfuil muid ag baint úsáide as i gcónaí ar an leagan is déanaí agus is mó ar ár scripteanna a phróiseáil?

Tá roinnt bealaí an-éasca simplí gur féidir linn é seo a dhéanamh, an cleas, áfach, a laghdú cumhachta próiseála agus tráchta líonra seo a bhaint amach. Lets tús a chur leis an simplí ar réitigh agus é a fheabhsú go mall thar cúpla iterations.

Ba mhaith leis an modh chéad chun ceangal ach ar ár bhfreastalaí rialú post (via samba, FTP, nó a leithéid) agus tarraingt an leagan is déanaí den chód síos. Níl sé an-éifeachtach, ach beidh sé an jab a dhéanamh. Lets feabhas a chur ar an beagán, conas mar gheall ar a chruthú agus a úsáid go script rsync gach uair in ionad? Nó céard faoi a chur ar ár script is déanaí phróiseáil i Subversion seiceáil amach an cód ar dtús agus ansin ach thabhairt cothrom le dáta ár gcód ar gach reáchtáil ( SVN suas chun dáta )?

Sa deireadh d'fhéadfadh muid suas go deireadh le script bash (ar a dtugtar ag cron gach 10 nóiméad) a bhreathnaíonn chomh simplí agus is é seo:

  #! / Bin / sh
 má ps tua | grep-v grep | grep php > / dev / null
 ansin
     macalla "Tá Poist a phróiseáil faoi láthair, scoir"
 eile
     echo "Ní Poist ag rith, ag tosú anois"
     cd / cosán / a / ag obair / cóip
     SVN cothrom le dáta
     php yourJobProcessingScript.php
 fi 

Anois is féidir linn a bheith cinnte go bhfuil gach reáchtáil tá muid ag rith cinnte an cód is déanaí. Táimid ag cinntiú seo cothrom le dáta ag ár mbonn cód am gach uile a dhéanamh dúinn a reáchtáil agus a laghdú tráchta líonra ag aistriú ach amháin leis na difríochtaí comhad ar fud ár líonra.

I mo thus taispeántais, rinne mé díreach mar atá thuas. Suiteáladh freastalaí Subversion ar mo phost a phróiseáil agus tharraing mé ach an cód is déanaí ó bhrainse 'oibrí' ag baint úsáide as 'SVN cothrom le dáta'. Chuir mé chomh maith le roinnt tag leagan ar mo script próiseáil ar ais chuig an bunachar sonraí mar chuid den tuairisceán torthaí. Sa chaoi seo is féidir liom a fheiceáil go bhfuil mo cód bhí á thabhairt suas chun dáta gach uair a chóipeáil mé mo trunk isteach ie brainse oibrí go raibh mé ag rith cinnte an script a phróiseáil is déanaí.

Ag baint úsáide as na sonraí is déanaí

Má dhéanann próiseáil ar do phost a úsáid foinsí sonraí ansin ag pointe éigin ag dul go dtí seo cothrom le dáta freisin. Mura ghlaonn tú ar do fhoinsí sonraí ar bhonn an-neamhrialta bhfuil tú ag dul a tuile do líonra le trácht chomh luath agus is tús le do oibrithe a reáchtáil gach rud a thabhairt ar standstill. Do mo réiteach chinn mé gur mhaith liom bogadh mo foinsí sonraí ar fud le mo VMS.

Coinnigh tú capaill ann! Cad a tharlaíonn má tá mo foinsí sonraí ollmhór? Bhuel tá sé seo i ndáiríre ar chás an méid sonraí ag caint againn? D'fhéadfadh sé a bheith níos éifeachtaí ó thaobh costais a shuiteáil tiomáint crua breise níos mó i gach meaisín ná mar a cheannach freastalaí próiseála breise. Is é seo an cheist maidir le buiséad agus tá suas go dtí an gnó a chinneadh. Tá sé b'fhéidir go bhfuil do foinsí sonraí chomh mór a díreach unfeasible a choinneáil ar an méid sin de na sonraí i do mheaisíní oibrí. Sa chás sin, cad a dhéanfá? Bhuel féidir linn breathnú ar glaoch ar fhreastalaí sonraí áitiúil, ach d'fhéadfadh sé seo ceisteanna leis an líonra faoi deara. Sa chás seo, d'fhéadfadh córas eangaí mar seo a bheith réalaíoch a chur san áireamh i do dtimpeallacht oifige. B'fhéidir go mbeadh sé chomh maith gur féidir leat breathnú ar straitéisí malartacha a reáchtáil, mar shampla, ach glaoch ar d'oibrithe 20:00-06:00 gach oíche agus / nó iarratais ar shonraí throttling foinse.

Bogadh ar ligeann rá ár bhfoinsí sonraí méid a 100Gb na sonraí. Bhuel tá Tá go leor le beagán de shonraí a bhogadh ar fud an líonra ar cothrom le dáta. Conas a bheadh ​​againn a chinntiú go bhfuil muid ar an chóip is déanaí de na sonraí sa chás seo? Is Rsync an deis ann, ach go pearsanta Measaim go bhféadfadh ag reáchtáil do is déanaí foinse sonraí ar do fhreastalaí a phróiseáil agus a leagan phost seo suas mar mháistir i macasamhlú (le logáil araid deas fada) a bheith ar an mbealach le dul:

macasamhlú Faoi shocrú gach ceann de do oibrithe suas mar sclábhaí leis na nuashonruithe post freastalaí a rialú le do foinsí sonraí trickle síos nicely le do oibrithe gan méadú ollmhór i ngníomhaíocht líonra (is é sin mura gcomhlíonfaidh tú ollmhór sonraí a thabhairt cothrom le dáta agus go léir do oibrithe tús i ag an am céanna). Tá sé seo buntáistí rsync i nach mbeadh tú sos fada faoi bhráid gach post; mar an bunachar sonraí cothrom le dáta, an MySQL beidh deamhan ar do oibrí nuashonrú leanúnach ar a sonraí ar fad a leanann an phróiseáil.

Seo é an chaoi a leagtar mé suas mo freastalaí taispeántais. A chur ar bun macasamhlú lean mé an treoir ar an suíomh MySQL ( Bunú macasamhlú ) agus laistigh de 20 nóiméad bhí mé mo oibrí inital replicating an post a rialú freastalaithe tacar sonraí. I gcás gach oibrí breise a d'oibrigh an suímh macasamhlú agus próiseas gach uair nuair a bhí a chóipeáil an VM.

Achoimre

San alt seo ar an earra ní mór dúinn a d'fhéach sé ar cé chomh héasca agus tá sé painless a choimeád do chód phróiseáil suas chun dáta le using rsync nó subverion (SVN) a dhéanamh ar an obair agus tráchta líonra a laghdú ag an time. céanna Phléigh muid freisin conas a a choinneáil ar do chuid faisnéise fhoinse sonraí cothrom le dáta trí ligean dó a trickle síos do gach ceann de do oibrithe. Dá bhrí sin againn limistéar a chinntiú go muid a choinneáil suas le loighic gnó agus eolas inár gcóras eangaí oifig. Beidh a bheith ann ar ndóigh roghanna eile countless chun comhlíonadh na tascanna seo, ach anseo bhí dhá shampla simplí chun a thaispeáint conas éasca é a réiteach le teacht ag.

An chéad uair eile

Sa chuid deiridh den tsraith seo, aptly ainmnithe Cuid 5 , beidh muid ag plé a dhéanamh ar an gcóras seo le haghaidh imscaradh. Feicfidh mé achoimre a dhéanamh ar an méid atá foghlamtha agus cad éirigh liom a chruthú.

Ríomhaireacht Eangach Oifig ag baint úsáide as timpeallachtaí Fíorúil - Cuid 5

Ag , Dé hAoine 4 Nollaig, 2009 11:03

Réamhrá

Tá mé ag obair i gcuideachta a áit a reáchtáil againn go leor poist baisce a phróiseáil na milliúin ar thaifid sonraí gach lá agus mé ag smaoineamh le déanaí faoi na meaisíní go suí thart agus gach lá ag déanamh aon rud le haghaidh roinnt uaireanta. Ní bheadh ​​sé go maith dá mbeadh muid úsáid as na meaisíní a threisiú an chumhacht a phróiseáil ar ár gcórais? Sa tsraith airteagal mé ag dul chun breathnú ar na tairbhí féideartha a fhostú oifig greille úsáid a bhaint as timpeallachtaí virtualised.

I gCuid 4 d'fhéach muid ag baint úsáide as uirlisí chun a chinntiú go bhfuil muid ag rith an leagan is déanaí de na foinsí sonraí agus cód ionas go bhfuil torthaí a fuarthas i gcónaí cothrom le dáta an t-eolas is déanaí gnó agus loighic.

Réamh-Imlonnú

Sula imscaradh do chóras eangaí má tá rud amháin a dhéanann tú, agus rud amháin ina n-aonar tá sé tagarmharc do chóras atá ann faoi láthair! Tá cuma cad a insint duit comhghleacaithe faoi cé mhéad obair bhreise a bhfuil do chóras ag dul a dhéanamh mura bhfuil tú uimhreacha ar ais seo suas do ráthaíochtaí rud ar bith. Mar sin,

  • conas is féidir go leor taifead tú a phróiseáil faoi láthair? In aghaidh an lae? Per Uair?
  • Cé chomh fada a thógann sé de ghnáth chun dul timpeall ar phost?
  • Cé mhéad toilleadh níos mó atá agat?

Níl freisin ceisteanna breise:

  • Má théann do fhreastalaí próiseála (nó ar cheann de do freastalaithe próiseála) síos cén chaoi seo isteach ar do chumas an ligfidh tú a crippled?
  • Cad iad na buntáistí a bhfuil súil agat / ag súil a fháil ó córas eangaí?
  • An bhfuil do meaisíní oifige in ann oibriú le na poist atá ar?
  • An bhfuil do (nó is féidir leat post a thiontú) chun wrok sa stíl seo a rith?

Is é an pointe deireanach go mór le do chuid ama ar aon athrú mór mar seo. Nuashonraigh do chód phróiseáil a bheith ag obair ag baint úsáide as an modheolaíocht, tagarmharc nua arís. B'fhéidir, ar bun do fhreastalaí a phróiseáil a reáchtáil le meaisín fíorúil, beidh tar éis an tsaoil do fhreastalaí a phróiseáil a bheith díreach eile oibrí (ach amháin an-chumhachtach réasúnta). Ceadaigh an próiseas nua a réiteach.

Imlonnú

Bheadh ​​mo moladh go mbeadh a pop isteach ag an deireadh seachtaine amháin gach oifig na suiteálacha agus thus a dhéanamh. Ná seo díreach os comhair na coicíse ar saoire agus saoire mar sin de eile bochta CHAP chun déileáil leis na hiarmhairtí ... b'fhéidir nach bhfuil ...

Riachtanais imscaradh le córas mar seo a bheith mall. Beidh sé ainneoin a bheith réasúnta simplí a chur ar bun an córas seo i bhfeidhm ar do bhonneagar oifig ar fad (go maith an ceann digiteach). Gcéad dul síos, rolladh amach le cúpla de mheaisíní ag an am, trácht líonra monatóireacht a dhéanamh, conas an hóstach oibrí a dhéanamh ar bhonn lá go lá. B'fhéidir go mbeadh ort athrú do chumraíocht post i bhfreagra ar do thorthaí.

Nuair a bheidh an córas socraithe le meaisíní cúpla (ligeann rá 10% de na meaisíní oifige, ie 5) a choinneáil ar thrácht líonra monatóireachta agus meaisín óstach performance. tagarmharc Next arís, ba chóir duit anois a phróiseáil poist 33% níos mó ná do tagarmharcanna chéad uair. Seiceáil an bhfuil sé amhlaidh, nó go bhfuil tú ar a laghad sa ballpark. Mura bhfuil, imscrúdú a dhéanamh ar cad atá ar siúl roimh bhogadh ar aghaidh. Déan an timthriall dtí go mbeidh tú go sona sásta go léir meaisíní oifige a reáchtáil gan a mharú feidhmíochta aonair nó inneall meilte do líonra ar standstill.

Ag gach tráth a choinneáil tagarmharcála, fiú tar éis gach imscaradh a dhéanamh. Seiceáil cé difear nuashonruithe cód nua luas de do chóras, a sheiceáil gach oibrí tuairiscithe agus poist a phróiseáil. Slowly (go han-mhall) incrimint do chumraíocht post a fháil is fearr ó do oibrithe agus líonra.

Stop!

Cad más mian leat chun stop a d'oibrithe ó na reáchtáil ag am éigin? Tá siad go léir amuigh ansin ag rith, athghiniúint, agus ag iarraidh a gcuid is fearr a phróiseáil sonraí cosúil le feithidí ocras. Féadfaidh an freagra cosúil go léir ach fiú a chur ar eagla na heagla a overlooked. Níl ort ach in eagar do script phróiseáil le scoir (0) nó bás () nó cuid díobh a ráiteas eile a phróiseáil do phost a mharú. An chúis thábhachtach cén fáth muid iarracht i gcónaí a thabhairt cothrom le dáta an script a phróiseáil is déanaí os comhair aon reáchtáil!

Córas Léiriú

D'fhonn a scríobh an tacar ailt ghearra a chruthaigh mé an-bheag ar eangach a léiriú na teicneolaíochtaí agus modheolaíochtaí. Léigh mé go leor de earraí, ranganna teagaisc, agus a úsáid uirlisí éagsúla chun thus agus monatóireacht a dhéanamh ar cad a bhí ar siúl. De réir aon acmhainn acu a chuaigh mé amach agus sáithithe oifig ar fad le trácht agus ná raibh mé ag teacht ar an bhfoireann PC rialta baill a fheiceáil conas a raibh tionchar ar fheidhmíocht óstach.

Mo córas léirsiú a bhí an-humble go deimhin. Úsáid mé mo dheasc rialta ar bun mar fhreastalaí rialú post. Ar an raibh suiteáilte mé MySQL server suiteáilte leagtha suas mar mháistir i macasamhlú, PHP , Â agus SVN nasctha trí Apache (do rochtain trí VM oibrí).

Chruthaigh mé ansin le meaisín oibrí centOS ar VirtualBox ar ríomhaire glúine 6 bliana d'aois Windows XP. I thus tascanna sceidealta mar a shonraítear i ndiaidh a chóipeáil an VM isteach ar an inneall agus ligean dó dul.

Bunaíodh an meaisín fíorúil suas le PHP, Subversion, agus MySQL. Sheiceáil mé amach a chur le brainse darb ainm 'oibrí' o mo smacht stór post freastalaithe agus rinne sé cinnte go bhféadfaí é a thabhairt suas chun dáta ag baint úsáide as 'SVN cothrom le dáta'. Next Sheiceáil mé thus MySQL mar daor agus go raibh sonraí replicating as MySQL ar an bhfreastalaí rialú post síos go dtí an VM oibrí. Tar éis an tsaoil seo mé thus an script bash agus an post cron.

Mo script próiseáil chuaigh go bunúsach na línte seo (rudaí an-simplí):

  • Léigh i réimse an ainm
  • Áireamh le líon na n-ainmneacha cosúil i dtábla ó fhoinse na sonraí ar siúl ar an VM
  • Áireamh le líon na n-ainmneacha mar ainm thuas ach scoilteadh na trí spásanna (ie túsainm, lár, sloinne)
  • Arís agus arís eile leis an bpróiseas 1000 amanna

Gach post a ghlac thart ar 20 nóiméad a reáchtáil. Ag pointe amháin d'oscail mé cóipeanna den VM oibrí ar an ríomhaire glúine fuinneoga agus faire ar na poist a sheiceáil amach ag gach ceann de na seoltaí IP oibrí. Ag an bpointe seo dheimhnigh mé freisin go atosú macasamhlú go huathoibríoch.

Ag fágáil an ríomhaire glúine a díomhaoin thoradh ar oibrí ag tosú le poist a phróiseáil ón bhfreastalaí rialú post. Nuair a filleadh ar úsáid ríomhaire glúine raibh moill de thart ar 30-60 soicind, tá sé seo go mbeadh méid cothrom an ama agus an fhoireann a chur ar an eolas gur féidir a n-inneall sos ar feadh tamaill gearr iad ag filleadh ar an meaisín. Ní féidir innill níos nuaí a bhfuil sos fada seo. Ba mhaith leis an tairbhe an méid próiseála a dhéanfar ag na meaisíní le linn tréimhsí díomhaoin ná níos mó ná ball foirne a bheith ag fanacht ar feadh tréimhse ghearr (abair 1 nóiméad) ar teacht ar a n-innill ar maidin (fanacht liom go minic níos faide go seo le haghaidh gCosantóirí Windows thabhairt cothrom le dáta ar siúl) ar fáil a bhí déanta acu ar an eolas faoi seo (am úsáideach chun grab caife maidin!).

Tríd is tríd is dóigh liom go bhfuil mé muiníneach léirigh na teicneolaíochtaí a d'fhéadfaí a úsáid chun a chruthú a leithéid de chóras. Tá sé léirithe go ndéanann a leithéid de chóras oibre ar scála (an-) beaga agus le roinnt níos mó ag tástáil d'fhéadfadh a bheith de réir scála suas úsáid a bhaint as na hacmhainní atá ar oifig an innill. Más rud é nach féidir liom a fháil go dtí an pointe seo a dhéanamh ba mhaith liom a bheith an-suim go mbeadh a fhios / a fheiceáil nuair a dhéanann duine éigin eile.

Conclúidí / Meastóireacht

Ba mhaith leis an chéad chéim eile a bheith soiléir a fháil i ndáiríre mar shampla saol fíor agus tús a imscaradh córas mar seo laistigh de thimpeallacht oifige agus féach cad a tharlaíonn. Ag cur ceiste ar ghnó gealltanas a thabhairt gan an chuideachta rian blazing a chruthú is féidir leis an teicneolaíocht agus an éifeachtacht a bheith beagán deacair. Is é Eangach / ríomhaireachta leithdháilte an-tóir ar roinnt ciorcail agus tá roinnt iarratais mór (BIONC, SETI @ Home, fillte @ Home, srl). Ní raibh mé, áfach, teacht ar scála níos lú agus córas simplí mar seo i mo cuardaigh a d'fhéadfaí a rolladh amach laistigh de thimpeallacht oifige.

Chruthaigh mé córas bunúsach saor in aisce ag baint úsáide as bogearraí foinse oscailte den chuid is mó agus na huirlisí atá ar fáil in oifig beagnach ar bith. Na teicneolaíochtaí a bhí léirithe go bunúsach agus a thaispeáint a fheidhmiú agus obair mar súil. Tá súil againn go bhfuil mé a thaispeáint go bhfuil an obair nach i bhfad agus le thus an-simplí is féidir leat leas a oifig córas ríomhaireachta greille is é sin, cumhachtach saor, Â agus Inscálaithe go léir ag an am céanna.

Nuair atá córas ar bun agus a reáchtáil go bhfuil beagnach aon deireadh leis an méid saincheaptha agus feabhsúcháin ar féidir leat a dhéanamh. Mar shampla, is féidir staitisticí / tagarmharcála a chur leis go héasca ag taispeáint an fiú a leithéid de chóras gach lá. Is féidir le meaisíní nua seo a leanas chomh tapa agus go héasca agus nuair a thagann siad le uasghrádú ar chrua-earraí atá ann cheana féin a dhaingniú do chumhacht a phróiseáil.

Tá súil agam go mbainfidh tú taitneamh as seo a léamh tá sraith alt agus a thug tú bia le haghaidh machnaimh ar reáchtáil córas eangaí oifig. Ní bheidh an réiteach i láthair anseo ag obair gá i ngach cás ach ba chóir a bheith inoiriúnaithe chun deis a thabhairt duit a fháil ar do shonraí a phróiseáil dhéanamh ag úsáid do réiteach féin.

Cuir glaoch a sheoladh chugam aon tuairimí, ceartúcháin, nó feabhsúcháin agus beidh mé mo dhícheall a choinneáil ar an Airteagal seo cothrom le dáta a mheaitseáil.













Téama Panorama ag Themocracy

6 cuairteoirí ar líne anois
1 aíonna, 5 bots, 0 baill
Tá 19 ag 05:00 UTC: Max cuairteoirí an lae inniu
An mhí seo: 26 ag 2012/04/04 10:27 UTC
I mbliana: Tá 69 ar 27-02-2012 09:56 UTC
Gach am: 130 ag 28-03-2011 10:40 UTC