Fógraí clib: SVN

Ríomhaireacht Eangach Oifig ag baint úsáide as timpeallachtaí Fíorúil - Cuid 4

Ag , Dé hAoine 4 Nollaig, 2009 11:59

Réamhrá

Tá mé ag obair i gcuideachta a áit a reáchtáil againn go leor poist baisce a phróiseáil na milliúin ar thaifid sonraí gach lá agus mé ag smaoineamh le déanaí faoi na meaisíní go suí thart agus gach lá ag déanamh aon rud le haghaidh roinnt uaireanta. Ní bheadh ​​sé go maith dá mbeadh muid úsáid as na meaisíní a threisiú an chumhacht a phróiseáil ar ár gcórais? Sa tsraith airteagal mé ag dul chun breathnú ar na tairbhí féideartha a fhostú oifig greille úsáid a bhaint as timpeallachtaí virtualised.

Sa chuid 3 cruthaithe againn ár n-inneall próiseála fíorúil agus arna chur ar bun meaisíní fuinneoga a bheith díomhaoin-am oibrithe.

Rith an cód is déanaí

Dosheachanta tar éis a chruthú do loighic gnó oibrithe Beidh athrú, beidh bugs a fháil, beidh cód níos tapúla níos éifeachtaí a thabhairt ar aird dá bhrí sin ag fágáil do oibrithe shuigh ar fud próiseáil sonraí ag baint úsáide as cód smelly d'aois . Conas is ansin is féidir linn a chinntiú go bhfuil muid ag baint úsáide as i gcónaí ar an leagan is déanaí agus is mó ar ár scripteanna a phróiseáil?

Tá roinnt bealaí an-éasca simplí gur féidir linn é seo a dhéanamh, an cleas, áfach, a laghdú cumhachta próiseála agus tráchta líonra seo a bhaint amach. Lets tús a chur leis an simplí ar réitigh agus é a fheabhsú go mall thar cúpla iterations.

Ba mhaith leis an modh chéad chun ceangal ach ar ár bhfreastalaí rialú post (via samba, FTP, nó a leithéid) agus tarraingt an leagan is déanaí den chód síos. Níl sé an-éifeachtach, ach beidh sé an jab a dhéanamh. Lets feabhas a chur ar an beagán, conas mar gheall ar a chruthú agus a úsáid go script rsync gach uair in ionad? Nó céard faoi a chur ar ár script is déanaí phróiseáil i Subversion seiceáil amach an cód ar dtús agus ansin ach thabhairt cothrom le dáta ár gcód ar gach reáchtáil ( SVN suas chun dáta )?

Sa deireadh d'fhéadfadh muid suas go deireadh le script bash (ar a dtugtar ag cron gach 10 nóiméad) a bhreathnaíonn chomh simplí agus is é seo:

  #! / Bin / sh
 má ps tua | grep-v grep | grep php > / dev / null
 ansin
     macalla "Tá Poist a phróiseáil faoi láthair, scoir"
 eile
     echo "Ní Poist ag rith, ag tosú anois"
     cd / cosán / a / ag obair / cóip
     SVN cothrom le dáta
     php yourJobProcessingScript.php
 fi 

Anois is féidir linn a bheith cinnte go bhfuil gach reáchtáil tá muid ag rith cinnte an cód is déanaí. Táimid ag cinntiú seo cothrom le dáta ag ár mbonn cód am gach uile a dhéanamh dúinn a reáchtáil agus a laghdú tráchta líonra ag aistriú ach amháin leis na difríochtaí comhad ar fud ár líonra.

I mo thus taispeántais, rinne mé díreach mar atá thuas. Suiteáladh freastalaí Subversion ar mo phost a phróiseáil agus tharraing mé ach an cód is déanaí ó bhrainse 'oibrí' ag baint úsáide as 'SVN cothrom le dáta'. Chuir mé chomh maith le roinnt tag leagan ar mo script próiseáil ar ais chuig an bunachar sonraí mar chuid den tuairisceán torthaí. Sa chaoi seo is féidir liom a fheiceáil go bhfuil mo cód bhí á thabhairt suas chun dáta gach uair a chóipeáil mé mo trunk isteach ie brainse oibrí go raibh mé ag rith cinnte an script a phróiseáil is déanaí.

Ag baint úsáide as na sonraí is déanaí

Má dhéanann próiseáil ar do phost a úsáid foinsí sonraí ansin ag pointe éigin ag dul go dtí seo cothrom le dáta freisin. Mura ghlaonn tú ar do fhoinsí sonraí ar bhonn an-neamhrialta bhfuil tú ag dul a tuile do líonra le trácht chomh luath agus is tús le do oibrithe a reáchtáil gach rud a thabhairt ar standstill. Do mo réiteach chinn mé gur mhaith liom bogadh mo foinsí sonraí ar fud le mo VMS.

Coinnigh tú capaill ann! Cad a tharlaíonn má tá mo foinsí sonraí ollmhór? Bhuel tá sé seo i ndáiríre ar chás an méid sonraí ag caint againn? D'fhéadfadh sé a bheith níos éifeachtaí ó thaobh costais a shuiteáil tiomáint crua breise níos mó i gach meaisín ná mar a cheannach freastalaí próiseála breise. Is é seo an cheist maidir le buiséad agus tá suas go dtí an gnó a chinneadh. Tá sé b'fhéidir go bhfuil do foinsí sonraí chomh mór a díreach unfeasible a choinneáil ar an méid sin de na sonraí i do mheaisíní oibrí. Sa chás sin, cad a dhéanfá? Bhuel féidir linn breathnú ar glaoch ar fhreastalaí sonraí áitiúil, ach d'fhéadfadh sé seo ceisteanna leis an líonra faoi deara. Sa chás seo, d'fhéadfadh córas eangaí mar seo a bheith réalaíoch a chur san áireamh i do dtimpeallacht oifige. B'fhéidir go mbeadh sé chomh maith gur féidir leat breathnú ar straitéisí malartacha a reáchtáil, mar shampla, ach glaoch ar d'oibrithe 20:00-06:00 gach oíche agus / nó iarratais ar shonraí throttling foinse.

Bogadh ar ligeann rá ár bhfoinsí sonraí méid a 100Gb na sonraí. Bhuel tá Tá go leor le beagán de shonraí a bhogadh ar fud an líonra ar cothrom le dáta. Conas a bheadh ​​againn a chinntiú go bhfuil muid ar an chóip is déanaí de na sonraí sa chás seo? Is Rsync an deis ann, ach go pearsanta Measaim go bhféadfadh ag reáchtáil do is déanaí foinse sonraí ar do fhreastalaí a phróiseáil agus a leagan phost seo suas mar mháistir i macasamhlú (le logáil araid deas fada) a bheith ar an mbealach le dul:

macasamhlú Faoi shocrú gach ceann de do oibrithe suas mar sclábhaí leis na nuashonruithe post freastalaí a rialú le do foinsí sonraí trickle síos nicely le do oibrithe gan méadú ollmhór i ngníomhaíocht líonra (is é sin mura gcomhlíonfaidh tú ollmhór sonraí a thabhairt cothrom le dáta agus go léir do oibrithe tús i ag an am céanna). Tá sé seo buntáistí rsync i nach mbeadh tú sos fada faoi bhráid gach post; mar an bunachar sonraí cothrom le dáta, an MySQL beidh deamhan ar do oibrí nuashonrú leanúnach ar a sonraí ar fad a leanann an phróiseáil.

Seo é an chaoi a leagtar mé suas mo freastalaí taispeántais. A chur ar bun macasamhlú lean mé an treoir ar an suíomh MySQL ( Bunú macasamhlú ) agus laistigh de 20 nóiméad bhí mé mo oibrí inital replicating an post a rialú freastalaithe tacar sonraí. I gcás gach oibrí breise a d'oibrigh an suímh macasamhlú agus próiseas gach uair nuair a bhí a chóipeáil an VM.

Achoimre

San alt seo ar an earra ní mór dúinn a d'fhéach sé ar cé chomh héasca agus tá sé painless a choimeád do chód phróiseáil suas chun dáta le using rsync nó subverion (SVN) a dhéanamh ar an obair agus tráchta líonra a laghdú ag an time. céanna Phléigh muid freisin conas a a choinneáil ar do chuid faisnéise fhoinse sonraí cothrom le dáta trí ligean dó a trickle síos do gach ceann de do oibrithe. Dá bhrí sin againn limistéar a chinntiú go muid a choinneáil suas le loighic gnó agus eolas inár gcóras eangaí oifig. Beidh a bheith ann ar ndóigh roghanna eile countless chun comhlíonadh na tascanna seo, ach anseo bhí dhá shampla simplí chun a thaispeáint conas éasca é a réiteach le teacht ag.

An chéad uair eile

Sa chuid deiridh den tsraith seo, aptly ainmnithe Cuid 5 , beidh muid ag plé a dhéanamh ar an gcóras seo le haghaidh imscaradh. Feicfidh mé achoimre a dhéanamh ar an méid atá foghlamtha agus cad éirigh liom a chruthú.

Ríomhaireacht Eangach Oifig ag baint úsáide as timpeallachtaí Fíorúil - Cuid 1

Ag , Dé hAoine 4 Nollaig, 2009 11:23

Réamhrá

Tá mé ag obair i gcuideachta a áit a reáchtáil againn go leor poist baisce a phróiseáil na milliúin ar thaifid sonraí gach lá agus mé ag smaoineamh le déanaí faoi na meaisíní go suí thart agus gach lá ag déanamh aon rud le haghaidh roinnt uaireanta. Ní bheadh ​​sé go maith dá mbeadh muid úsáid as na meaisíní a threisiú an chumhacht a phróiseáil ar ár gcórais? Sa tsraith airteagal mé ag dul chun breathnú ar na tairbhí féideartha a fhostú oifig greille úsáid a bhaint as timpeallachtaí virtualised.

Mar PHP forbróir mé ag dul a úsáid uirlisí gur úsáid mé gach lá eadhon, Linux, MySQL , PHP, VirtualBox agus Subversion (SVN). Mar sin féin tá súil agam go mbeidh an treoir seo a oiriúnú do theangacha eile agus teicneolaíochtaí díreach chomh maith.

Beidh an réiteach a chur ar fáil dom a bheith an-loosely bunaithe ar an gcineál phróiseáil mhaith linn a bhaint amach, áfach, ní fhéadfadh sé seo a bheith fíor tríd an t-alt ar fad mar beidh mé rudaí a athrú ar mhaithe le simplíocht, nó le cásanna úsáid níos suimiúla a tháirgeadh.

Beidh na timpeallachtaí virtualised reáchtáil ar mheaisíní fuinneoga ós rud é an scéal seo an chuid is mó de na hoifigí a reáchtáil. Níor cheart an phróiseáil a dhéanamh ar na meaisíní oifige cur isteach leis an bhfoireann ag baint úsáide as na meaisíní Ba chóir, a cheangal ar aon chothabháil ag an inneall, agus a bheith go héasca imscaradh chun meaisíní nua de réir mar a thagann siad ar fáil. Chomh maith leis sin, níor chóir go fíorúil meaisíní nua a cheangal ar aon chumraíocht breise mar a laghdaíonn sé seo go mór leis an scalability agus éasca ag ar féidir an córas eangaí a leathnú.

Cén fáth a Scaipeadh ar Eangach Ríomhaireacht Oifig?

Gcéad dul síos is féidir leat a bheith ag smaoineamh nach bhfuil, cén fáth a úsáid ach mar acmhainn ríomhaireachta scamall mar ardán EC2 Amazon ar ? Bhuel d'fhéadfadh a bheith ar na cúiseanna éagsúla, mar shampla:

  • Ní bheidh tú sonraí áirithe cúraim a chur ar thimpeallacht ríomhaireachta scamall
  • Ní féidir leat a chur sonraí áirithe isteach i dtimpeallacht ríomhaireachta scamall ar chúiseanna dlí (eg sonraí ag fágáil na tíre), d'fhéadfadh a bheith ar chúiseanna dlí, mar shampla, taifid NHS.
  • Ba mhaith leat a choinneáil do aonaid phróiseála dhúnadh agus a bhfuil smacht iomlán na crua-earraí ró-
  • Ní gá duit na cistí tionscadal a reáchtáil cásanna scamall
  • Ní thacaíonn do oifig a bhfuil nasc leis an idirlíon agus dá bhrí sin nach féidir a úsáid a bhaint as acmhainn scamall
  • Ní gá duit mhaith báistí, le fios scamaill báisteach, dá bhrí sin, go gcoinníonn tú go maith ar shiúl

Tá mé cinnte go bhféadfadh an liosta ar aghaidh, ach is dóigh liom go bhfuil go leor do anois.

Buntáistí d'Eangach Ríomhaireacht Oifig

Bhuel ligeann, a dhéanamh ar roinnt matamaitic (agus i stíl fisice fíor ligeann a dhéanamh ar roinnt boinn tuisceana scuabadh). Samhlaigh go bhfuil tú freastalaí próiseála mór beefy reáchtáil 100 post in aghaidh an lae. I do oifig tá tú 50 meaisíní atá díomhaoin 16 uair sa lá, tá gach ceann de na meaisíní 10% chomh cumhachtach mar do sever próiseáil beefy. (Gach torthaí anseo atá slánaithe go dtí underestimate méadú feidhmíochta).

Mar sin, 1 meaisín * chumhacht 10% * 2/3 = uair d'fhéadfadh 0.067 ie 1 phróiseáil deisce i am díomhaoin phróiseáil 6 poist iomlán in aghaidh an lae.

Má tá tú anois de réir scála seo suas go dtógann sé 15 deasc díomhaoin a phróiseáil post mar go leor in aghaidh an lae mar a dhéanann do fhreastalaí a phróiseáil is mó.

Mar sin, in ár n-oifig ligean ar 50 meaisíní gur féidir linn cur lenár cumhachta próiseála ó 1 freastalaí suas go dtí 4 freastalaithe a phróiseáil go hiomlán, nó a d'fhéadfadh muid a phróiseáil 400 post in aghaidh an lae in áit 100.

Fógra, tá ar aon infheistíocht i crua-earraí nua do chuideachta méadú díreach ar a cumas próiseála bhaisc 4 huaire! D'fhéadfadh a bhfuil tú ag dul chun cur le do chumhacht ach úsáid as timpeallachtaí oifig an chuid is mó bhí mé chun meaisíní a d'fhág go ginearálta ar aon nós thar oíche, mar sin d'fhéadfaí tú a fheiceáil seo mar thionscnamh glas.

Ciallaíonn buntáistí eile freisin, is féidir go bhfuil infheistíocht i nua (nó suas chun dáta) freastalaithe moill a phróiseáil má tá do meaisíní oifige agus go leor mar atá tú feabhas a chur ar an chumhacht do meaisíní oifige a thiocfaidh do greille oifig níos cumhachtaí go huathoibríoch.

Teicneolaíochtaí

Cad is gá duit? (Nó níos mó i gceart cad a rinne mé úsáid as):

  • Meaisíní oifige díomhaoin (i mo chás a spártha d'aois Windows XP ríomhaire glúine)
  • VirtualBox (nó eile bogearraí cliant fíorúlú)
  • A meaisín fíorúil le PHP, MySQL running reáchtáil ghearradh síos OS, tá mé ag iarraidh na freastalaithe mo limp :)
  • Poist a reáchtáil
  • Freastalaí Poist (Is féidir a bheith eile meaisín fíorúil áit éigin)

Jobs tipiciúla

Na cineálacha poist go bhfuil an córas seo ceaptha chun a reáchtáil Is mar seo a leanas:

  • Córas a fhaigheann liosta de na sonraí ar a bhfuil gá dúinn a mheaitseáil agus seol ar ais torthaí
  • Meaitseáil i gceist le seiceáil / cuardach roinnt (go cothrom statach) foinsí sonraí
  • Is féidir torthaí ó fhoinsí sonraí a cheangal ar bhailíochtú breise, a chumasc, seiceáil ar fhoinsí sonraí breise mar fhreagra ar na torthaí
  • Sonraí ar ais le taifid meaitseáil, go hiomlán bailíochtaithe agus a phróiseáil
  • Tá gach taifead laistigh de post neamhspleách ar an gcuid eile

Mar sin, go bunúsach tá muid ag breathnú ar siúl post a éilíonn meascán de lookups bunachar sonraí agus roinnt crunching uimhir, le cás go cothrom tipiciúil i dtimpeallacht gnó.

Nach bhfuil réitigh Eangach ach amháin buntáiste as próiseáil post den chineál seo. Go bunúsach, is féidir aon phróis ar féidir iad a dheighilt i n-aonad neamhspleách a reáchtáil go comhuaineach. Féach ar an wikipedia le haghaidh samplaí agus tuilleadh eolais a fháil: Ríomhaireacht Eangach , ach cúpla samplaí cáiliúil atá Seti @ Home agus BIONC . Tá creataí do rith ghreillí ríomhaireachta, agus tá siad fiú go maith ag breathnú isteach.

Cad a bhaint amach?

Faoi dheireadh na hairteagail seo tá súil agam chun a thaispeáint go imscaradh le greille oifig ní gá a bheith Tógann mór daor nó ama. Tá mé ag dul chun plé a dhéanamh:

  • Bunú an córas rialaithe post, post cumraíocht
  • Chruthú le meaisín próiseála iomchuí fíorúil
  • Conas thus an gcóras ar meaisín fuinneoga
  • A chinntiú go bhfuil tú ag baint úsáide as an cód is déanaí agus sonraí a
  • Imlonnú agus tagarmharcáil
  • Ag féachaint chun cinn

Beidh mé foirgneamh (OK tógadh mé, ansin scríobh seo) iarratas mar shampla, a thástáil ar na coincheapa ar meaisín áitiúil ag baint úsáide as Windows XP agus mo 'GridMachine' meaisín fíorúil. Beidh mo fhreastalaí a rialú post mo meaisín is mó a ritheann Fedora 11 .

Tá sé seo ar aon bhealach i gceist a léiriú go bhfuil córas go hiomlán ag obair go láidir, i gceist níos mó de a léiriú agus a phlé ag taispeáint gur féidir na rudaí seo a bhaint amach in achar réasúnta gearr ama agus ar chostas beag. Cuir glaoch a sheoladh chugam aon tuairimí, ceartúcháin, nó feabhsúcháin agus beidh mé mo dhícheall a choinneáil ar an Airteagal seo cothrom le dáta a mheaitseáil.

An chéad uair eile

Sa chuid 2 Beidh mé ag tosú ag féachaint ar an gcóras um rialú phost, agus breathnú ar conas ba chóir poist a chumrú chun an méid is mó a bhaint amach de phróiseáil ag an am céanna a chinntiú go bhfuil gach post a phróiseáil gan teip.













Téama Panorama ag Themocracy

5 cuairteoirí ar líne anois
3 aíonna, 2 bots, 0 baill
Tá 48 ag 02:40 UTC: Max cuairteoirí an lae inniu
An mhí seo: Tá 56 ar 25-04-2012 08:41 UTC
I mbliana: Tá 69 ar 27-02-2012 09:56 UTC
Gach am: 130 ag 28-03-2011 10:40 UTC