Коментари (2)

По Стивен Лојд Ваткин , петак, 4. децембар 2009 11:59 ПМ

Увод

Ја радим у фирми где смо покренули многе серије послове обраде милионе записа података сваки дан и био сам недавно размишљање о свим машинама које седе око сваки дан не раде ништа за неколико сати. Зар не би било добро ако бисмо могли да користе те машине да ојача процесорску снагу нашег система? У овом скуп чланака ћу да погледате потенцијалне користи од запошљавања канцеларије мрежу користите виртуалисед окружења.

У делу 3 креирали смо наше виртуелне машине за прераду и подесити Виндовс машине да постане мировања радног времена радника.

Покретање најновији број

Неизбежно након што направите свој бизнис логику радници ће се променити, грешке ће се наћи, бржи ефикаснији код ће бити произведена тиме остављајући своје раднике седели обраду података користећи стари смрдљиви кода . Како онда ми бисмо били сигурни да увек користите најновије и највеће верзија нашег прераде скрипте?

Постоји неколико једноставних начина веома лако смо могли бисте то урадили, трик је, међутим, да се смањи процесорску снагу и мрежни саобраћај у остваривању овог. Почнимо са најједноставнијим решења и побољшање полако преко неколико итерација.

Први метод би био да једноставно повежете са нашим сервером посао контроле (преко Самба, ФТП или слично) и повуците на доле најновију верзију кода. Није врло ефикасан, али ће урадити посао. Омогућава да донекле побољша, како о креирању и коришћењу рсинц скрипту да се сваки пут уместо тога? Или шта је стављање наше најновије обраде скрипту у субверзије проверу из кода у почетку и онда само ажурирање нашег кода на сваку Рун ( СВН упдате )?

На крају смо могли завршити са басх скрипту (зову црон сваких 10 минута) који изгледа као једноставан као овај:

  # / Бин / сх!
 ПС ако је АКС | греп-в греп | греп ПХП > / дев / нулл
 онда
     ецхо "Посао је тренутно обрађује, Екит"
 друго
     ецхо "посао није покренут, покрените сада"
     ЦД / путања / до / радне / копију
     СВН упдате
     ПХП иоурЈобПроцессингСцрипт.пхп
 Фи 

Сада можемо бити сигурни да са сваком покренути смо дефинитивно користите најновије кода. Ми смо обезбеди ово ажурирање наших основни код сваког и сваки пут вршимо покренути и смањење мрежног саобраћаја за само пребацивање датотека разлике у нашу мрежу.

У мом демонстрације за подешавање, нисам тачно као горе. Субверзија је инсталиран на мом серверу посао обраде и једноставно сам извукао последњи кода са гране "радник" користите 'СВН ажурирај ". Такође сам додао број верзије ознаке на моје обраде скрипту који је вратио у базу података као део резултате. На овај начин сам могао да видим да је мој код је ажурирају сваки пут када сам копира моје трупа у грани, односно радника да сам дефинитивно био покренут најновије прераде сценарио.

Користећи најновије податке

Ако ваш посао обраде користи извора података затим у неком тренутку ови ће бити превише ажуриран. Осим ако позовете извора података на основу веома ретко ћете поплава своју мрежу са саобраћај чим покренете радници раде све да доносе застоја. За мој решење сам одлучила да желим да преместите Моји извори података около са мојим виртуелним машинама.

Држите си коње тамо ОГРОМНО! Шта ако моји извори података су? Па ово је заиста случај података колико ми говоримо? То може бити више исплативо да инсталирате додатни већи хард диск у сваку машину него купи додатних сервера обраду. То је питање буџета и до бизниса да одлучи. То је можда да је ваш извори података су толико велики да је само неизводљиво да тај износ података у вашем радника машине. У том случају оно што би ти урадио? Па могли бисмо да погледамо позивање локалних података сервера, али ово може изазвати проблеме са мрежом. У овом случају мреже система као што је ова може постати нереално да укључите у Ваш канцеларијском окружењу. То такође може бити да можете да погледате на алтернативне стратегије ради, на пример, само Позивање радника између 8 увече и 6ам сваке вечери и / или захтева пригушења извор података.

Прелазак на рецимо наши извори података износи 100Гб података. Па да то је сасвим мало података за кретање по мрежи на ажурирање. Како бисмо били сигурни да имате најновију копију података у овом случају? Рсинц је могућност, али лично мислим да покренете најновије извор података на вашем серверу посао обраде и подесити као мастер репликације (са дугом леп Бин дневник) може бити начин да се иде:

Постављањем сваки од ваших радника се као роб посла исправке за контролу сервера на ваш извора података ће се прелити лепо на свој радника без огроман пораст у мрежи активност (која је осим ако не изврши велики ажурирање података и све своје раднике ударац у одједном). То је у предности у односу на рсинц да не би добили дужа пауза пре сваког посла, као ажурирање базе података, МиСКЛ демон на ваш радник стално ажурира своје податке, а обрада се наставља.

Ово је како да подесим мој демонстрацију сервера. Да бисте поставили репликацију пратио сам упутство на сајту миСКЛ ( Успостављање репликације ), а у року од 20 минута имао сам инитал радник реплицира посао серверима контролу датасет. За сваку додатну радника репликације подешавања и процеса радили сваки пут када је ВМ је копиран.

Резиме

У овом делу чланка смо посматрали како је лако и безболно је да ваш код за обраду до датума усингА рсинц или субверион (СВН) да раде посао и смањити саобраћајне мреже у исто тиме.А Такође смо разговарали о томе како да ваше податке извора информација до-до датума дозвољавајући да прелити на сваку од ваших радника. Тако смо површина осигура да држе корак са пословним логику и информације у нашем систему Оффице мрежу. очигледно ће бити безброј алтернатива за обављање ових послова, али овде су два једноставна примера да покаже како је лако решење је да долазе.

Следећи пут

У завршном делу ове серије, пригодно назван Део 5 , ми ћемо разговарати о примени овог система за. Ја ћу укратко шта је научио и оно што сам успео да створи.

Коментари (3)

По Стивен Лојд Ваткин , петак, 4. децембар 2009 11:37 ПМ

Увод

Ја радим у фирми где смо покренули многе серије послове обраде милионе записа података сваки дан и био сам недавно размишљање о свим машинама које седе око сваки дан не раде ништа за неколико сати. Зар не би било добро ако бисмо могли да користе те машине да ојача процесорску снагу нашег система? У овом скуп чланака ћу да погледате потенцијалне користи од запошљавања канцеларије мрежу користите виртуалисед окружења.

У делу 2 смо гледали на посао сервера ће се покренути, и како посао треба да буде конфигурисан како би се постигла највећи износ од обраде истовремено обезбеђујући да сваки посао се обрађује без успети.

Подешавање радник - Лимп или сервера

Следећи корак у процесу је да подесите ваш виртуелни радника. За ово ћу користити инсталација ЦентОС коришћења ВиртуалБок. Идем да инсталирате МиСКЛ и ПХП на серверу, такође познат као опуштен (литијум Нук, М иСКЛ П КС) сервера (Можда сам направио тим именом горе).

• Инсталирајте ВиртуалБок на Виндовс машини (пратите линк)
• Преузмите и инсталирајте ЦентОС (тренутна верзија 5,3) у оквиру створио виртуелну машину

Нема смисла мене ће ово вероватно постоји 1.000 с велике туторијала тамо (у реду, ево једног: Прављење и МанагингА ЦентОС виртуалне машине под ВиртуалБок ). Важно имати на уму Претпостављам да сам позвао моју виртуелну машину ГридМацхине.

Што се тиче мог избора за виртуелизацију клијента и оперативног система идем тамо постоји велики разлог за сваки избор. ВиртуалБок је нешто што ја користим на мојој кући машину и подржан је од стране три главна оперативна система. ЦентОС изабрао сам као своју добру стабилан оперативни систем и да га користим на својој веб сервера. Ја сам велики верник у правом алате за посао (иако сам примене 'користи најбржи и најлакши за вас менталитет овде), тако да ако оперативни систем Кс покреће свој код брже и ефикасније користе да уместо:)

Важно Уверите се да ваш ВМ користи ДХЦП, у супротном, за сваки нови виртуелни машина би требало да буде посебно конфигурисан што је нешто што не користите ДХЦП вант.Би не морамо да конфигуришете подешавања мреже појединачно за радника машине, ДХЦП це руке ИП се за вас. Због тога можете да разделите ваше виртуелне машине за канцеларију без бриге о подешавању свака на горе (она побољшава и смањује скалабилност радника управе).

Процес би требало да имају за циљ да се постигне био би да добије нову физичку машину, инсталирати ВиртуалБок, а затим прилично примене виртуелне слике без много друго. Можда би било мудро да подесите све своје раднике на различитим подмрежи, тако да можете да бар видите како су многе машине раде. Такође ћете морати да подесите свој машина на лизинг или неограничено дуго закуп ДХЦП.

Како покренути посао на радника

Ово је интересантно подручје и постоји неколико валидних метода за обраду послова на радника. Ево ја ћу разговарати о две најочигледније:

• Непрестано ради скрипта: скрипт, било да је схелл скрипта, или ПХП скрипта се извршава на једном раднику и ради као део бесконачне петље. Ја сам дисконтованих овај метод као један крах скрипте и потенцијално вашим радницима ће престати да ради без неке врсте интервенције.
• Црон основу Скрипта: сваких к минута црон демона почиње позив на скрипту да се ствари дешава. Без неке провере то би могло да доведе до много много копије својих радника раде скрипте.

Моја одлука је била да идем преко Црон који почиње схелл скрипт сваких 10 минутес.А Мој схелл скрипт извршава следеће задатке:

1. Набавите листу процеса и Греп ово за 'ПХП'. Ако није пронађен онда наставите.
2. Позовите свог кода посао, у мом случају то ће бити нешто ПХП базиран
3. Радник скрипта оконча свој Рун
4. Спремни да се поново иде на следећи одговарајуци позив

Моја скрипта Басх изгледа нешто као следеће:

  # / Бин / сх!
 ПС ако је АКС | греп-в греп | греп ПХП> / дев / нулл
 онда
     ецхо "Посао је тренутно обрађује, Екит"
 друго
     ецхо "посао није покренут, покрените сада"
     ПХП иоурЈобПроцессингСцрипт.пхп
 Фи 

Напомена: ехо су скоро потпуно бесмислено, али може помоћи следећу особу која долази заједно покушали да измените их.

То закључује постављање радника виртуелних машина, брза, једноставна и лака за копирање, на сваки нови комад хардвера који се прима. "Вештина" на Грид систем заиста није у визуелно ОС-а, свим својим везе са кодом створена за обраду радних места, посао конфигурацију, и да се уверите да ради посао када је то потребно (тј. када је домаћин у стању мировања .)

Подешавање Виндовса да иницијализујете радника

Први задатак је израда команде потребне за покретање виртуалне машине са прозора командне линије. Ако сте инсталирали ВиртуалБок у подразумеваној локацији и да сте своје име радника ГридМацхине затим команду потребно да се учита ваш радник:

  Ц: \ Програм Филес \ Нед \ ВиртуалБокс \ ВБокМанаге.еке "стартвм ГридМацхине 

Међутим, да покренете скрипту на "обезглављен" држава треба да користите:

  Ц: \ Програм Филес \ Нед \ ВиртуалБокс \ ВБокХеадлесс.еке "-стартвм ГридМацхине - врдп = искључено 

Ово ће покренути виртуелну машину без ГУИ-и пустите га да сачува државу љупко. Други аргумент искључује РДП тако да не конфликт са Виндовс РДП, или да Вам поруку о слуша на порту 3389 осетљиви. Виртуелна машина име је случај!

Даље, ми ћемо морати да подесите Виндовс до почетак наше СМ радник када Машина је у стању мировања. Да бисте то урадили (на Виндовс КСП), мораћете да идете на Старт -> Алл Програмс -> Аццессориес -> Систем Тоолс -> Сцхедулед Таскс као што следи:

Следећи кликните на "Адд Сцхедулед Таск 'затим Бровсе да додате прилагођене програма. Идите на свој ВБокМанаге скрипту и кликните на дугме У реду. Распоред свој задатак за било коју од опција (ћемо променити у минуту) и наставити. Након прескакање следећи екран Виндовс ће вас питати који желите да покренете овај задатак, ја бих предложити било 'администратора' или креирате нови привилеговани корисник. Запамтите да не желимо да се мешају са стандардним особљем налог на машини у било ком тренутку. Кликните на дугме Даље и проверите Прикажи напредне опције за овај задатак.

За крај Рун поље Адд 'стартвм ГридМацхине' Стринг наше и да обезбеди да тече само када се Пријављено левој унтицкед. Посетите следећи распоред задатак и промените распоред спустите доле до опције "када мировања ', одаберите време желите да будете у стању мировања машине пре него што пређете на следећу картицу.

Коначно унтицк опцију која држава зауставити задатак ако је покренут Кс времена, али не потврдите опцију да се заустави задатак, ако машина није више у стању мировања.

То је онда за прозоре домаћин подешавање!

Резиме

У овом делу смо поставили виртуелна машина да се понашају као радник, као и начин на који позива и извршавање скрипте наш посао обраду (за себе ПХП скрипт). Одавде можемо да погледамо како да подесите наше копије оперативног система Виндовс да бисте покренули виртуелне машине у режиму без главе када је рачунар у стању мировања постаје, и да сачувате своју дрзаву, када корисник настави коришћење машине. Надам се да у овом тренутку видите како је једноставно поставити такав систем и свраб да би добили неке експерименте себе иде!

Следећи пут

У Део 4 ћемо се гледајући у коришћењу алата како би се осигурало да ли користите најновију верзију кода и извора података тако да се добијени резултати су увек уп-то-дате са најновије пословне информације и логике.

Коментари (1)

По Стивен Лојд Ваткин , петак, 4. децембар 2009 11:23 ПМ

Увод

Ја радим у фирми где смо покренули многе серије послове обраде милионе записа података сваки дан и био сам недавно размишљање о свим машинама које седе око сваки дан не раде ништа за неколико сати. Зар не би било добро ако бисмо могли да користе те машине да ојача процесорску снагу нашег система? У овом скуп чланака ћу да погледате потенцијалне користи од запошљавања канцеларије мрежу користите виртуалисед окружења.

Као ПХП програмер ћу користити алатке које ја користим и то сваког дана, Линукс, миСКЛ , ПХП, ВиртуалБок и субверзија (СВН). Међутим, надам се да овај водич ће се прилагодити другим језицима и технологијама као добро.

Решење дајем ће бити врло лабаво на основу типа обраде нам треба да би се ово постигло, међутим не може бити истина кроз цео чланак и ја ћу променити ствари за једноставност, или да се произведе више занимљивих сценарија употребе.

Ови виртуалисед окружења ће радити на Виндовс машинама, јер то је оно што већина канцеларија покренути. Обраде који канцеларијских машина не треба да се мешају са особљем коришћењем тих машина, треба да захтевају никакво одржавање у машину и да се лако размјестиве нове машине чим постану доступни. Такође, нове виртуелне машине, није потребно никакво додатно конфигурисање, јер то значајно смањује скалабилност и лакоћа којом Грид систем се може продужити.

Зашто Примените Канцеларија за рачунарске решетке?

Прво можете да размишља, зашто не користимо само рачунарских ресурса као што је облак ЕЦ2 платформу Амазон ? Па разлога може бити неколико, на пример:

• Нећете поверити одређене податке окружења цлоуд цомпутинг
• Не можете да се неке податке у средину цлоуд рачунарства за правних разлога (нпр. подаци одласка у иностранство), потенцијално и за правних разлога, нпр НХС-записа.
• Ви желите да задржите вашу пословних јединица у близини и имају пуну контролу над хардвер превише
• Немате средства за покретање пројекта инстанце облак
• Ваша канцеларија нема везу са Интернетом и стога то није могуће користити ресурс облак
• Не као киша, облаци сугеришу киша, тако да задржите и даље

Сигуран сам да списак може наставити, али мислим да је довољно за сада.

Предности ГРИД рачунарство канцеларије

Па, хајде да неке математике (и у праву физике стилу омогућава направити неке претпоставке чишћење). Замислите да имају велике јак за обраду Сервер 100 радних места дневно. У вашем канцеларији имате 50 машина које су у стању мировања 16 сати дневно, сваки од ових машина је 10% тако моћан као јак за обраду раскину. (Сви резултати су заокружени на ту потценити повећања перформанси).

Дакле, 1 машина * 10% сила * 2 / 3 времена = 0,067, односно 1 Десктоп прераду у време мировања могли да обрадимо 6 пуно посла дневно.

Ако сада плану ово се узима 15 мировања десктоп да обрадимо што више радних места по дану као свој главни сервер не обраде.

Дакле, у нашој канцеларији претварати од 50 машина можемо да повећамо нашу процесорске снаге од 1 до 4 сервера пуном сервера обраду, или смо могли да обраде 400 радних места по дану уместо 100.

Обавештење, без улагања у нови хардвер ваша компанија има управо повећала свој капацитет прераде серије 4 пута! Потенцијално ћете повећати коришћење енергије, али из већине канцеларијска окружења сам се на машине су углавном преко ноћи остало ионако, па могли сте да видите то као зелене иницијативе.

Друге предности значити да је улагање у нову (или ажурирано) обрада сервери могу бити одложена ако је ваша канцеларија машине су довољни и да је као да побољшате снагу својих канцеларијских машина ваше мреже Оффице постаје моћнији аутоматски.

Технологије

Шта вам је потребно? (Или тачније шта ја користим):

• Идле Канцеларијске машине (у мом случају резервни стари Уиндоус КСП лаптопа)
• ВиртуалБок (или неки други клијент софтвер за виртуелизацију)
• Виртуелни машина са ПХП, МиСКЛ руннингА ради смањити оперативни систем, зовем ове моје Лимп сервера:)
• Послови за покретање
• Посао сервера (може бити још једна виртуелна машина негде)

Типични послови

Врсте послова које је овај систем пројектован да ради је следећи:

• Систем прима листу података на основу којих треба да одговарају и резултате
• Упаривања подразумева проверу / потрази неколико (прилично статичан) извора података
• Резултати из извора података може захтевати додатно валидацију, спајање, провера додатних извора података као одговор на резултате
• Подаци се вратио са одговарајућим записима, у потпуности потврђене и обради
• Сваки запис у посао независно од остатка

Тако да у суштини ми тражимо у трчању пословима који захтевају мешавину базе података лоокуп и одређени број крцкање, прилично типичан сценарио у пословном окружењу.

Мрежа решења нису само корисне за обраду послове овог типа. У суштини, било који процес који се може поделити у независне јединице могу се изводити паралелно. Погледајте овај Википедиа за примере и додатне информације: Грид , али је неколико познатих примера СЕТИ @ хоме и БИОНЦ . Постоје оквири за покретање рачунарских решетки, а то је добро вреди гледа у.

Оно што ћемо постићи?

До краја ових чланака се надам да ћу показати да распоређивање канцеларија мреже не морају бити веома скупо или времена. Идем да размотре:

• Подешавање система контроле посао, посао конфигурације
• Креирање одговарајуће виртуелне машине за обраду
• Како подесити систем на Виндовс машини
• Обезбеђивање користите најновије кода и података
• Распоређивање и бенчмаркинг
• Поглед у будућност

Ја ћу бити зграде (ОК сам саградио, а затим је написао овај) примеру апликације за тестирање концепата на локалном рачунару користите Виндовс КСП и виртуалне машине мој 'ГридМацхине ". Мој посао контроле сервер ће бити моја главна машина која покреће Федора-11 .

То је ни на који начин треба да покаже потпуно радно робустан систем, његове значила више демонстрације и дискусије показују да се ове ствари могу постићи у разумно кратком временском року и уз мале трошкове. Молимо Вас да ми пошаљете било какве коментаре, исправке, побољшања или а ја ћу све од себе да овај чланак ажуриран на мечу.

Следећи пут

У делу 2 ја ћу почети гледајући на систем контроле посао, и погледајте на који начин треба да буде конфигурисан послове како би се постигла највећи износ од обраде истовремено обезбеђујући да сваки посао се обрађује без успети.

Коментари (1)

По Стивен Лојд Ваткин , петак, 4. децембар 2009 11:23 ПМ

Увод

Ја радим у фирми где смо покренули многе серије послове обраде милионе записа података сваки дан и био сам недавно размишљање о свим машинама које седе око сваки дан не раде ништа за неколико сати. Зар не би било добро ако бисмо могли да користе те машине да ојача процесорску снагу нашег система? У овом скуп чланака ћу да погледате потенцијалне користи од запошљавања канцеларије мрежу користите виртуалисед окружења.

У Део 1 сам дао преглед система и технологија ћу користити као и разговарали неке од могућих разлога због којих бисте желели да креирате мрежу канцеларије.

Контрола посао

Ако идете да радите посао онда ћете морати на неки начин да њима управљају. Ваш посао контроле система (на свом послу серверу) треба да буде заиста добро промишљена пре него да покуша да покрене мрежу канцеларија. Па прво, шта су задаци за посао система контроле:

• Послови руку на захтев радника
• Реците радници који тип радних места за покретање
• Пратите послове
• Уверите се да послови су само једном покренути
• Обезбедили податке посао радницима, или бар им кажете где да га добијете

Систем такође треба да буде проширив, решење које ради за сада у једном случају може се продужити за покретање неколико врста радних места, као пословне види вредност у мрежу решење. На пример, радна места могу стећи приоритете, више од једног посла типа могу да постоје (тј. неколико база код), на крају можете чак могу да раде више различитих машина радника који су оптимизовани за сваку врсту посла (иако то не да се удаљава од "генеричких радник 'идеја). Увек настојте да размишљају о будућности, кад развоја система, краткорочни визија може да доведе до дугорочне фрустрације и повећане време потребно за развој.

Посао сервер

Идемо негде да треба да контролише наш посао из, ово би требало да буде једини систем у мрежу која има фиксни Ресоурце Лоцатор, бити да ИП адресу, име хоста, УРЛ-а (коришћењем интерне ДНС-а), итд То је зато што радници треба да знају где да траже посао, радници морају да пронађу посао система контроле (не за посао систем контроле пронашли радници).

Посао Сервер себи не заиста има сложен задатак (у основни систем Уосталом), потребно је да складиште листу радних места, руку посао, добију резултати, а потом их складиште за касније прегледавање. Како овим просторима (као што је "руку посла) су дефинисани може бити врло основни. Касније можемо да прошири систем укључује интерфејс администрације да додате, едитујете, бришете, обустави радних места али ово је ван ове вежбе.

Нема разлога онда је то сервер посао не може бити виртуелна машина ради у оквиру свог главног сервера за обраду под условом да не превише одлив средстава из њега. Посао Сервер, међутим не треба високу доступност, ако се крене у петак увече ћете изгубити цео викенд обраде, потенцијално вас то кошта неколико недеља вредности време обраде (у односу на Ваш главни обраде серверу само) . Можда ћете желети да размотрите стављајући свој посао сервера на терет уравнотежен окружење за високу доступност.

Основна подешавања

Основни подешавање за наш посао сервера ће се састојати од онога што сам позив једног од мојих Лимп сервера (то је Ли Нук, М иСкл П КС). Код ради на Тхеа радници ће заиста схватити шта послове може да води у интеракцији са посла са базама података система контроле. Касније смо могли да креирате веб сервис и заправо руку посао него што радници раде тежак посао сами, али за сада ћемо наставити са коришћењем КИСС принцип (Држите га једноставно, глупо!).

Дакле, омогућава направити три миСКЛ табеле да се баве пословима. То ће бити `посао`, `јобРецордс`, и `јобРесултс`.

Ево ја сам помоћу СКЛ Бади велики мало алтернатива пхпМиАдмин само зато што њено лакше да инсталирате на ЦентОС (за други виде: 10 Велики алтернатива пхпМиАдмин )

Ова табела се састоји од 5 једноставних поља,

• ИД: идентификује посао
• Име: Може бити клијент референца, или било који број других идентификатора
• Статус: Ви треба да знате где је на посао, нпр
  • 0: Није почела
  • 1: покупили
  • 2: Завршено
• стартед_би: Ко је започео ради посао? То није у потпуности потребне, али је лепо имати. Хтео бих предложити праћење радника од стране њихових ИП адреса на мрежи
• стартед_ат: Када је радник почети посао? Праћењем послове који нису завршени у року од к времена знамо да је потребно да покупи посао и поново почети прераде од стране другог радника. Радници могао зауставити обраду / иду ту за било који број разлога, нестанка струје, пада система, мрежа губитак, итд

Лако је како би ова табела бити продужен уз неколико додатних поља како би се омогућило праћење статистике, заврши време колону да бисте видели колико дуго је посао, контра да видите колико је радника покупио посла (очигледно то треба да теже да 1), посао приоритета, списак може ићи даље и даље. У више сложен посао сценарија би било могуће да одредите колико меморије радник је потребан приступ (и стога користите одговарајуце раднике), или чак Који тип радника бити потребно.

Омогућава додавање неколико пример послови:

Наредна табела је опет прилично једноставан за схватити, то су наш посао евиденцију. Они су повезани са главне табеле послове по колони `јобс_ид`. Чине ове табеле много зависи од података које треба да понуде на раднике, омогућава да врло једноставан пример где имамо четири колоне:

• ИД: ИД записа
• Наме: име особе
• Адреса: Особа адресу
• јобс_ид: посао ИД који овај запис је повезан са

Трећи и финални сто се састоји од табеле резултата, то је исти као и чине нашу евиденцију табеле, а са додатком неких колона може да буде део табеле записа:

• јоб_рецорд_ид: Веза резултат посао табеле
• Резултат: Резултат подаци

... И то је све што вам је потребно за посао контролу! (Мада врло основни ниво) У мом случају сам указао на другу табелу у којој се налазио своје податке за обраду, али ово би могло исто тако лако да се датотеке, параметре за покретање кода симулација, ви то име.

Избор посао

Као што је раније наведено, радници ће учинити наш менаџмент посао за нас, за сада, тако да сви морамо да заиста урадите је да пронађете посао који захтева прераду и добити информације. Како би ми ово? Па изаберете наше критеријуме за избор и посао траже посао, у СКЛ сам урадио следеће:

1. Узми све послове који нису означени као комплетна, али од наших радника и ресетовање њих (замени __МЕ__ са идентификатором, најлакше би било ИП адреса):

     УПДАТЕ `пословима` сет `статусу` = 0 где `статуса` = 1 и `стартед_би` = __МЕ__; 

2. Користећи наш посао критеријума за избор, изаберите посао и кажем да је овај систем контроле радник се бави са тим:

     УПДАТЕ `пословима` сет `статуса` = 1, `стартед_би` = __МЕ__, `стартед_ат` = НОВ () ВХЕРЕ `статусу` = 0 или
    (`Статус` = 1 и `стартед_ат`> ДАТЕ_СУБ (САДА (), интервал Кс САТ)) ОРДЕР БИ `ид` АСЦ; 

   До Граббинг послове који нису се вратили резултате у Кс време смо осигурали да се сви послови раде у случају пада или радника иде АВОЛ.

3. Следеће зграбите послове детаље праћен сами евиденције:

     СЕЛЕЦТ * ФРОМ `пословима` ВХЕРЕ `стартед_би` = __МЕ__ ЛИМИТ 1;
    СЕЛЕЦТ * ФРОМ `јоб_рецордс` ВХЕРЕ `ид` = __ЈОБИД__; 

По завршетку посла смо уметнули наш резултат записа и Марк посао заврши. Запамтите Као што се радна места суспендује наставак у било које време дозволи за неке робусност у свом писму. Може бити да је задатак суспендује на пола пута до посла ажурирање система контроле, тако да провере броја записа у посао и број резултата сачуване у систему контроле посао би био мудар потез.

Поред тога, док ово показује како се посао ће бити изабрани и управљати из СКЛ-упита оквир заиста би требало да буде апстраховања свој посао контроле, тако да ако одлучите да пређете на коришћење веб сервиса, датотека систем заснован, КСМЛ , или било који други број система неће утицати код изнад.

Конфигурација за посао

Следећи аспект који треба размотрити је посао величине и конфигурације. Играјући са посла конфигурације можемо штрајк одличан баланс између брзине, процес репликације, и поузданост. Узмите неколико сценарија ОФА:

1. Послови узети 1 дан сваког да ради: То значи да је ваш радници треба 15 дана да обрадимо сваки посао (сетите се 10% енергије за 2/3рдс времена). Ово очигледно није мудро конфигурацију, величину посао је сувише велика! Било би потребно бар двоструко време да се посао би требало да обради почетне радник Го АВОЛ (време да се покупи који није вратио, плус резултат прераде време). У идеалном бисте имати барем један пун посла лако брише на крају сваког дугог периода мировања, тако да задржите посао откуцава више и у најгорем случају посао би два дана да процес треба да прво иду недостаје.
2. Послови узети 1 минут да се покрене: То значи да је ваш радници траје око 15 минута да ради сваки посао. Иако ово може изгледати идеално почетку, добијате додатни рад током прераде време ручка, кафе паузе, састанци, итд овакав сценарио ставља притисак на друге области ваш систем и уводи своје проблеме. На пример, прво подешавање / време за обраду однос ће ићи доле, па губи ефикасност система. Ваша мрежа ће бити стално стримовање посао информација различитих радника фрустрирајуће особље које Донг свом свакодневном раду. Такође, идеш да се више притисак на вашем серверу посао обраде као што је јело да се много и много малих делова рада на редовној основи. На крају, у овој ситуацији, ако ваш сервер посао иде доле ћете да креирате велики Назад дневник недовршеног посла, док би веће послове наставка обраде блажено несвесни да је посао сервер је потешкоће.

У стварности неће бити једна идеална конфигурација за мрежу за подешавање, много тога зависи од расположивих средстава, врсте посла, посла рокове захтеве, мрежни способности, и тако даље. Међутим, неке смернице ће бити:

• Величина послове, тако да сваки радник може да прође кроз барем 3-4 радних места у року од 15 сати (вероватно најдужи временски период мировања)
• Играј се са посла, тако да подешавање величине време постаје прилично безначајно у односу на време обраде (имајући у виду горе тачке).
• Ако се посао не заврши у двокреветној количину времена (можда и мање), можете очекивати да га заврше претпоставити да је отишао АВОЛ и почетак прераде га са другим радник. То значи да ћете можда морати да сачека до три пута нормалне дужине посао за то да се заврши (вероватно дуже ако касније посао не успе). Можда ћете желети да смањи овај пут, али будите опрезни да не смањује превише јер може да почнете да дуплирање обраде задатака на редовној основи.
• Посао треба да буде независно од услова у највећој могућој мери. Посао сервера, на пример, треба само бити контактиран на почетку и на крају сваког посла.
• Не заситити своју мрежу, то ће имати две негативне ефекте, ваш дневни особље ће наћи преко мреже фрустрирајуће и проблеми се могу јавити са везама из времена проблем који ће се само погоршати као што скали своје мреже.
• Обезбедити посао може да ради на вашим радницима. Ако Послови постати сувише интензивне меморије или простора на диску интензивна радна места ће почети Прекидам и једина ствар коју ћете приметити је пад у броју радних места обрађен без правог разлога.

Подношење Резултати посао

Приликом подношења резултате посао, важно је да проверите да резултати нису поднети други радник, поготово ако је тренутни радник је био скривен неко време.

Када су резултати подносе обезбеди да број резултата утакмица број записа у посао.

Као што је наведено раније, и не може се више истакао, изградња толеранције грешке у посао преузимање и достављање резултата. Радници могу (и највероватније ће) ићи у суспенд мода у већини незгодно пута и то треба да се цатеред за. Такође, једном у гостима апстрахујући своје резултате поднесак ће помоћи да одговарају за будуће промене у систему контроле посао много лакше да се баве.

Резиме

У овом сецтионА смо посматрали оно што је посао контроле сервера треба да уради и како да се врло основни систем подешен. Разговарали смо о томе како да бисте преузели посао из система контроле и како најбоље да подесите да добијете посао највише наш вашег система Оффице мрежу. До краја, пасус или два о достављању резултата на серверу посао контроле је представљена.

• Посао за контролу сервера управља пословима и осигурава да су завршили све радне јединице
• По апстраховања ваш посао изаберете / резултати подношење можемо променити технологију контроле сервера без много проблема
• Конфигуришите своје послове како би се осигурало да су покренути брзо и ефикасно без стављања превише притисак на инфраструктуру мреже, и без дуплирање обраде задатака на редовној основи.
• Проверите да ли изгради толеранцију грешке и грешке цхецкингА у своје рутине, радници могу обуставити и наставити и већина незгодно пута. Не заборавите да проверите да ли резултати већ поднео други радник.

Следећи пут

У делу 3 ми ћемо креирати наш виртуелни машине за прераду и поставили наше Виндовс машине да постане мировања радног времена радника.

Коментари (3)

По Стивен Лојд Ваткин , петак, 4. децембар 2009 11:03 ПМ

Увод

Ја радим у фирми где смо покренули многе серије послове обраде милионе записа података сваки дан и био сам недавно размишљање о свим машинама које седе око сваки дан не раде ништа за неколико сати. Зар не би било добро ако бисмо могли да користе те машине да ојача процесорску снагу нашег система? У овом скуп чланака ћу да погледате потенцијалне користи од запошљавања канцеларије мрежу користите виртуалисед окружења.

У Део 4 посматрали смо користећи алате како би се осигурало да користите најновију верзију кода и извора података тако да се добијени резултати су увек уп-то-дате са најновије пословне информације и логике.

Пре размештања

Пре него што примени свој Грид систем, ако постоји једна ствар коју урадите једну ствар и само то је ваш тренутни референтни систем! Без обзира шта да вам кажем колеге о томе колико је додатни посао, ваш систем ће да уради ако немате бројеве да направите резервну копију ове гаранције су ништа. Дакле,

• колико записа можете тренутно процес? Дневно? По сату?
• Колико времена је обично потребно да се окрене посао?
• Колико више капацитета имате?

Ту је и додатна питања:

• Ако ваш сервер за обраду (или неко од ваших обраде сервера) иде доле како ће то утицати на ваше могућности, ће вам бити осакаћена?
• Које предности надате / очекујемо да добијемо од Грид систем?
• Да ли су вам Канцеларијске машине може да ради посао?
• Да ли су ваши (или можете посао бити конвертован) да раде у овом стилу да се приказују?

Последњи велики Поента је да се време на било великих промена се ово свиђа. Ажурирајте свој код за обраду дело користећи нову методологију, бенцхмарк поново. Можда подесите обраду сервера за покретање виртуелну машину, после све обраде сервер ће само бити још један радник (само веома моћна један релативно). Дозволите нови процес да се населе.

Развој

Мој предлог би био да се Поп у канцеларију једног викенда обављају све инсталације и подешавања. Да ли ово само пре две недеље је празник и оставите тако других сиромашних момак да се бави последицама ... можда и не ...

Распоред за систем као што је овај треба да буде споро. Упркос томе што је релативно једноставна за подешавање Овај систем ће утицати на целокупну инфраструктуру канцеларији (и дигитални). Прво, избаце на неколико машина истовремено, прати мрежни саобраћај, како домаћини радник обавља на дан у дан основи. Можда ћете морати да промените конфигурацију посао у складу са вашим резултатима.

Када систем има решен са неколико машина (рецимо 10% свих канцеларијских машина, односно 5) води праћење мрежног саобраћаја и поново домаћин машине перформанце.А Даље репер, сада би требало да обраде 33% више радних места него ваш први репера. Проверите да ли је то тако, или да сте бар у овом Баллпарк. Ако не, да истражи шта се дешава пре него што се креће даље. Поновите овај циклус док не срећно све канцеларијске машине раде без убијања појединачне перформансе машине за брушење или мреже до застоја.

У свим временима држати бенцхмаркинг ", чак и након свега примена је направио. Проверите како нове исправке кода утиче брзину вашег система, проверите сви радници су у извештавању и обраду радних места. Полако (врло споро) прираст свој посао конфигурацију да бисте добили најбоље из вашег радника и мрежу.

Стоп!

Шта ако желите да зауставите своје раднике који раде на неко време? Они су сви тамо раде, регенерацију, и покушава своје најбоље за обраду података као што су гладни инсеката. Одговор може изгледати очигледно, али своју вредност додајући само у случају његове превидели. Једноставно измените обраду скрипту са Екит (0) ор дие () или неке друге изјаве да убије своју обраду посао. Важан разлог зашто смо увек покушавате да ажурирате на најновију обраду скрипт пре него што било који трчи!

Демонстрација система

Да би се напише овај низ кратких текстова сам створио веома мали мрежу да покаже технологије и методологије. Прочитао сам доста текстова, туторијала, и користи разне алате за подешавање и прате шта се дешава. Никако сам изашао и засићене целу канцеларију са саобраћајем и нити сам имао приступ редовном особље рачунара да виде како домаћин наступ је био под утицајем.

Мој систем је био веома скромни демонстрација заиста. Користио сам моје редовне радне површине подесите као сервер посао контроле. На овом сам имао инсталиран миСКЛ серверу инсталиран поставили као мајстор у репликацију, ПХП , а и СВН повезани преко Апацхе (за приступ преко радника ВМ).

Тада сам створио ЦентОС радник машине на ВиртуалБок-на 6 година стари Виндовс КСП-лаптопа. Ја подешавање Сцхедулед Таскс како је наведено после копирања ВМ на машину и пустите да иде.

Виртуелна машина је постављена са ПХП, субверзија, и МиСКЛ. Проверио сам огранак под називом "радник" из мог сервера посао контроле спремиште и побринули би могао да се ажурира преко 'СВН ажурирај ". Следећа подешавања сам МиСКЛ као роб и проверио да су подаци копирају из миСКЛ на серверу посао контроле до радник ВМ. После свега тога сам подешавање басх скрипту и Црон Јоб.

Моја обрада скрипта основи је дуж линије ове (врло једноставна ствари):

• Прочитајте у поље Име
• Рачунају број сличних имена у табели из извора података одржаној ВМ
• Рачунају број имена као горе, али цепање имена размаком (нпр. лично име, средњи, презиме)
• Поновљени овај процес 1.000 пута

Сваки посао је око 20 минута за приказивање. У једном тренутку сам отворио неколико примерака радник ВМ на лаптопу Виндовс и гледао радних места проверили сваки од радника ИП адреса. У овом тренутку ми је такође потврдио да репликације аутоматски рестартује.

Остављање лаптоп рачунар неактиван резултирало радника почиње да се процес послове са сервера посао контроле. Поновно коришћење лаптоп рачунара било је кашњења од око 30-60 секунди, ово је доста времена и особља би требало да буду свесни да њихове машине пауза за кратко време, када се враћају у машину. Новије машине не могу да имају паузу од овог дуго. Корист у износу од обраде обавља ове машине у току мировања периода би више да претеже особље морају да чекају кратком периоду (рецимо 1 минут) на доласку на њиховим машинама јутра (сам често дуже чека да је ово за Виндовс Дефендер ажурирање да се одржи), под условом да су били свесни овог (корисно време да зграбите кафа ујутру).

Све у свему осећам да сам уверен показала технологије која би могла да се користи за стварање таквог система. су показала сам да такав систем не ради на (веома) малом обиму и са још неколико експериментисање може се прилагодити се користи ресурсе машине канцеларије. Ако не дођете до тачке да се то уради био бих веома заинтересован да се зна / види када неко други ради.

Закључци / Евалуација

Очигледно следећи корак би био да се заиста добити прави пример светских и почети да примените систем као што је овај у канцеларијском окружењу и видети шта се дешава. Тражећи посао да се обавежу на то без горући траг компаније да докаже технологије и ефикасност може бити мало тешко. Грид и дистрибуиран рачунарство је веома популарна у неким круговима је и има неке велике апликације (БИОНЦ, СЕТИ @ хоме, Фолдинг @ Хоме, итд). Нисам, међутим, наћи мањем обиму и једноставан систем као што је то у мојим претрагама које би могле бити ваљане у року канцеларијско окружење.

Креирао сам у суштини бесплатан систем користећи углавном опен соурце софтвера и алата на располагању у скоро свакој канцеларији. Технологије су у основи показали и показују да обавља и посао као што се очекује. Надам се да сам показати да са не много посла и врло једноставан за подешавање можете да примените Оффице грид цомпутинг који је моћан, јефтина, а и скалабилан све у исто време.

Када систем горе и трчање готово да нема краја износ прилагођавања и побољшања можете направити. На пример, статистике / бенцхмаркинга може лако да се додају показује вредност таквог система сваки дан. Нове машине додају се брзо и лако, као и када стигну са надоградње постојећег хардвера јачању своје процесорску снагу.

Надам се да сте уживали читајући овај низ чланака и његове ви дате хране за мисли на покретање Канцеларије Грид систем. Решење је овде неће нужно радити у свим ситуацијама, али би требало да буде прилагодљив вам омогућити да добијете обрада података обавља преко своје решење.

Молимо Вас да ми пошаљете било какве коментаре, исправке, побољшања или а ја ћу све од себе да овај чланак ажуриран на мечу.

Коментари (0)

По Стивен Лојд Ваткин , у недељу 11. октобра 2009 6:09 ам

Ако сте недавно прешли ПХП или Апацхе сте можда долази против питање ваш веб сервер враћа празне странице, као и бацање поруке о грешци у своје логове без појма зашто, ево један могући начин да се то поправити ...

Имао сам овај проблем недавно је неколико пута након надоградње на Апацхе или ПХП виртуелну машину. Први пут сам приметио грешку сам једноставно вратила на резервне копије мојих ВМ, али други пут сам схватила да ћу морати да размотри питање.

Први пут сам приметио проблем неке моје веб страница су се служили као празан датотеке док су остали радили апсолутно у реду. Након неколико истрага сам приметио да је Апацхе је исписивањем у / вар / лог / ХТТП / еррор_лог са следећу поруку репеатидли:

[Обавештење] детета ПИД КСКСКСКС излаз сигнала Грешка сегментације (11)

Не постоји одредити да идем он-лине, а већина од страна о њему траг Искључено да ништа. То је рекао, ја сам сузила питање на ПХП пада када покушате да непотребне динамичке библиотеке.

Гледајући моје пхп.ини фајлу (/ етц / пхп.ини) сам коментарисао све динамичке библиотеке учитане за планирање на њих коментаришући поново по потреби. Две сам морао да извади где пдо.со и МиСКЛ тако..

Једном су они били уклоњени све моје уеб странице су се служили у реду, баш као и пре ПХП / Апацхе ажурирање.

Коментари (0)

По Стивен Лојд Ваткин , у суботу 11. јула 2009 9:48 ам

Као што сам провео још неколико сати данас без интернет Мислио сам да је боље да се овом доле написано, тако да следећи пут сам неред мој лаптоп се информације лако поправити.

У суштини да се бежичну возачи који раде за Ацер 5002 ВЛМи мораћете да користите Б43-фвцуттер. Упутства можете наћи овде: Линук-Бежични Б43 .

Једноставно када је информација налази.