Вовед
Јас работам во компанија во која трчаме многу серија работни места обработка милиони на евиденција на податоци секој ден и јас си помислив неодамна за сите машини кои седат околу секој ден не се прави ништо за неколку часа. Зарем не би било добро ако би можеле да ги користат овие машини за да ја зајакне моќ на процесирање на нашите системи? Во овој сет на статиите, ќе одам да се погледне на потенцијалните придобивки од вработување на канцеларија мрежа користење виртуализирани средини.
Во Дел 1 дадов преглед на системот и технологии ќе биде со користење, како и како што беше дискутирано некои од потенцијалните причини зошто вие би сакале да се создаде канцеларија мрежа.
Работа контрола
Ако си оди за да се работи работни места, тогаш се случува да треба некој начин да управуваат со нив. Вашата работа на системот за контрола (на вашата работа сервер) треба да биде навистина добро обмислен пред дури и се обидува да се кандидира канцеларија мрежа. Значи прво, она што се задачите за работа на системот за контрола:
- Рака работни места по барање од работниците
- Кажете работници каков тип на работни места за да се кандидира
- Песна работни места
- Осигурајте се дека работите се работи само еднаш
- Обезбеди работа податоци за работниците, или барем да им каже каде да го добие
Системот, исто така треба да биде растеглива, решение кое работи сега за сега во еден случај може да се продолжи да се кандидира неколку видови на работни места, како на бизнис го гледа во вредност од мрежа решение. На пример, работни места може да се здобијат со приоритети, повеќе од еден тип на работата може да постои (т.е. неколку кодот бази), на крајот дури и може да работи на неколку различни работник машини кои се оптимизирани за секој тип на работа (иако тоа не се движат подалеку од "генерички работник "идеја). Секогаш се трудам да се размислува за иднината, кога развој системи, краток рок визија може да доведе до долгорочно фрустрација и зголемување на развој време.
Работа Server
Ние ќе треба некаде да се контролира нашата работа од, ова треба да биде единствениот систем во вашата мрежа која има фиксна локатор, да биде дека IP адреса, името на домаќинот, рачно (со користење на внатрешниот DNS), итн Тоа е затоа што работниците треба да знаат каде да бараат работа, работниците треба да се најде работа системот за контрола на (не на работа на системот за контрола се најде на работници).
На работа серверот сам по себе не навистина имаат комплицирана задача (во основен систем во секој случај), таа треба да се сместат листа на работни места, од рака, работни места, да се примаат резултати, а потоа и ги чува за подоцна пронаоѓање. Како овие делови (како "од рака работни места") се дефинирани може да биде многу основни. Подоцна може да се прошири системот да го вклучите администрација интерфејс за да додадете, уредувате, бришете, да го суспендира работни места, но ова е надвор оваа вежба.
Нема причина она тогаш дека вашата работа серверот не може да биде виртуелната машина работи во рамките на вашиот главната обработка на серверот доколку не се исцеди премногу ресурси од него. На работа на серверот сепак е потребна висока достапност, ако тоа оди надолу на вечер петок си оди за да се изгуби целиот викенд на обработка, потенцијално да ве чини неколку недели во вредност од времето за обработка (во споредба со вашата главна обработка на серверот сам) . Можеби ќе сакате да се разгледа ставајќи вашата работа сервер на товар избалансиран животната средина за висока достапност.
Основното поставување
Основните подесување за нашата работа серверот ќе се состои од она што јас го повикувам еден од моите Limp сервери (што е Li nux, м ySql, P HP). На код се извршува на Thea работници, всушност, ќе работат од она што работни места тоа може да работи преку интеракција со со работа системот за контрола на бази на податоци. Подоцна би можеле да се создаде веб сервис, а всушност од рака работни места наместо на работниците прават напорна работа самите себе, но сега за сега ние ќе продолжиме со користење на KISS принцип (Нека биде едноставно, глупав!).
Значи, да се создаде три MySQL табели да се справи со работни места. Тие ќе бидат `работни места`, `jobRecords`, и `jobResults`.
Еве јас користам SQL Бади голем малку алтернатива на phpMyAdmin само поради тоа што нејзините полесно да се инсталира на CentOS (за другите да видат: 10 Велики алтернативи на phpMyAdmin )
Оваа табела се состои од 5 едноставни полиња,
- ID: Уникатно идентификуваат работа
- Име: Може да биде клиентот референца, или било кој број на други идентификатори
- Статус: Вие треба да знаете каде што работа е во, на пример,
- 0: Не е стартуван
- 1: зедов
- 2: Завршено
- started_by: Кој започна да прави на работа? Ова не е целосно потребна, но е убаво да се имаат. Би му сугерираат следење на работниците со нивната IP адреса на вашата мрежа
- started_at: Кога работникот започне на работа? Со следење на работни места кои не се заврши во рок од Х сума на времето што знаеме ние треба да ги собереш на работа уште еднаш и да почне обработка од страна на друг работник. Работници би можеле да запри со обработката / go присутен за било кој број на причини, прекин на електричната енергија, несреќата, мрежна загуба, итн
Тоа е лесно како оваа табела може да се прошири со неколку дополнителни полиња за да се овозможи статистика СЛЕДЕЊЕ, финиш време колона да видите колку долго на работа зеде, контра за да видите колку работници зедов работата (очигледно ова треба да се стремат кон 1), работа приоритет, листата може да продолжи и натаму. Во посложени работа сценарија тоа ќе биде можно да се определи колку меморија на работникот ќе им треба пристап до (а со тоа само го користите соодветни работници), или дури и каков тип на работник ќе биде потребен.
Ај додадете неколку пример работни места:
Во следната табела повторно е доста едноставна да се разбере, овие се наша работа записи. Тие се поврзани со основни работни места, маса од страна колона `jobs_id`. Сочинуваат на оваа табела многу зависи од податоците кои ви се потребни за снабдување на вашите работници, да се направи еден многу едноставен пример, каде што имаме четири колони:
- : ID на рекорд
- Име: Име на лицето
- адреса: адреса на лицето
- jobs_id: На работа ID што овој рекорд е поврзано со
Третата и последна маса се состои од еден резултати маса, таа има многу исти сочинуваат како што е нашата евиденција маса, и со додавање на некои колумни би можело да биде дел од евиденцијата табела:
- job_record_id: линк резултатот на работа маса
- резултат: Резултат податоци
... И тоа е се што ви треба за работа контрола! (Иако во многу основно ниво) Во мојот случај јас сум укажа на друга маса каде што моите податоци на процесот бил лоциран, но тоа може само така лесно е датотека, параметри да се кандидира симулација код, можете името на таа.
Изборот на работа
Како што е наведено претходно, работниците ќе се потрудиме работа за управување со за нас сега за сега, така што сите ние треба навистина да направите е да најдете работа што треба обработка и да добијат информации. Како ние би го направил тоа? И изберете нашата работа критериуми за селекција и да бараат работни места, во SQL го направив следново:
- Да ги преземат сите работни места кои не се означени како завршен, но од нашиот работник и ресетирање на нив (замени __ ME__ со идентификатор, најлесен ќе биде IP адреса):
Ажурирање `работни места` СЕТ `статусот` = 0 КАДЕ `статусот` = 1 И `started_by` = __ ME__;
- Користење на нашата работа критериуми за селекција, изберете работа и да се каже систем за контрола дека овој работник е се занимаваат со неа:
Ажурирање `работни места` СЕТ `статусот` = 1, `started_by` = __ ME__, `started_at` = СЕГА () КАДЕ `статусот` = 0 или
(`Статусот` = 1 И `started_at`> DATE_SUB (сега (), интервал Х час)) Подреди по `id` ASC;
Од грабање работни места кои не се вратија резултати во Х сума на времето ние се осигура дека сите работни места се одвива во случај на работник паѓа или ќе awol.
- Следна го дофати работни места детали проследено со евиденцијата себе:
Select * from `работни места` КАДЕ `started_by` = __ ME__ ГРАНИЧНИТЕ 1;
Select * from `job_records` КАДЕ `id` = __ JOBID__;
По завршувањето на работа се внесува нашите резултат евиденција и одбележување на работа како завршена. Запомни како работни места може да суспендирање / продолжување во секое време им овозможи за некои стабилноста во Вашата скрипта. Тоа може да биде дека задачата суспендира половина пат низ ажурирање на работа на системот за контрола, па проверка на бројот на записи во една работа, а бројот на резултати спаси назад на работа на системот за контрола ќе биде мудар потег.
Покрај тоа, додека Ова покажува колку работни места може да бидат избрани и успеа од SQL-пребарување рамка што навистина треба да се црпење на вашата работа контрола, така што, ако одлучат да се префрлат на користење на веб сервис, датотека базиран систем, XML , или било која друга број на системи за тоа нема да влијае на кодот над неа.
Работа Конфигурација
Следниот аспект е да се разгледа работа големина и конфигурација. Како играат со работа вашата конфигурација може да штрајк одличен баланс помеѓу брзина, процесот репликацијата, и сигурност. Да потрае неколку ОРД сценарија:
- Работни места се земе 1 ден секој да се кандидира: Ова значи дека вашиот работниците треба 15 дена да се процесира секое работно место (се сеќавате на 10% од моќта за 2/3rds на време). Ова не е јасно мудар конфигурација, вашата работа големина е премногу голема! Тоа ќе бидат потребни најмалку двојно време за да се добие работа обработени првичните работник треба да оди awol (време да собереш дека тоа не ја вратил резултат плус преработка време). Во еден идеален ќе треба најмалку една целосна работа лесно ослободен од крајот на секој долг неактивен период, на тој начин да се задржи на работни места темпирана над и во најлош случај работа ќе потрае два дена за да процесот на прво треба да одат водат за исчезнати.
- Работни места се 1 минута да се кандидира: Ова значи дека вашето работници трае околу 15 минути за да ја стартувате секоја работа. Додека ова уште на почетокот може да изгледа идеално, да се добие дополнителна работа за обработка за време на ручек време, паузите за кафе, состаноци, итн ова сценарио става притисок врз други области на вашиот систем и ги воведува свои проблеми. На пример, прво вашиот подесување / време за обработка на сооднос се случува да одам право надолу, па затоа губи ефикасноста на системот. Вашата мрежа ќе биде постојано стриминг работа информации на различни работници фрустрирачки за вработените кои се донг нивниот ден на ден работа. Ти си исто така ќе се стави повеќе вирус на вашата работа обработка на серверот, како што има да ни ги подметне многу, многу мали парчиња на работа, на редовна основа. И на крај, во оваа ситуација ако вашата работа серверот оди надолу си оди за да се создаде огромен назад најавите на нецелосен работа додека поголеми работни места може да продолжи на обработка на блажено свесни дека работата серверот беше тешкотии.
Во реалноста нема да има една идеална конфигурација за мрежа поставувањето, многу зависи од расположливите ресурси, видови на работа, работа пресврт време барања, мрежа способност, и така натаму. Сепак, некои насоки ќе бидат:
- Големина на работни места, така што секој работник може да се добие низ најмалку 3-4 работни места во рок од 15 часа (најдолго најверојатно неактивен временски период)
- Играј со работа големина, така што подесување време станува прилично незначаен во споредба со времето за обработка (имајќи го во предвид погоре точка).
- Ако има некоја работа не заврши во дупло време (можеби помалку) што се очекува тоа да се заврши се претпостави дека неговата качил awol и да почне обработка со друг работник. Ова значи дека можеби ќе треба да чекаат до три пати повеќе од нормална должина на работа за тоа да се заврши (можеби повеќе, ако после работа не). Можеби ќе сакате да се намали тоа време, но бидете внимателни да не го намали премногу како што може да започне повторување обработка на задачи на редовна основа.
- Работни места треба да бидат независни од надвор барања колку што е можно. На работа на серверот, на пример, само треба да се контактира на почетокот и на крајот на секое работно место.
- Не го задоволите вашиот мрежа, тоа ќе има два негативни ефекти, вашата дневна персонал ќе се најде со помош на мрежата фрустрирачки и проблеми може да биде искуство со врски тајмингот од еден проблем кој само ќе се влоши како ќе го зголемите вашиот мрежа.
- Обезбеди работни места може да работи на вашиот работници. Ако работни места стане премногу меморија интензивна или простор на дискот интензивна работа ќе започне прекинувам и единственото нешто што ќе забележите е една капка во бројот на работни места, обработени со никаква конкретна причина зошто.
Поднесување на резултатите од работа
При поднесување на резултатите од работа, важно е да се провери дека резултатите не се поднесени од страна на друг работник, особено ако тековната работник е хибернација за некое време.
Кога резултатите се доставени се осигура дека бројот на резултати се совпаѓа со бројот на записи во рамките на работа.
Како што е наведено претходно, а не може да биде над нагласи, се изгради толеранција на грешка во работа на пронаоѓање и поднесување резултати. На работниците може да (и, најверојатно, ќе) одат во суспендира владата на повеќето неповолно пати и тоа треба да се грижеа за. Исто така уште еднаш црпење далеку вашите резултати поднесување ќе помогне грижиме за идните промени на вашата работа на системот за контрола многу полесно да се справи со.
Резиме
Во овој section имаме погледна во она што работа контрола серверот треба да се направи и како да се добие многу основни воспостави систем. Разговаравме како да добијам работа од контролниот систем и тоа како најдобро да го конфигурирате работни места за да се добие најмногу нашите од вашата канцеларија мрежа систем. До крај, став или две за доставување на резултатите назад на работа за контрола на серверот беше презентирана.
- А за работа за контрола на серверот управува работни места и гарантира дека сите работни единици се завршени
- Од црпење на вашата работа изберете / резултати поднесување можеме да го промениме технологијата на контрола на серверот без многу проблеми
- Конфигурирајте ја вашата работни места за да се осигура дека тие се кандидира брзо и ефикасно, без ставање премногу притисок врз вашата мрежна инфраструктура, и без повторување обработка на задачи на редовна основа.
- Се осигура дека ќе се изгради грешка толеранција и грешка checking во вашите секојдневни навики, работниците може да го суспендира и да продолжи и на повеќето неповолно пати. Не заборавајте да проверите дали резултати веќе се поднесени од страна на друг работник.
Следниот пат
Во Дел 3 ќе се создаде нашиот виртуелен машина за обработка и да се воспостави нашите прозорци машини за да стане мрзлив работно време.