Канцеларија грид компјутер со виртуелни средини - Дел 5

Со Стивен Лојд Watkin , петок 4 декември, 2009 година 11:03

Вовед

Јас работам во компанија каде што трчаме многу серија работни места обработка милиони евиденциите на податоци секој ден и јас сум бил размислување неодамна за сите машини кои седат околу секој ден прават ништо за неколку часа. Зарем не би било добро доколку можеме да ги користат овие машини за да ја зајакне процесорска моќ на нашите системи? Во овој сет на статиите, ќе одам да се погледне на потенцијалните придобивки од вработувањето канцеларија решетка со користење виртуализирани средини.

Во Дел 4 Ги свртевме погледите кон користење на алатки за да се осигура дека ние сме работи за најновата верзија од кодот и извори на податоци, така што добиените резултати се секогаш up-to-date со најновите бизнис информации и логика.

Pre-Распоредување

Пред имплементирање на вашата мрежа систем, ако има едно нешто што го правите и една работа само тоа е репер Вашата моментална систем! Без разлика што да ти кажам колегите за тоа колку дополнителна работа на вашиот систем ќе го направи, освен ако имате бројки, за да ја поддржат оваа вашиот гаранции не се ништо друго. Значи,

  • колку записи можете да процесот во моментов? На ден? На час?
  • Колку време е вообичаено се да се сврти на работа?
  • Колку повеќе капацитет имате?

Исто така има дополнителни прашања:

  • Ако твојот сервер обработка (или еден од вашите обработка сервери) се спушта како тоа ќе влијае на вашите способности, ќе биде осакатена?
  • Кои биле предностите што се надевате / очекуваат да добијат од мрежа систем?
  • Дали вашата канцеларија машини способни за водење на работни места?
  • Дали вашите (или може да ви работни места да се конвертира) да работат во овој стил на трчање?

Во последните Главната поента е да не брзајте на некои големи промени се допаѓа ова. Ажурирајте го вашиот код да се работи за преработка со користење на новата методологија, повторно репер. Веројатно го поставите вашиот сервер да се кандидира за обработка на виртуелна машина, после сите ваши обработка на серверот ќе биде само уште еден работник (само многу моќна еден релативно). Дозволи новиот процес да се смири.

Распоредување

Мој предлог би бил да се поп во канцеларија еден викенд ги изврши сите инсталации и подесување. Дали ова само пред две недели на одмор а и остави толку други сиромашни момче за да се справи со последиците не ... можеби ...

Распоредување на системот како тоа треба да биде бавен. И покрај тоа што е релативно едноставно да се воспостави овој систем ќе влијае на целата своја канцеларија инфраструктура (и дигиталниот еден). Прво, наново да се неколку машини во еден момент, надгледување на мрежниот сообраќај, како работник Силите изврши на ден-за-ден основа. Можеби ќе морате да го измените Вашиот работа конфигурација како одговор на вашата наоди.

Откако системот се населил со неколку машини (да речеме 10% од сите канцелариски машини, односно 5) задржи мрежа за мониторинг на сообраќај и домаќин машина performance. Следна репер повторно, сега треба да обработува 33% повеќе работни места од вашиот прв репери. Проверете тоа е така, или дека ти си барем во оваа груба проценка. Ако не го испита она што се случува пред да се пресели на. Повторете го овој циклус, додека не се сите среќно канцелариски машини работат без убивање поединечни перформансите на машината или мелење вашата мрежа за да застој.

Во сите времиња задржи бенчмарк, дури и по сите распоредувања се прават. Проверете како нов код надградби влијае на брзината на вашиот систем, проверете ги сите работници се за известување и обработка на работни места. Полека (лека полека) прираст вашата работа конфигурација за да го добиете најдоброто од работниците и со мрежа.

Стоп!

Што ако сакате да го запрете вашето работници од трчање по некое време? Сите тие се таму по ред, регенерирање, и се обидува од себе да обработува податоци како гладни инсекти. Одговорот можеби изгледа очигледно, но нејзината вредност додавајќи само во случај нејзиниот занемарува. Едноставно ги менувате вашите обработка на скрипта со излез (0) или да умре () или некоја друга изјава да го уништи вашиот обработка на работа. Важна причина зошто ние секогаш се трудиме да се ажурираат на најновите обработка на скрипта, пред било кој работи!

Демонстрација на системот

Со цел да се напише овој сет на кратко статии создадени многу мали решетка за да се демонстрира технологии и методологии. Читам многу статии, вежби, и користат различни алатки за подесување и да следат што се случува. Во никој случај не сум излезат и заситени цела канцеларија со сообраќајот и ниту сум имал пристап до редовните членови на персоналот компјутер за да видите како домаќин настап беше под влијание.

Мојот демонстрација систем беше многу смирен, навистина. Се користи моите редовни десктоп постави како работа за контрола на серверот. На оваа имав инсталирано MySQL сервер инсталиран постави како господар во репликација, PHP , В и SVN се поврзани преку apache-то (за пристап преку работник В.М.).

Јас тогаш се создаде CentOS работник машина за VirtualBox на 6 години со Windows XP лаптоп. Јас подесување на закажани задачи како што е наведено по копирање на В.М. кон машината и нека оди.

На виртуелната машина беше формирана со PHP, на субверзија, и MySQL. Се проверуваат од гранка со име "работник" од мојата работа контрола сервери складиштето и се сигурни дека тоа би можело да биде надграден со "svn update. Следна подесување MySQL како роб и востанови дека податоците се реплицира од MySQL на работа контрола Серверот на работникот В.М.. По сево ова подесување на bash скрипта и закажана задача.

Мојот обработка на скрипта во основа отиде по линии за тоа (многу едноставно работи):

  • Прочитајте во име на поле
  • Изброи бројот на слични имиња во табела од изворот на податоци одржан на В.М.
  • Пребројуваше број на имиња како погоре, туку поделба на името со празни места (т.е. своето име, средно, презиме)
  • Повтори овој процес 1.000 пати

Секоја работа се околу 20 минути. Во еден момент ја отворив неколку копии на работникот В.М. на прозорците лаптоп и го гледал работни места да се штиклирани со секој работник на IP адреси. Во овој момент јас, исто така, потврди дека репликација автоматски рестартиран.

Оставањето на лаптопот на неактивен резултираше во еден работник почнува да работи процес од работа за контрола на серверот. Кога продолжување на лаптоп користење имаше задоцнување од околу 30-60 секунди, ова е фер временски период и вработените ќе треба да бидат свесни дека нивната машина може да пауза за кратко време, кога се враќа на машината. Понови машини не може да има пауза од овој долг. Во корист на износот на обработка изведена од овие машини за време на неактивност ќе периоди кои ги надминуваат повеќе членови на персоналот да се чека еден краток период (да речеме 1 минута) на пристигнувањето на нивните машини од утро (јас често се чека подолго од тоа, за Windows Defender ажурирање, за да се одржи) под услов тие да се направи свесни за тоа (корисен време за да посегне по утринското кафе!).

Генерално јас се чувствувам сигурен дека сум ја демонстрираше технологија што може да се користи за создавање на таков систем. Се покажаа дека таков систем се работи за (многу) мала скала и со некои повеќе експерименти би можеле да бидат намалени до користат ресурсите на машини канцеларија е. Ако не ми дојде до точка на тоа јас ќе бидам многу заинтересирани да знаат / гледаат кога некој друг го прави тоа.

Заклучоци / евалуација

Следниот чекор ќе биде очигледно да всушност реално светот пример и ќе почне да распореди систем како што е овој во рамките на една канцеларија на животната средина и да видиме што се случува. Поставување на бизнис да се заложат за тоа без трага пламнал фирма да ја докаже ефикасноста и технологија може да биде малку тешко. Грид / Дистрибуирани компјутерски е многу популарен е некои кругови и има некои големи апликации (BIONC, SETI @ Home, Folding @ home, итн.) Јас не, сепак, се најде во помал обем и едноставен систем како овој во моите пребарувања што може да се одвива во рамките на една канцеларија на животната средина.

Се создаде основа бесплатен систем со користење главно софтвер со отворен код и кои се достапни во речиси секоја канцеларија. Технологии се основа покажа и покажува да се изврши и работи како што треба. Се надевам дека можам да покаже дека со не многу работа и со еден многу едноставен подесување може да се распореди канцеларија мрежа компјутерски систем кој е моќен, евтини, а и скалабилни сите во исто време.

Откако системот е и работи речиси и да нема крај на износот на прилагодување и подобрувања може да се направи. На пример статистики / бенчмарк лесно може да се додаде покажувајќи на вредноста на таквиот систем секој ден. Нови машини може да се додаде брзо и лесно, како и кога ќе пристигнат со надградбите на постојните хардвер зацврстување на вашата моќ на процесирање.

Се надевам дека ќе сум уживал читањето на оваа серија на написи и ви даде храна за размислување на водење на канцеларија мрежа систем. Решението презентирани овде ќе не мора да работат во сите ситуации, но треба да бидат прилагодливи за да ви овозможи да добиете податоци за обработка се изведува со помош свој решение.

Слободно можете да ме праќајте било какви коментари, корекции или подобрувања и јас ќе дадам се од себе да го задржи овој член групно да се совпаѓаат.

3 Responses to "Канцеларијата Grid Computing со виртуелни средини - Дел 5"

  1. [...] Завршниот дел од оваа серија, потполност име Дел 5, ние ќе разговараме имплементирање на овој систем за. Ќе ги сумирам она што се дознава и [...]

  2. Здраво таму, Велики статија пријателе! Јас сум уморен од користат RSS feeds и се користи Твитер за да можам да те следам таму: Д
    ПС: Дали се смета пуштање на видео на Вашиот блог да се задржи на читателите повеќе ужива Мислам дека тоа функционира, Роланд Gorychka?.

  3. Види Твитер на десната страна од секоја страница. Ви благодариме!

Оставете Одговори













Панорама Тема од Themocracy

5 посетители онлајн сега
4 Гости, 1-ботови, 0 членови
Макс посетители денес: 15 во 08:24 UTC
Овој месец: 26 во 2011/07/05 12:35 UTC
Оваа година: 28-03-2011 во 130 22:40 UTC
Сите времиња: 130 на 28-03-2011 10:40 UTC