Упраўленне Grid Computing выкарыстаннем віртуальных асяроддзяў - Частка 5
Увядзенне
Я працую ў кампаніі, дзе мы запускаем працу пакетнай апрацоўкі мільёнаў запісаў дадзеных кожны дзень, і я думаў нядаўна пра ўсіх машынах, якія сядзяць кожны дзень нічога не рабіць на працягу некалькіх гадзін. Не было б добра, калі мы маглі б выкарыстоўваць гэтыя машыны для ўмацавання вылічальнай магутнасці нашых сістэм? У гэты набор артыкулаў я буду глядзець на патэнцыйныя выгады ад выкарыстання офіса сеткі выкарыстаннем виртуализованных асяроддзях.
У частцы 4 мы глядзелі на выкарыстанні інструментаў для забеспячэння таго, каб мы ўстаноўлена апошняя версія кода і дадзеных крыніц, з тым, што атрыманыя вынікі заўсёды ў нагу з актуальны з апошнімі бізнес-інфармацыі і лёгіцы.
Перад разгортваннем
Перад разгортваннем падвеснай сістэме, калі ёсць адна рэч, вы робіце, і адно толькі гэта тэст бягучую сістэму! Усё роўна, што вы расказаць калегам пра тое, як шмат дадатковай працы вашай сістэмы будзе рабіць, калі ў вас ёсць нумара, каб падтрымаць гэта вашы гарантыі нічога. Такім чынам,
- колькі запісаў вы можаце працэсу ў цяперашні час? У дзень? У гадзіну?
- Колькі часу звычайна займае павярнуць працу?
- Як шмат больш магчымасцяў у вас ёсць?
Там таксама дадатковыя пытанні:
- Калі ваш сервер апрацоўкі (або адзін з вашых сервераў апрацоўкі) ідзе ўніз як гэта паўплывае на вашыя магчымасці, вы будзеце калека?
- Якія перавагі вы спадзеяцеся / чакаеце атрымаць ад падвеснай сістэме?
- Вашы машыны офіс можа працаваць працоўныя месцы?
- Вашы (ці вы можаце быць ператвораныя працоўных месцаў) для працы ў гэтым стылі працуе?
Апошняя буйная кропка цікава правесці час на якіх-небудзь сур'ёзных змяненняў, як гэта. Абнаўленне апрацоўкі кода для працы з выкарыстаннем новай метадалогіі, тэст зноў. Магчыма наладзіць сервер апрацоўкі для запуску віртуальнай машыны, пасля ўсіх вашых апрацоўкі серверам будзе проста яшчэ адзін рабочы (толькі вельмі магутны адносна). Дазволіць новага працэсу па ўрэгуляванні.
Разгортвання
Мая прапанова было б поп у офісе адзін уік-энд выконваць усе ўстаноўкі і настройкі. Рабіце гэта як раз перад двухтыднёвы адпачынак і адпачынак, каб іншыя небарака мець справу з наступствамі ... можа і не ...
Разгортванне сістэмы, як гэта павінна быць павольным. Нягледзячы на яго параўнальна просты ў ўстаноўцы гэтай сістэмы будзе ўплываць на ўсю інфраструктуру офіса (а лічбавы). Па-першае, раскачаць на пару машын у той час, маніторынг сеткавага трафіка, як работнік выконвае хост ў дзень, у дзень аснове. Магчыма, вам прыйдзецца змяніць вашу працу канфігурацыі ў адказ на вашыя высновы.
Пасля таго як сістэма пасяліўся з некалькіх машын (скажам 10% усіх офісных машын, т. 5) трымаць маніторынг сеткавага трафіка і машыне performance. Наступны тэст яшчэ раз, цяпер вы павінны апрацоўваць 33% больш працоўных месцаў, чым ваш першы паказчыкаў. Праверце гэта так, або што вы па крайняй меры ў гэтым прыблізныя. Калі няма, даследаваць, што адбываецца, перш чым рухацца далей. Паўтарыце гэты цыкл, пакуль вы з радасцю ўсё офіснай тэхнікі працуе без забойства асобных прадукцыйнасць машыны або шліфавальных сеткі ў тупік.
Ва ўсе часы трымаць бенчмаркинга, нават пасля ўсіх разгортвання зробленыя. Праверце, як новыя абнаўлення кода ўплывае на хуткасць вашай сістэмы, праверце ўсе работнікі справаздачнасці і апрацоўкі заданняў. Павольна (вельмі павольна) прырост вашай канфігурацыі заданні, каб атрымаць лепшыя з вашых работнікаў і сеткі.
Стоп!
Што рабіць, калі вы хочаце спыніць працоўных з якія працуюць на некаторы час? Яны ўсе там працуе, рэгенеруе, і з усіх сіл спрабуюць апрацоўваць дадзеныя, як галодныя казуркі. Адказ можа здацца відавочным, але яго варта дадаваць толькі ў выпадку яго ўвагі. Проста зменіце сцэнар апрацоўкі з выхадам (0) або памерці () або некаторыя іншыя заявы, каб забіць вашага заданні апрацоўкі. Важная прычына, чаму мы заўсёды імкнемся, каб абнавіцца да апошняй апрацоўкі сцэнарыя да таго, бяжы!
Дэманстрацыя сістэмы
Для таго, каб напісаць гэта мноства кароткіх артыкулаў, якія я стварыў вельмі маленькі сеткі для дэманстрацыі тэхналогій і методык. Я прачытаў шмат артыкулаў, навучальныя дапаможнікі і выкарыстоўваць розныя інструменты для наладкі і маніторынгу, што адбываецца. Ні ў якім выпадку я выйшаў і насычаным ўвесь офіс з рухам і, ні ў мяне не было доступу да рэгулярных ПК супрацоўнікаў, каб убачыць, як гаспадар выкананне якіх паўплывалі.
Мой дэманстрацыі сістэмы была вельмі сціплай сапраўды. Я выкарыстоўвала свой рэгулярны працоўны стол настроены як сервер кіравання заданнямі. На гэтым я быў усталяваны MySQL сервер усталяваны настроены як майстар ў рэплікацыі, PHP , А і SVN звязаныя праз Apache (для доступу праз працоўны VM).
Затым я стварыў CentOS машыну работніка на VirtualBox на 6-гадовы ноўтбук Windows XP. Я ўстаноўкі запланаваных задач, як паказана пасля капіявання VM на машыну і адпусціць.
Віртуальная машына была створана з PHP, падрыўной дзейнасці, і MySQL. Я праверыў галінку "працоўны" ад маёй работы ўпраўлення серверамі і сховішчам пераканайцеся, што яно можа быць абноўлены з дапамогай "SVN Update". Затым я ўстаноўкі MySQL ў якасці раба і праверыць, што дадзеныя рэплікацыі з MySQL на серверы кіравання заданнямі да работніка VM. Пасля ўсяго гэтага я магу наладзіць скрыпт Bash і хрон.
Мой сцэнар апрацоўкі ў асноўным пайшлі па лініі гэтага (вельмі простыя рэчы):
- Чытайце ў поле імя
- Падлічвалі колькасць падобных імёнаў у табліцу з крыніцы дадзеных які адбыўся В.М.
- Падлічвалі колькасць імёнаў, як і вышэй, але расшчаплення назве па прасторы (напрыклад, імя, сярэдняга, прозвішча)
- Паўторныя гэты працэс у 1000 разоў
Кожнае заданне заняло прыкладна 20 хвілін, каб запусціць. У адзін момант я адкрыў некалькі копій работніка ВМ на наўтбук Windows і глядзеў працоўных месцаў правяраецца з кожным з работнікаў адрасы IP. На гэтым этапе я таксама пацвердзіў, што рэплікацыі аўтаматычна перазапушчаны.
Пакінуўшы ноўтбук на халасты ход у выніку працаўнік пачынае працэс працы з серверам кіравання заданнямі. Пры аднаўленні выкарыстання ноўтбука была затрымка каля 30-60 секунд, гэта ладная колькасць часу і персаналу неабходна будзе ведаць, што іх машына можа спыніцца на некаторы час, вяртаючыся да машыны. Новыя машыны не могуць мець паўзу так доўга. Балазе аб'ём апрацоўкі выконваюцца гэтыя машыны на халастым ходу перыядаў будзе больш, што пераважвае супрацоўнікаў чакаючы кароткі перыяд (скажам 1 хвіліна), прыбыўшы на сваіх машынах раніцай (я часта чакаць даўжэй, што гэта для Windows Defender абнаўленне адбываецца), калі яны былі пастаўлены ў вядомасць аб гэтым (карыснае час, каб захапіць ранішні кава!).
У цэлым, я ўпэўнены, што я паказаў тэхналогій, якія могуць быць выкарыстаны для стварэння такой сістэмы. Я паказаў, што такая сістэма працуе на (вельмі) малых маштабах і з яшчэ некалькі эксперыментаў можа быць пашыраны выкарыстоўваць рэсурсы машыны офіса. Калі я не дойдзе да кропкі, для гэтага я быў бы вельмі цікава ведаць / бачыць, калі хто-то іншы.
Высновы / Ацэнка
Наступным відавочным крокам было б рэальна атрымаць рэальны прыклад і пачаць разгортванне сістэмы, такія як гэта ў офісе і паглядзець, што адбываецца. Запытаная бізнесу да здзяйснення гэтага без следу палаючы кампаніі даказаць, тэхналогіі і эфектыўнасці, можа быць крыху цяжка. Grid / Разьмеркаваныя вылічэньні вельмі папулярная некаторых колах і мае некаторыя вялікія прыкладанні (BIONC, SETI @ Home, Folding @ Home і г.д.). Я, аднак, не знайсці ў меншых маштабах і просты сістэмы, як гэта ў мае пошукі, якія маглі б быць разгорнута ў офісе.
Я стварыў у асноўным свабоднай сістэмы з дапамогай асноўным з адкрытым зыходным кодам і сродкі, існуючыя практычна ў любым офісе. Тэхналогіі ў асноўным былі прадэманстраваны і паказаць, для выканання работы і, як чакалася. Спадзяюся, у мяне ёсць паказаць, што з не так шмат працы і вельмі простай ўстаноўкі можна разгарнуць вылічальныя офісе падвеснай сістэме, што з'яўляецца магутным, танныя, А і маштабуецца усё ў той жа час.
Як толькі сістэма і працуе амаль няма канца на суму налады і паляпшэнні, якія вы можаце зрабіць. Напрыклад статыстыкі / бенчмаркинга могуць быць лёгка дададзеныя паказаны варта такой сістэме кожны дзень. Новыя машыны могуць быць дададзеныя хутка і лёгка, як і калі яны прыходзяць з мадэрнізацыі існуючага абсталявання ўмацавання вашай вылічальнай магутнасці.
Я спадзяюся, вам спадабалася чытаць гэтую серыю артыкулаў і даў вам ежу для разважанняў аб запуску сістэмы офіса сеткі. Рашэнне, прадстаўленае тут, не абавязкова будуць працаваць ва ўсіх сітуацыях, але павінны быць адаптаваныя, каб дазволіць Вам, каб атрымаць дадзеныя апрацоўкі робіцца з дапамогай уласнага рашэнні.
Калі ласка, не саромейцеся, дасылайце мне любыя каментары, выпраўлення або паляпшэнні, і я зраблю ўсё магчымае, каб гэты артыкул абноўленая да матчу.
Артыкулы , вылічальных , Grid Computing , Linux , PHP , вэб-праграмаваньне | 
Apache , Bash , партыі , тэст , базы дадзеных , разгортвання , сеткі , палепшыць , Linux , MySQL , з адкрытым зыходным кодам , PHP , рэплікацыі , падрыўная дзейнасць , віртуальны , працаўнік , Zend Framework , zned
[...] Заключнай частцы гэтай серыі, трапна назваў Частка 5, мы будзем абмяркоўваць разгортванне гэтай сістэмы. Я буду рэзюмаваць тое, што было вывучана і [...]
Прывітаньне там, Вялікі чувак артыкул! Я стаміўся ад выкарыстання RSS-каналаў і вы выкарыстоўваеце Twitter, каб я мог ісці за вамі там? D.
PS: Вы лічыцца пакласці відэа ў свой блог, каб трымаць чытачоў карыстаюцца больш я думаю, што гэта працуе, Роланд Gorychka?.
Глядзіце Twitter на правай баку кожнай старонкі. Дзякуй!