Urząd Grid Computing przy Wirtualne środowisko - część 5
Wprowadzenie
Pracuję w firmie, w której prowadzimy wiele miejsc pracy, przetwarzania wsadowego milionów rekordów danych każdego dnia i myślałam ostatnio o komputerach, które siedzą każdy dzień nic nie robi przez kilka godzin. Czy nie byłoby dobrze, gdybyśmy mogli korzystać z tych maszyn wzmacnia moc naszego systemu? W tym zbiorze artykułów mam zamiar sprawdzić potencjalne korzyści z zatrudniania biura sieci za pomocą środowiskach wirtualnych.
W części 4 przyjrzeliśmy się przy użyciu narzędzi w celu zapewnienia, że korzystasz z najnowszej wersji kodu i źródeł danych, tak aby uzyskane wyniki są zawsze na bieżąco z najnowszymi informacjami i logiki biznesowej.
Przed wdrożeniem
Przed wdrożeniem systemu do sieci, jeśli jest coś zrobić i jedno tylko jest to benchmark aktualny system! Nie ważne co mówią koledzy o tym, jak wiele dodatkowej pracy systemu nie zrobi, chyba że masz numery, aby to potwierdzić swoją gwarancje są nic. Tak więc,
- ile rekordów można obecnie proces? Dziennie? Na godzinę?
- Jak długo zazwyczaj trwa zawrócić pracy?
- Ile więcej pojemności masz?
Istnieje również dodatkowe pytania:
- Jeśli przetwarzania serwera (lub jeden z przetwarzania serwerów) idzie w dół, jak wpłynie to na swoje możliwości, będzie kaleką?
- Jakie zalety ma Pan nadzieję / spodziewać się z sieci energetycznej?
- Czy Twoje maszyny biurowe, które mogą jeździć pracy?
- Czy Twoje (lub miejsc pracy można zostać przekształcone) do pracy w ten styl jazdy?
W ostatnim ważnym punktem jest wziąć swój czas na większych zmian tak. Zaktualizuj swój kod przetwarzania do pracy z wykorzystaniem nowej metody, benchmark ponownie. Być może skonfigurować serwer przetwarzania uruchomić maszynę wirtualną, po wszystkich przetwarzania serwer będzie po prostu inny pracownik (po prostu bardzo silne stosunkowo). Pozwól nowego procesu na osiedlenie się.
Deployment
Moja propozycja będzie skoczyć do urzędu jeden weekend wykonania wszystkich instalacji i konfiguracji. Zrób to tuż przed dwa tygodnie urlopu i wypoczynku, aby inni biedak do czynienia z konsekwencjami ... może nie ...
Wdrażanie system taki musi być wolny. Mimo to jest stosunkowo prosta w konfiguracji tego systemu wpłynie na całej infrastruktury biurowej (również cyfrową). Po pierwsze, dobiegu do kilku urządzeń jednocześnie, monitor ruchu w sieci, jak gospodarze pracownika wykonywania w zasadzie z dnia na dzień. Być może trzeba zmienić konfigurację miejsc pracy w odpowiedzi na wnioski.
Gdy system osiedlił się z kilku maszyn (powiedzmy, że 10% wszystkich urządzeń biurowych, tj. 5) prowadzenia monitorowania ruchu w sieci i urządzenia performance. host Następny punkt odniesienia ponownie, powinno być teraz przetwarzania 33% więcej miejsc pracy niż swój pierwszy punkt odniesienia. Sprawdź tak jest, lub, że jesteś co najmniej w tym pole do gry. Jeśli nie, badać, co dzieje się przed przejściem. Powtórz ten cykl, aż szczęśliwie wszystkie maszyny biurowe działa bez zabijania poszczególnych wydajność maszyny lub szlifowanie sieci w martwym punkcie.
Przez cały czas prowadzenia analizy porównawczej, nawet po wszystkich wdrożeń są wykonane. Sprawdź, jak nowe aktualizacje kodu wpływ na szybkość systemu, sprawdź wszyscy pracownicy są w sprawozdawczości i przetwarzania zadania. Powoli (bardzo powoli) przyrost konfiguracji pracy, aby uzyskać najlepszą z twoich pracowników i sieci.
Stop!
Co jeśli chcesz, aby zatrzymać pracowników z pracy na jakiś czas? Są tu wszystkie działa, regeneracji, i próbuje swoich najlepszych do przetwarzania danych jak głodne owady. Odpowiedź może wydawać się oczywiste, ale warto dodać, tylko w przypadku jej przeoczyć. Wystarczy edytować przetwarzania skryptu z wyjściem (0) or die () lub inne oświadczenie zabić przetwarzanie zadania. Ważnym powodem, dla którego zawsze staramy się aktualizacji do najnowszej przetwarzania skryptu przed biegnij!
Demonstracja systemu
W celu napisania tego zbioru krótkich artykułów I stworzył bardzo małych sieci w celu wykazania technologii i metodologii. Czytałem wiele artykułów, tutoriali i wykorzystywane różne narzędzia do konfiguracji i monitorowania tego, co się dzieje. Wcale nie mam wyszła i nasyconych całego biura ruchu i ani nie miałem dostępu do regularnych PC pracowników aby zobaczyć, jak wydajność host był zaburzony.
Mój system prezentacji bardzo skromny rzeczywiście. Kiedyś mój regularne pulpicie skonfigurować jako serwer kontroli zadań. Na tej Miałem zainstalowany mySQL zainstalowany serwer skonfigurować jako master w replikacji, PHP , A i SVN połączone poprzez apache (aby uzyskać dostęp za pośrednictwem pracownika VM).
Potem stworzył maszynę CentOS pracownika VirtualBox na 6 lat laptop windows XP. I konfiguracji zaplanowane zadania określone po skopiowaniu VM na maszynie i pozwolić jej odejść.
Maszyna wirtualna została utworzona z PHP, subversion i MySQL. Sprawdziłem na oddział o nazwie "pracownika" z moich serwerów repozytorium kontroli pracy i upewnić się, może to być aktualizowane przy użyciu 'svn update'. Dalej mogę skonfigurować MySQL jako slave i sprawdzeniu, że dane z MySQL replikacji na serwerze kontroli pracy aż do VM pracownika. Po tym wszystkim konfiguracji I skrypt i zadań.
My skrypt przetwarzania zasadzie wyszedł na wzór tego (bardzo proste rzeczy):
- Czytaj w polu Nazwa
- Liczył podobne nazwy w tabeli od źródła danych przechowywanych na VM
- Liczył nazwy jak powyżej, ale podział nazwy spacjami (tj. imię, w środku, nazwisko)
- Powtarzające się ten proces 1000 razy
Każda praca zajęła około 20 minut do uruchomienia. W pewnym momencie otworzył kilka kopii VM pracownika na laptopie windows i obserwował pracę być zaznaczone przez każdego z adresów IP pracownika. W tym miejscu również, że replikacji automatycznie uruchomiony ponownie.
Pozostawienie laptopa do biegu w wyniku procesu pracownik zaczyna pracę z serwera kontroli zadań. Po wznowieniu użytkowania laptopa nie było opóźnienie ok. 30-60 sekund, jest to sporo czasu i pracowników musiałaby być świadomi, że ich komputer może zatrzymać się na chwilę po powrocie do komputera. Nowsze urządzenia nie mogą mieć przerwę na tak długo. Korzyści z tytułu przetwórstwa w wykonaniu tych maszyn podczas przerw byłoby bardziej, że przeważają pracownicy konieczności czekania na krótki okres (np. 1 minuta) po przyjeździe na swoich maszynach z rana (I często dłużej czekać, że dla Windows Defender Aktualizacja mieć miejsce) pod warunkiem że zostały poinformowane o tym (czas użyteczny na kawę rano!).
Ogólnie jestem przekonany, że wykazały technologii, które mogłyby zostać wykorzystane do stworzenia takiego systemu. Pokazałem, że taki system nie działa na (bardzo) małej skali i kilka eksperymentów może być skalowany korzystania z zasobów biura maszyn. Jeśli nie dostać się do punktu prowadzenia tego byłbym bardzo zainteresowany, aby wiedzieć / widzieć czy ktoś inny nie.
Wnioski / oceny
Kolejnym oczywistym krokiem byłoby rzeczywiście dostać Rzeczywistym przykładem i zacząć wdrażać system taki jak ten w środowisku biurowym i zobaczyć co się dzieje. Zadawanie firmy do zaangażowania się w to bez śladu firmy płonący udowodnić technologii i skuteczności może być trochę trudne. Grid / rozproszone jest bardzo popularny jest pewnych kręgach i ma kilka dużych aplikacji (BIONC, SETI @ Home, Folding @ Home, itp.). Nie jednak znaleźć mniejszą skalę i prosty system podobny do tego w swoich poszukiwaniach, jakie można podjąć w ramach biura.
I stworzył zasadzie wolnego systemu używając głównie oprogramowania open source i narzędzi dostępnych w niemal każdym biurze. Technologii były w zasadzie wykazać i pokazać, do wykonania i działa jak powinno. Mam nadzieję, że mam pokazać, że z nie dużo pracy i bardzo prostą konfigurację można wdrożyć grid computing Office System, który jest mocny, tani, A i skalowalne w tym samym czasie.
Gdy system jest gotowy do pracy praktycznie nie ma końca do kwoty dostosowania i poprawy można zrobić. Dla celów statystyki np. / benchmarking może być łatwo dodana pokazano warte takiego systemu na co dzień. Nowe maszyny mogą być dodawane szybko i łatwo, jak i kiedy przyjechać na celu uatrakcyjnienie istniejącego sprzętu wzmocnienia swoją moc.
Mam nadzieję, że cieszył się czytanie tej serii artykułów i dał ci do myślenia na temat prowadzenia systemu sieci biurowych. Rozwiązanie tutaj zaprezentowane może nie działać w każdej sytuacji, ale powinny być dostosowane do pozwala uzyskać przetwarzanie danych odbywa się za pomocą własnego rozwiązania.
Prosimy o przysyłanie wszelkich uwag, poprawki lub ulepszenia i ja staram się utrzymać ten artykuł aktualizacji do meczu.
Artykuły , Computing , Computing Grid , Linux , PHP , Programowanie WWW | 
apache , bash , partii , benchmark , bazy danych , wdrożenia , sieci , poprawy , Linux , mySQL , open source , PHP , replikacji , subversion , wirtualne , pracownik , Zend Framework , zned
[...] Końcowej części tej serii, o wdzięcznej nazwie Część 5 omówimy wdrażania tego systemu. Będę podsumowanie dotychczasowych doświadczeń i [...]
Cześć tam, Wielka gość artykuł! Jestem zmęczony RSS za pomocą kanałów i używasz Twitter, więc może za tobą nie: D.
PS: Czy za umieszczenie na swoim blogu wideo, aby utrzymać czytelników bardziej cieszył Myślę, że to działa, Roland Gorychka?.
Zobacz twitter po prawej stronie każdej strony. Dzięki!