Comentários (3)

Por Steven Lloyd Watkin , sexta-feira 04 de dezembro de 2009 23:37

Introdução

Eu trabalho em uma empresa onde corremos muitos trabalhos em lote processando milhões de registros de dados de cada dia e eu estive pensando recentemente sobre todas as máquinas que se sentam em torno de cada dia sem fazer nada durante várias horas. Não seria bom se pudéssemos usar essas máquinas para reforçar o poder de processamento dos nossos sistemas? Neste conjunto de artigos que eu vou olhar para os potenciais benefícios da contratação de um escritório de grade utilização de ambientes virtualizados.

Na parte 2 nós olhamos os trabalhos serão executados num servidor, e como os trabalhos devem ser configurados para atingir maior quantidade de processamento, garantindo que cada trabalho é processado, sem falhar.

Configurar o trabalhador - ou servidor LIMP

O próximo passo no processo é a criação de seus trabalhadores virtuais. Por isso eu vou usar uma instalação do CentOS usando VirtualBox. Vou instalar mySQL e PHP no servidor, também conhecido como Bizkit (Li nux, m ySQL, P HP) Servera (eu possa ter feito esse nome).

• Instalar VirtualBox em sua máquina windows (seguir link)
• Baixe e instale o CentOS (versão atual 5.3) dentro de uma máquina virtual criada

Não adianta me ir a este provavelmente há 1.000 's de tutoriais lá fora (ok, aqui vai um: Criando e Managing CentOS máquina virtual no VirtualBox ). O ponto importante a notar é que suponho que eu chamei minha máquina virtual GridMachine.

Tanto quanto as minhas escolhas do cliente de virtualização de sistema operacional e lá não é grande motivo convincente para cada escolha. VirtualBox é algo que eu uso na minha máquina em casa e é apoiado pelos três principais sistemas operacionais. Eu escolhi o CentOS como seu sistema operacional uma boa estável e eu uso no meu próprio servidor web. Sou um grande crente nas ferramentas certas para o trabalho (embora eu estou aplicando "usar o mais rápido e mais fácil para você" mentalidade aqui), então se o sistema operacional X executa o código mais rápido e mais eficiente usar isso em vez :)

É importante se certificar de que sua VM usa DHCP, caso contrário, para cada nova máquina virtual que precisa ser configurado separadamente que é algo que não want.By utilizando DHCP não precisa configurar as configurações de rede individualmente para máquinas de trabalho, DHCP irá entregar fora IPs para você. Portanto, você pode copiar a sua máquina virtual sobre o escritório sem se preocupar sobre como configurar cada um para cima (isto melhora a escalabilidade e reduz a administração trabalhador).

O processo que você deve ter por objectivo seria obter uma nova máquina física, instale o VirtualBox, e, em seguida, praticamente implantar a imagem virtual sem muito mais. Pode ser sábio para configurar todos os seus trabalhadores em uma sub-rede diferente para que você possa, pelo menos, ver quantas máquinas estão funcionando. Você também precisa configurar suas máquinas em um contrato de longo ou de concessão ilimitada DHCP.

Como executar Jobs sobre o trabalhador

Esta é uma área interessante e existem vários métodos válidos para processar os trabalhos sobre o trabalhador. Aqui eu só vou discutir os dois mais óbvios:

• Perpetuamente executar o script: Um script, seja ele um shell script, ou um script PHP é executado uma vez sobre o trabalhador e é executado como parte de um loop infinito. Eu já descontado este método como um acidente do script e, potencialmente, os trabalhadores deixarão de funcionar sem algum tipo de intervenção.
• Cron a execução de scripts baseada em: a cada X minutos o daemon cron inicia uma chamada para o script para fazer as coisas acontecerem. Sem alguns testes este poderia levar a muitas muitas cópias de sua corrida roteiro trabalhador.

Minha decisão era ir com o cron que começa um shell script cada minutes. 10 Meu script shell executa as seguintes tarefas:

1. Faça uma lista de processos e grep para este 'php'. Se não for encontrado, em seguida continuar.
2. Ligue para o seu código de trabalho, no meu caso isso seria algo baseado PHP
3. Roteiro trabalhador completa a sua execução
4. Pronto para ir novamente na próxima chamada apropriada

Meu script bash parece algo como o seguinte:

  #! / Bin / sh
 se ps ax | grep-v grep | grep php> / dev / null
 então
     echo "Job está processando, de saída"
 outro
     echo "O trabalho não está sendo executado, começar agora"
     php yourJobProcessingScript.php
 fi 

Nota: o de eco são quase completamente inútil, mas pode ajudar a próxima pessoa que vem para tentar editá-los.

Isso conclui a configuração da máquina de trabalho virtual, rápida, simples e fácil de copiar a cada nova peça de hardware que é recebido. A "inteligência" do sistema de rede realmente não é visualizado no sistema operacional, é tudo a ver com o código criado para trabalhos do processo, a configuração do trabalho, e para garantir que o trabalho é executado quando for o caso (ou seja, quando o anfitrião é ocioso ).

Configurando o Windows para inicializar Trabalhadores

A primeira tarefa é descobrir o comando necessário para executar a máquina virtual a partir da linha de comando do Windows. Se você instalou o VirtualBox no local padrão e você nomeou seu trabalhador GridMachine então o comando necessário para carregar o seu trabalhador é:

  "C: \ Arquivos de programas \ Sun \ VirtualBox \ VBoxManage.exe" startvm GridMachine 

No entanto, para executar o script em um estado 'sem cabeça', precisamos usar:

  "C: \ Arquivos de programas \ Sun \ VirtualBox \ VBoxHeadless.exe"-startvm GridMachine - VRDP = off 

Isto irá iniciar a máquina virtual sem a GUI e permitir que ele salve o estado graciosamente. O segundo argumento desliga RDP por isso não entra em conflito com janelas RDP, ou dar-lhe uma mensagem sobre escuta na porta 3389. O nome da máquina virtual é sensível a maiúsculas!

A seguir, vamos precisar definir janelas até começar a nossa VM trabalhador uma vez que a máquina estiver ociosa. Para fazer isso (no Windows XP) você precisa ir em Iniciar -> Programas -> Acessórios -> Ferramentas do Sistema -> Tarefas agendadas conforme abaixo:

Em seguida clique em "Adicionar tarefa agendada 'seguido de navegar para adicionar um programa personalizado. Navegue até o script VBoxManage e clique em OK. Agende sua tarefa para qualquer uma das opções (vamos mudar isso em um minuto) e continuar. Depois de pular a próxima tela do Windows irá pedir que você deseja executar esta tarefa, eu sugiro que seja "Administrador" ou criar um novo usuário privilegiado. Lembre-se que não queremos interferir com a conta pessoal padrão na máquina a qualquer momento. Clique ao lado e confira show advanced options para esta tarefa.

Para o fim da caixa de texto longo adicionar nosso string 'startvm GridMachine "e garantir que execução somente quando conectado fica desmarcado. Visite a tarefa seguinte cronograma e alterar o cronograma de cair para a opção 'quando ocioso ", escolha a quantidade de tempo que você gostaria que o computador esteja ocioso antes de passar para a próxima guia.

Finalmente desmarque a opção que afirma parar a tarefa se ela foi correndo X quantidade de tempo, mas não assinalar a opção de parar a tarefa se a máquina não está mais ociosa.

É isso então, para a configuração de host do Windows!

Resumo

Nesta parte temos um conjunto de uma máquina virtual para agir como um trabalhador, bem como a maneira pela qual nós chamamos e executar nossos scripts de processamento de trabalho (para mim um script PHP). A partir daqui, veremos como configurar nossas cópias do Windows para iniciar a máquina virtual no modo headless quando o computador torna-se ocioso, e salvar seu estado quando o usuário retomar a utilização da máquina. Esperemos que neste momento você está vendo como é simples para configurar um sistema deste tipo e está ansioso para começar algumas experiências vai você mesmo!

Próxima vez

Na Parte 4 , vamos estar a olhar para o uso de ferramentas para garantir que você está rodando a última versão das fontes de código e dados, de modo que os resultados obtidos são sempre up-to-date com as últimas informações do negócio e da lógica.

Comentários (3)

Por Steven Lloyd Watkin , sexta-feira 04 de dezembro de 2009 11:03

Introdução

Eu trabalho em uma empresa onde corremos muitos trabalhos em lote processando milhões de registros de dados de cada dia e eu estive pensando recentemente sobre todas as máquinas que se sentam em torno de cada dia sem fazer nada durante várias horas. Não seria bom se pudéssemos usar essas máquinas para reforçar o poder de processamento dos nossos sistemas? Neste conjunto de artigos que eu vou olhar para os potenciais benefícios da contratação de um escritório de grade utilização de ambientes virtualizados.

Na Parte 4 olhamos para o uso de ferramentas para garantir que estamos executando a última versão das fontes de código e dados, de modo que os resultados obtidos são sempre up-to-date com as últimas informações do negócio e da lógica.

Pré-Implantação

Antes de implantar o seu sistema de rede, se há uma coisa que você faz e uma coisa só que é referência do seu sistema atual! Não importa o que dizer aos colegas sobre o quanto trabalho extra o seu sistema vai fazer menos que você tenha números para apoiar isso as suas garantias não são nada. Assim,

• quantos registros você pode processar atualmente? Por dia? Por hora?
• Quanto tempo normalmente necessário para virar um emprego?
• Quanto mais capacidade que você tem?

Há também questões adicionais:

• Se o seu servidor de processamento (ou um de seus servidores de processamento) vai para baixo como isso afetará as suas capacidades, você vai estar aleijado?
• Quais as vantagens que você espera / espera obter a partir de um sistema de rede?
• São máquinas de seu escritório capaz de executar os trabalhos?
• São o seu (ou você pode ser convertido empregos) para wrok neste estilo de correr?

O último ponto importante é levar o seu tempo em qualquer grande mudança como esta. Atualize seu código de processamento para trabalhar com a nova metodologia de referência, mais uma vez. Possivelmente configurar o servidor de processamento para executar uma máquina virtual, afinal de contas o seu servidor de processamento será apenas outro trabalhador (apenas uma forma muito poderosa relativamente). Permitir que o novo processo para resolver.

Desenvolvimento

Minha sugestão seria a aparecer no fim de semana um escritório executar todas as instalações e configuração. Faça isso imediatamente antes de férias de duas semanas e deixar para outro coitado para lidar com as consequências ... talvez não ...

Implantação de um sistema como este precisa ser lenta. Apesar de ser relativamente simples de configurar este sistema irá afectar a sua infra-estrutura de escritório inteiro (bem o digital). Em primeiro lugar, lançar um par de máquinas ao mesmo tempo, monitorar o tráfego de rede, como os anfitriões do trabalhador executar no dia-a-dia. Você pode precisar alterar a configuração do trabalho em resposta às suas descobertas.

Uma vez que o sistema se estabeleceu com algumas máquinas (digamos 10% de todas as máquinas de escritório, ou seja, 5) manter o tráfego de monitoramento de rede e máquina host performance. referência em Avançar novamente, agora você deve estar processando os trabalhos de 33% a mais do que os primeiros benchmarks. Verifique isto é assim, ou que você é, pelo menos, neste estádio. Se não, investigar o que está acontecendo antes de prosseguir. Repita este ciclo até que felizmente têm todas as máquinas de escritório funcionando sem matar o desempenho da máquina individual ou moagem sua rede a uma paralisação.

Em todos os momentos manter benchmarking, mesmo depois de todas as implementações são feitas. Verifique como as atualizações do novo código afeta a velocidade de seu sistema, verifique todos os trabalhadores estão relatando e processar os trabalhos. Aos poucos (muito lentamente) aumentar a sua configuração do trabalho para obter o melhor de seus trabalhadores e de rede.

Pare!

E se você quiser parar de correr os seus trabalhadores, em algum momento? Eles estão todos lá fora, correndo, regenerar, e tentar o seu melhor para processar dados, como insetos famintos. A resposta pode parecer óbvia, mas vale a pena acrescentar apenas no caso de sua esquecido. Basta editar o script de processamento com um exit (0) ou morrer () ou alguma outra indicação de matar o seu trabalho de processamento. Uma razão importante por que nós sempre tentamos fazer a atualização para o roteiro mais recente de processamento antes de qualquer corrida!

Sistema de demonstração

Para escrever este conjunto de pequenos artigos que eu criei uma rede muito pequena para demonstrar as tecnologias e metodologias. Eu li muitos artigos, tutoriais, e utilizado várias ferramentas para configurar e monitorar o que estava acontecendo. De maneira nenhuma eu tenho ido para fora e saturado de um escritório conjunto com o tráfego e nem tenho tido acesso a um PC normal membros do pessoal para ver como o desempenho do host foi afetada.

Meu sistema de demonstração era muito humilde, de fato. Eu usei o meu desktop normal configurado como um servidor de controle de trabalho. Por isso eu tinha instalado mySQL servidor instalado configurado como um mestre na replicação, PHP , Â e SVN ligados através de apache (para acesso via VM trabalhador).

Eu, então, criou uma máquina CentOS trabalhador no VirtualBox em um antigo Windows XP laptop 6 anos. Eu configurar tarefas agendadas conforme especificado após copiar o VM para a máquina e deixá-lo ir.

A máquina virtual foi criada com o PHP, subversão e mySQL. Eu verifiquei um ramo chamado "trabalhador" do meu trabalho repositório servidores de controle e fez com que ele pode ser atualizado usando 'svn update'. Em seguida eu instalação do MySQL como um escravo e verificado que os dados foram replicar a partir do MySQL no servidor de controle de trabalho até o VM trabalhador. Depois de tudo isso eu configurar o script para o cron job.

Meu script de processamento basicamente seguiram as linhas desse material (muito simples):

• Leia no campo de nome
• Contado o número de nomes semelhantes em uma tabela a partir da fonte de dados realizada na VM
• Contado o número de nomes como acima, mas o nome da divisão por espaços (ou seja, nome próprio, do meio, sobrenome)
• Repeti o processo 1.000 vezes

Cada trabalho levou cerca de 20 minutos para ser executado. Em um ponto eu abri várias cópias do VM trabalhador no laptop janelas e assistiram os trabalhos ser verificados fora por cada um dos endereços IP dos trabalhadores. Nesse ponto, eu também confirmou que a replicação é reiniciado automaticamente.

Deixando o laptop para a marcha lenta resultou em um trabalhador de começar a processar trabalhos a partir do servidor de controle de trabalho. Ao retomar o uso do laptop havia um atraso de cerca de 30-60 segundos, esta é uma boa quantidade de tempo e pessoal precisaria estar cientes de que sua máquina pode fazer uma pausa por um curto tempo quando voltar para a máquina. Máquinas novas podem não ter uma pausa deste tempo. O benefício da quantidade de processamento realizado por essas máquinas durante períodos de ociosidade seria mais que compensam os funcionários que têm que esperar um curto período de tempo (digamos, 1 minuto), ao chegar em suas máquinas de uma manhã (eu freqüentemente esperar mais que isso para um Windows Defender atualizar a ter lugar), desde que tomaram conhecimento desta (tempo útil para pegar um café da manhã!).

No geral eu me sinto confiante de que eu demonstrei as tecnologias que poderiam ser usados ​​para criar tal sistema. Eu tenho mostrado que esse sistema funciona em uma escala (muito) pequena e com pouco mais de experimentação pode ser ampliada utilizar os recursos de máquinas de um escritório. Se eu não chegar ao ponto de fazer isso eu estaria muito interessado em saber / ver quando alguém faz.

Conclusões / avaliação

O próximo passo óbvio seria começar realmente um exemplo do mundo real e começar a implantar um sistema como este dentro de um ambiente de escritório e ver o que acontece. Pedir a um negócio de se comprometer a isso sem uma companhia trilha ardente para provar que a tecnologia e eficácia pode ser um pouco difícil. Grid / A computação distribuída é muito popular é alguns círculos e tem algumas grandes aplicações (BIONC, o SETI @ Home, Folding @ Home, etc). Eu não, no entanto, encontrar uma escala menor e sistema simples como este em minhas pesquisas que poderiam ser implantadas dentro de um ambiente de escritório.

Eu criei um sistema basicamente livre usando software de código aberto e principalmente ferramentas disponíveis em quase todo o escritório. As tecnologias foram basicamente demonstrada e mostrar para executar e funcionar como esperado. Esperemos que eu tenho mostram que com o trabalho não muito e com uma configuração muito simples que você pode implantar um escritório sistema de computação em grade que é poderoso, Â, barato e escalável, tudo ao mesmo tempo.

Uma vez que o sistema está instalado e funcionando quase não há fim para a quantidade de customização e melhorias que você pode fazer. Por exemplo, estatísticas / análise comparativa podem ser facilmente adicionados mostrando o valor de um tal sistema todos os dias. Novas máquinas podem ser adicionados de forma rápida e facilmente como e quando eles chegam com upgrades de hardware existente reforçar o seu poder de processamento.

Espero que você tenha gostado de ler esta série de artigos e sua lhe deu alimento para o pensamento sobre a execução de um sistema de rede do escritório. A solução apresentada aqui não vai necessariamente funcionar em todas as situações, mas deve ser adaptável para permitir que você obtenha o seu processamento de dados feito usando a sua própria solução.

Sinta-se livre para me enviar quaisquer comentários, correções ou melhorias e eu vou fazer o meu melhor para manter este artigo atualizado para corresponder.