Comentários (2)

Por Steven Lloyd Watkin , sexta-feira 04 de dezembro de 2009 11:59

Introdução

Eu trabalho em uma empresa onde corremos muitos trabalhos em lote processando milhões de registros de dados de cada dia e eu estive pensando recentemente sobre todas as máquinas que se sentam em torno de cada dia sem fazer nada durante várias horas. Não seria bom se pudéssemos usar essas máquinas para reforçar o poder de processamento dos nossos sistemas? Neste conjunto de artigos que eu vou olhar para os potenciais benefícios da contratação de um escritório de grade utilização de ambientes virtualizados.

Na parte 3 , criamos a nossa máquina de processamento virtual e configurar o Windows para se tornarem máquinas de tempo ocioso dos trabalhadores.

Executando o código mais recente

Inevitavelmente, depois de criar sua lógica de negócio trabalhadores vai mudar, bugs serão encontrados, código mais rápido mais eficiente será produzido deixando seus trabalhadores sentados em torno de processamento de dados usando código smelly velho . Como então garantir que estamos sempre usando a versão mais recente e maior de nossos scripts de processamento?

Há alguns muito fáceis maneiras simples que poderíamos fazer isso, o truque, no entanto, é reduzir o poder de processamento e tráfego de rede para alcançar isso. Vamos começar com a mais simples das soluções e melhorá-lo lentamente ao longo de um par de iterações.

O primeiro método seria simplesmente conectar ao nosso servidor de controle de trabalho (via samba, FTP, ou similar) e puxe para baixo a versão mais recente do código. Não é muito eficiente, mas vai fazer o trabalho. Permite melhorar isso um pouco, como sobre a criação de um script rsync e usar esse tempo cada vez? Alternativamente o que sobre a colocação de nosso script mais recente transformação em subversão verificar o código inicialmente e depois é só atualizar o nosso código em cada run ( svn update )?

No final, pode acabar com um script bash (chamado pelo cron a cada 10 minutos), que parece tão simples como isto:

  #! / Bin / sh
 se ps ax | grep-v grep | grep php > / dev / null
 então
     echo "Job está processando, de saída"
 outro
     echo "O trabalho não está sendo executado, começar agora"
     cd / caminho / para / trabalho / cópia
     svn update
     php yourJobProcessingScript.php
 fi 

Agora podemos ter certeza de que a cada rodada estamos definitivamente em execução o código mais recente. Estamos garantindo isso atualizando nossa base de código cada vez que fazemos uma corrida e reduzindo o tráfego de rede por transferir apenas as diferenças de arquivo em toda a nossa rede.

Na minha configuração de demonstração, eu fiz exatamente como descrito acima. Subversion foi instalado no meu servidor de processamento de trabalho e eu simplesmente puxou o último código de um "trabalhador" filial usando 'svn update'. Eu também adicionei uma tag número de versão para o meu script de processamento que foi devolvido ao banco de dados como parte do retorno de resultados. Desta forma, pude ver que meu código estava sendo atualizado cada vez que eu copiei meu tronco no ie ramo de trabalho que eu estava definitivamente executar o script mais recente de processamento.

Usando os dados mais recentes

Se o processamento do trabalho faz uso de fontes de dados, em seguida, em algum momento estes vão ser atualizados também. A menos que você chamar suas fontes de dados em uma base muito freqüente você vai inundar a rede com tráfego assim que os trabalhadores começam a correr levando tudo a um impasse. Para a minha solução, decidi que eu gostaria de passar minhas fontes de dados ao redor com minhas VMs.

Segure você cavalos lá! E se minhas fontes de dados são ENORMES? Bem este é realmente um caso de a quantidade de dados que estamos falando? Pode ser mais rentável para instalar um maior disco rígido adicional em cada máquina do que comprar um servidor de processamento adicional. Esta é uma questão de orçamento e até a empresa para decidir. É talvez a que suas fontes de dados são tão grandes que é apenas inviável para manter essa quantidade de dados em suas máquinas de trabalho. Nesse caso o que você faria? Bem, poderíamos olhar para chamar um servidor de dados local, mas isso pode causar problemas com a rede. Neste caso um sistema de rede, como isso pode se tornar irrealista para incluir em seu ambiente de escritório. Pode ser também que você pode olhar para estratégias alternativas de execução, por exemplo, só chamar seus trabalhadores oito horas - seis horas a cada noite e / ou otimização de solicitações de dados de origem.

Seguindo em frente, vamos dizer os nossos dados quantidade de fontes de 100Gb de dados. Bem, sim isso é um pouco de dados para se deslocar na rede em uma atualização. Como podemos garantir que temos a cópia mais recente dos dados neste caso? Rsync é uma possibilidade, mas pessoalmente eu acho que, executando o seu mais recente fonte de dados no seu servidor de processamento de trabalho e como fazer essa configuração como um mestre na replicação (com um log bin bom tempo) pode ser o caminho a seguir:

Ao definir cada um de seus trabalhadores como um escravo para o trabalho atualizações do servidor de controle de suas fontes de dados irá escorrer bem a seus trabalhadores, sem um grande aumento na atividade da rede (que é a menos que você executar uma atualização de dados enorme e todos os seus trabalhadores entram em ação de uma vez). Isto tem vantagens sobre rsync em que você não iria ficar uma longa pausa antes de cada trabalho, como as atualizações do banco de dados, o mysql daemon no seu trabalho continuamente atualizar seus dados, o processamento continua.

Isto é como eu configurar meu servidor de demonstração. Para configurar a replicação eu segui o guia no site do MySQL ( Configurando replicação ) e em 20 minutos eu tinha o meu trabalho inital replicar o trabalho de controle conjunto de dados servidores. Para cada trabalhador adicional as configurações de replicação e processo de trabalho cada vez que a máquina virtual foi copiado.

Resumo

Nesta seção do artigo vimos como é fácil e indolor é para manter o seu código de processamento até à data por using rsync ou subverion (SVN) para fazer o trabalho e reduzir o tráfego de rede no mesmo time. Também discutimos como para manter suas informações de fonte de dados up-to-date, permitindo-a escorrer para cada um de seus trabalhadores. Assim, área que garanta a manter-se com a lógica de negócios e informação no nosso sistema de rede do escritório. Não será, obviamente, inúmeras alternativas para a execução dessas tarefas, mas aqui foram dois exemplos simples para mostrar como é fácil uma solução está por vir.

Próxima vez

Na parte final desta série, apropriadamente chamado Parte 5 , vamos discutir a implantação deste sistema para. Vou resumir o que foi aprendido eo que eu consegui criar.