Introdución
Eu traballo nunha empresa na que corremos moitos traballos en lote procesar millóns de rexistros de datos de cada día e eu estiven a pensar recentemente sobre as máquinas que se sentan ao redor de cada día sen facer nada durante varias horas. Non sería bo se puidésemos utilizar esas máquinas para reforzar o poder de procesamento dos nosos sistemas? Neste conxunto de artigos que eu vou ollar para os potenciais beneficios da contratación dunha oficina de reixa utilización de ambientes virtualizados.
Na parte 1 eu dei unha visión xeral do sistema e as tecnoloxías que están empregando, así como discutir algunhas das posibles razóns polo que desexa crear unha rede de oficina.
Job Control
Se indo para ser executado emprego, entón vai ter algunha forma de xestiona-los. O seu sistema de control do traballo (no seu servidor de emprego) ten que ser moi ben pensada antes de intentar realizar unha rede de oficina. Entón, en primeiro lugar, cales son as tarefas dun sistema de control de traballo:
- Distribuír os traballos, a petición dos traballadores
- Diga traballadores que tipo de postos de traballo para realizar
- Traballos Pista
- Asegúrese de que os traballos son executado só unha vez
- Proporcionar datos de emprego aos traballadores, ou polo menos dicirlles onde obtelo
O sistema tamén debe ser extensible, unha solución que funciona de momento nun único caso pode ser estendido para realizar varios tipos de traballos como a empresa ve o valor nunha solución de rede. Por exemplo, os traballos poden gañar prioridades, máis dun tipo de traballo pode existir (ou sexa, varias bases de código), finalmente pode incluso realizar varias máquinas de traballo diferentes que son optimizados para cada tipo de traballo (a pesar de que non se afasta do traballador xenérico 'idea). Sempre intento pensar no futuro no desenvolvemento de sistemas, unha visión a curto prazo pode levar á frustración a longo prazo e tempo de desenvolvemento máis grande.
Servidor de traballo
Nós imos ter un lugar para controlar o noso traballo de, este debe ser o único sistema na súa rede que ten un fixo Resource locator, sexa un enderezo IP, o nome do host URL (usando DNS interno), etc Isto é porque os traballadores teñen que saber onde buscar emprego, os traballadores teñen que atopar o sistema de control de traballo (non o sistema de control de traballo atopar os traballadores).
O servidor de traballo en si non ten realmente unha tarefa complicada (nun sistema básico de todos os xeitos), el que almacenar unha lista de empregos, man de postos de traballo, recibir os resultados, e, posteriormente, almacena-los para a súa posterior recuperación. Como esas pezas (como "man de empregos") son definidos pode ser moi básico. Máis tarde, pode estender o sistema para incluír unha interface de administración para engadir, editar, borrar, suspender os traballos, pero iso está fóra deste exercicio.
Non hai ningunha razón que sexa, entón, que o teu servidor de traballo non podería ser unha máquina virtual executando dentro do seu servidor de procesamento principal, sempre que non drena moitos recursos del. O servidor de traballo con todo é necesario alta dispoñibilidade, se vai para abaixo nunha noite de venres vai perder un fin de semana enteiro de procesamento, potencialmente custando-lle un par de semanas por valor de tempo de procesamento (en comparación co seu servidor de procesamento principal só) . Pode querer poñer o seu servidor de traballo nun ambiente de balanceo de carga para alta dispoñibilidade.
Configuración básica
A configuración básica para o noso servidor de traballo consistirá en que eu estou chamando un dos meus servidores Bizkit (que é Li nux, m ySql, P HP). O código a executar en traballadores Thea vai realmente descubrir o que pode facer traballos, interactuar con bases de datos con emprego de sistemas de control. Posteriormente, poderiamos crear un servizo web e realmente man empregos en vez de ter os traballadores fan o traballo duro en si, pero por agora imos seguir usando o principio KISS (Keep it Simple, Stupid!).
Entón, imos crear tres MySQL táboas para manexar os traballos. Estes serán os `emprego`, `jobRecords` e `jobResults`.
Aquí está a usar SQL camarada unha boa alternativa pouco para phpMyAdmin só porque é máis fácil de instalar no CentOS (para outros o ven: 10 óptimas alternativas para phpMyAdmin )
Esta táboa está composta por 5 campos simple,
- ID: Identificar o traballo
- nome: Podería ser unha referencia de cliente, ou calquera número de outros identificadores
- Estado: Ten que saber onde o traballo está, por exemplo,
- 0: Non iniciado
- 1: Colleu
- 2: Feito
- started_by: Quen comezou a facer o traballo? Iso non é totalmente necesario, pero é un bo ter. Eu suxiro que os traballadores de seguimento polo seu enderezo IP na súa rede
- started_at: Cando o traballador iniciar o traballo? Ao seguir os traballos que non teñan completado dentro X cantidade de tempo que sabemos que necesitamos para incorporarse o traballo unha vez máis e comezar a procesar por outro traballador. Os traballadores poderían deixar o procesamento / go off-line para calquera número de razóns, falta de enerxía, accidente, perda de rede, etc
É doado como esta táboa pode ser estendido con algúns campos adicionais para permitir estatísticas de seguimento, unha columna de tempo de chegada para ver canto tempo o traballo levou, un contador para ver cantos traballadores colleu o traballo (obviamente iso necesita tenden a 1), a prioridade dos traballos, a lista pode ir sobre e sobre. En escenarios máis complexos de traballo sería posíbel especificar a cantidade de memoria que o traballador precisaría para enlazar (e, polo tanto, utilizar só os traballadores máis axeitados), ou mesmo o tipo de traballador sería necesario.
Permite engadir un exemplo poucos empregos:
A seguinte táboa de novo é moi sinxelo de entender, son datos que o noso traballo. Eles están conectados á táboa de traballos principal por unha columna `jobs_id`. A composición desta táboa depende moito dos datos que precisa ofrecer aos seus traballadores, imos facer un exemplo moi sinxelo, onde temos catro columnas:
- id: identificación do rexistro
- nome: o nome da persoa
- Enderezo: Enderezo da Persoa
- jobs_id: A ID de traballo que este rexistro está ligado á
A táboa terceiro e último está formado por unha táboa de resultados, que ten o mesmo facer se como a nosa táboa rexistros, e coa adición de algunhas columnas podería ser parte da táboa de rexistros:
- job_record_id: vincular o resultado para a mesa de traballo
- Resultado: Os datos do resultado
... E iso é todo que precisa para o control de traballo! (Aínda que a un nivel moi básico) No meu caso eu estou vinculado a outra táboa onde os meus datos para proceso foi localizado, pero isto pode só como facilmente ser un arquivo, os parámetros para executar código de simulación, o seu nome.
Seleccionando un emprego
Como mencionado anteriormente, os traballadores van facer o noso traballo de xestión para nós agora, para todo o que necesitamos realmente facer é atopar un traballo que precisa de procesamento e obter a información. Como faríamos isto? Ben escoller os nosos criterios de selección de emprego e buscar emprego, en SQL eu fixen o seguinte:
- Tome todos os traballos que non están marcadas como concluídas, mais do noso traballador e redefini-las (substitúa ME__ __ cun identificador máis doado, sería a dirección IP):
Update `emprego` SET `status` = 0 Where `status` = 1 AND `started_by` = __ ME__;
- Usando os nosos criterios de selección de emprego, seleccionar un traballo e dicir ao sistema de control que este traballador está lidando con iso:
Update `emprego` SET `status` = 1, `started_by` = __ ME__, `started_at` = NOW () Where `status` = 0 OR
(`Status` = 1 AND `started_at`> DATE_SUB (NOW (), INTERVAL Hour X)) ORDER BY `id` ASC;
Ao incorporarse emprego que non presentaron resultados en X cantidade de tempo que garantir que todos os traballos son executados en caso de un traballador non funcionar ou se ausentar sen licenza.
- A continuación cara os detalles emprego seguidos polos rexistros propios:
SELECT * FROM `emprego` onde `started_by` = __ ME__ Limit 1;
SELECT * FROM `job_records Where` id `= __ JOBID__;
Tras a conclusión do traballo que inserir rexistros noso resultado e marcar o traballo como concluído. Lembre que os traballos poden suspender / renovar en calquera momento permiten algunha robustez no seu guión. Pode ser que a tarefa suspende a medio a actualización do sistema de control de traballo, entón comprobar o número de rexistros nun traballo eo número de resultados gardados ao seu sistema de control de traballo sería unha medida acertada.
Ademais, aínda que iso demostra como os traballos poden ser seleccionados e xestor a partir dun cadro SQL-consulta ten que realmente ser abstraindo o seu control sobre o traballo de modo que se decide pasar a usar un servizo web, un sistema de ficheiros baseado en XML , ou calquera outro número de sistemas que non afectará o código anterior.
Configuración do traballo
O seguinte aspecto a considerar é o tamaño do traballo e configuración. Ao xogar con a configuración do traballo, podemos atopar un equilibrio excelente entre a velocidade, a replicación de procesos, e fiabilidade. Dedique uns escenarios OFA parella:
- Emprego tomar 1 día a día para ser executado: Isto significa que os traballadores necesitan 15 días para procesar cada traballo (lembre-se 10% da enerxía para 2/3rds do tempo). Este non é claramente un sabio configuración, o tamaño do traballo é moi grande! Levaría polo menos o dobre do tempo para conseguir un emprego procesado debe o traballador ir AWOL inicial (tempo de coller que non retornou un resultado máis o tempo de reprocesando). Nun ideal que ten polo menos un traballo completo facilmente apurada ata o final de cada período de tempo ocioso, de que xeito se mantén os postos de traballo máis típico e, no peor caso, un traballo levaría dous días para o primeiro proceso debería van faltar.
- Traballos levar 1 minuto para executar: Isto significa que os traballadores levar uns 15 minutos para realizar cada traballo. Aínda que isto poida parecer inicialmente ideal, gañou procesamento traballo adicional durante a hora do xantar, coffee breaks, reunións, etc este escenario pon presión sobre outras áreas do seu sistema e presenta os seus propios problemas. Por exemplo, en primeiro lugar a súa razón de tempo de configuración / procesamento está a ir dereito para abaixo, perdendo así a eficiencia do sistema. Súa rede vai ser constantemente información sobre o traballo de streaming para o equipo varios traballadores frustrante que son dong seu traballo do día a día. Tamén vai poñer máis presión sobre o seu traballo como servidor de procesamento que ten que repartir lotes e lotes de pequenas pezas de traballo nunha base regular. Por fin, nesta situación, o seu servidor de emprego descende vai crear un rexistro de volta enorme de traballo incompleto mentres traballos maiores podería de procesamento continuou alegremente inconscientes de que o servidor estaba pasando por dificultades de emprego.
En realidade, non haberá unha configuración ideal para a súa instalación da reixa, moi depende dos recursos dispoñibles, tipo de traballo, requisitos do traballo tempo de produción, capacidade de rede, e así por diante. Con todo, algunhas directrices sería:
- Traballos en tamaño de xeito que cada traballador pode pasar por polo menos 3-4 emprego nun período de 15 horas (o máis longo período de tempo probable idle)
- Xoga co tamaño do traballo de xeito que o tempo de configuración tórnase bastante insignificante comparado co tempo de procesamento (tendo en conta o punto anterior).
- Se un traballo non é concluído en dobrar a cantidade de tempo (quizais menos) se espera para completa-lo asumir que a súa AWOL ir e comezar a proceso-lo con outro traballador. Isto significa que pode ter que esperar ata tres veces a lonxitude normal de un traballo para a conclusión (posiblemente máis o traballo posterior falla). Pode querer reducir este tempo, pero Tomé coidado para non reduci-lo moito como podes comezar a duplicación de tarefas de procesamento nunha base regular.
- Jobs debe ser independente das esixencias externas, na medida do posible. O servidor de emprego, por exemplo, só debe atoparse no inicio e final de cada traballo.
- Non saturar a súa rede, este terá dous efectos negativos, o seu equipo vai atopar durante o día a través da rede frustrante e os problemas poden ser probados con conexións tempo de espera dun problema que só vai peor cando escalar a reixa.
- Garantir os postos de traballo poden ser executados nos seus traballadores. Os traballos fanse moito espazo de memoria traballos intensivos ou intensivos disco comeza a abortar eo único que notará é unha gota no número de traballos procesados sen motivo real.
Entregaren os resultados dun traballo
Ao presentar os resultados dun traballo é importante comprobar que os resultados non foron presentados por outro traballador, especialmente se o traballador actual estivo dormente por algún tempo.
Cando os resultados son presentados asegurar que o número de resultados coincide co número de rexistros dentro do traballo.
Como mencionado anteriormente, e non pode ser máis enfatizado, construír tolerancia a fallos na recuperación de traballos e presentación de resultados. Os traballadores poden (e seguramente) entrar no modo de suspensión no máis inconveniente de veces e iso debe ser servidos. Tamén unha vez abstraindo súa submisión resultados axudarán atender a futuras cambios no seu sistema de control de traballo moito máis doado de xestionar.
Resumo
Neste sectiona vimos o que é un servidor de control de traballo que facer e como obter un sistema moi básico configurado. Discutir como recuperar un traballo desde o sistema de control ea mellor forma de configurar traballos para obter o máximo do noso sistema de reixa oficina. Para finalizar, un parágrafo ou dous sobre como enviar os resultados ao seu servidor de control de traballo foi presentado.
- Un servidor de control de traballo xere emprego e asegura que todas as unidades de traballo son concluídas
- Ao abstraerse o seu traballo Select / resultados submisión podemos cambiar a tecnoloxía do servidor de control sen moitos problemas
- Configure os seus traballos para garantir que se executan de forma rápida e eficiente, sen poñer demasiada presión sobre a infraestrutura de rede, e sen duplicar tarefas de procesamento nunha base regular.
- Asegúrese de construír a tolerancia a fallos e checking erro nas súas rutinas, os traballadores poden suspender e renovar e máis inconveniente de veces. Teña en conta que comprobar os resultados xa foron presentados por outro traballador.
Próxima vez
Na parte 3 imos crear a nosa máquina de procesamento virtual e configurar nosas máquinas de fiestras para facer ausente dos traballadores a tempo.
Comentarios (2) 
Ao definir cada un dos seus traballadores como un escravo para o traballo actualizacións do servidor de control das súas fontes de datos pode escorrer ben aos seus traballadores, sen un gran aumento na actividade da rede (que é a menos que executar unha actualización de datos enorme e os seus traballadores entran en acción dunha vez). Isto ten vantaxes sobre rsync en que non ía estar unha longa pausa antes de cada traballo, como as actualizacións da base de datos, o mysql servizo no seu traballo continuamente actualizar os seus datos, o procesamento continúa. 
Artigos , Computing , Grid Computing , Linux , PHP , Programación Web | 
actualizar 
