Introducción
Yo trabajo en una empresa donde nos encontramos muchos puestos de trabajo de procesamiento por lotes de millones de registros de datos cada día y he estado pensando recientemente sobre todos los equipos que se sientan alrededor de cada uno y todos los días sin hacer nada durante varias horas. ¿No sería bueno si pudiéramos usar las máquinas para reforzar el poder de transformación de nuestros sistemas? En este conjunto de artículos que voy a ver los beneficios potenciales del empleo de una oficina de la red utilizando entornos virtualizados.
En la parte 1 me dio una visión general del sistema y las tecnologías que va a utilizar, así como se discute algunas de las posibles razones por las que se desea crear una red de oficinas.
Trabajo de control
Si usted va a estar ejecutando trabajos, entonces vamos a necesitar alguna forma de manejarlos. Su sistema de control de trabajos (en el servidor de trabajo) tiene que ser muy bien pensado antes incluso de intentar hacer funcionar una red de oficinas. Así que en primer lugar, ¿cuáles son las tareas de un sistema de control de trabajo:
- Trabajos de la mano a cabo a petición de los trabajadores
- Dígales a los trabajadores qué tipo de trabajos se ejecuten
- Seguimiento de los trabajos
- Asegurar que los trabajos sólo se ejecutan una vez
- Proporcionar los datos de empleo a los trabajadores, o por lo menos les diga dónde conseguirlo
El sistema también debe ser extensible, una solución que funciona por ahora en un solo caso se puede extender para ejecutar varios tipos de puestos de trabajo como las empresas ven el valor en una solución de red. Por ejemplo, los trabajos pueden ganar las prioridades, más de un tipo de trabajo puede existir (es decir, varias bases de código), con el tiempo incluso se puede ejecutar varias máquinas diferentes de los trabajadores que están optimizados para cada tipo de trabajo (a pesar de que se aleja de los trabajadores "genéricos 'idea). Siempre trato de pensar en el futuro en el desarrollo de sistemas, una visión a corto plazo puede conducir a la frustración a largo plazo y el tiempo de desarrollo mayor.
Servidor de tareas de
Vamos a necesitar un lugar para el control de nuestros puestos de trabajo a partir de, este debe ser el único sistema en su red que tiene un localizador de recursos fijos, ya sea una dirección IP, nombre de host, la dirección URL (usando DNS interno), etc Esto es porque los trabajadores necesitan saber dónde buscar empleo, los trabajadores necesitan para encontrar el sistema de control de trabajo (no el sistema de control de trabajo encontrar a los trabajadores).
El servidor de trabajo en sí no tiene realmente una tarea complicada (en un sistema básico de todos modos), que necesita para almacenar una lista de puestos de trabajo, repartir puestos de trabajo, recibir los resultados, y posteriormente almacenarlos para su posterior recuperación. Cómo estas partes (tales como "mano puestos de trabajo") se definen pueden ser muy básicos. Más adelante podemos ampliar el sistema para incluir una interfaz de administración para agregar, editar, eliminar, suspender puestos de trabajo, pero esto está más allá de este ejercicio.
No hay ninguna razón que sea luego de que su servidor de trabajo no podía ser una máquina virtual que se ejecuta en el servidor de procesamiento principal, siempre que no agotar los recursos de muchos de él. El servidor de trabajo sin embargo es necesario una alta disponibilidad, si se cae en un viernes por la noche que va a perder un fin de semana de tratamiento, lo que podría costarle un par de semanas de tiempo de procesamiento (en comparación con el servidor de procesamiento principal solamente) . Es posible que desee considerar la posibilidad de su servidor de trabajo en un entorno de equilibrio de carga de alta disponibilidad.
Configuración básica
La configuración básica de nuestro servidor de trabajo consistirá en lo que estoy llamando a uno de mis servidores Bizkit (que es nux Li, m ySql, P HP). El código que se ejecuta en los trabajadores thea realmente averiguar qué puestos de trabajo se puede ejecutar mediante la interacción con bases de datos con el trabajo del sistema de control. Más adelante se podría crear un servicio web y en realidad la mano de puestos de trabajo en lugar de tener a los trabajadores hacer el trabajo duro sí, pero por ahora vamos a seguir utilizando el principio KISS (Keep It Simple, Estúpido!).
Por lo tanto, vamos a crear tres mySQL tablas para hacer frente a puestos de trabajo. Estos puestos de trabajo será ``, `jobRecords`, y `jobResults`.
Aquí estoy usando SQL Buddy una gran alternativa poco a phpMyAdmin sólo porque es más fácil de instalar en CentOS (para que otros ven: 10 grandes alternativas a phpMyAdmin )
Esta tabla se compone de 5 campos de simple,
- Identificación: identificar de forma exclusiva el trabajo
- Nombre: Podría ser una referencia de cliente, o cualquier número de otros identificadores
- Estado: Es necesario saber dónde está el trabajo es menos, por ejemplo,
- 0: No se ha iniciado
- 1: Recogido
- 2: Completado
- started_by: ¿Quién empezó a hacer el trabajo? Esto no es del todo necesario, pero es un agradable de tener. Te sugiero que los trabajadores de seguimiento de su dirección IP en la red
- started_at: ¿Cuándo el trabajador inicie el trabajo? Mediante el seguimiento de los trabajos que no hayan completado dentro de X cantidad de tiempo que sabemos que tenemos que recoger el trabajo de nuevo y empezar a procesar por otro trabajador. Los trabajadores podrían dejar de procesar / fuera de línea para cualquier número de razones, falta de luz, accidente, pérdida de red, etc
Es fácil cómo esta tabla podría ser ampliado con un campo adicional para permitir que unos pocos para el seguimiento de las estadísticas, una columna de tiempo de llegada para ver cuánto tiempo tomó el trabajo, un contador para ver cuántos trabajadores tomó el puesto de trabajo (obviamente, esto tiene que tienden a 1), prioridad de los trabajos, la lista puede seguir y seguir. En los escenarios de trabajo más complejo que sería posible especificar la cantidad de memoria que el trabajador tendría que tener acceso a (y por lo tanto, sólo el uso adecuado de trabajadores), o incluso qué tipo de trabajador se requiere.
Permite añadir un ejemplo algunos trabajos:
La tabla siguiente de nuevo es bastante sencillo de entender, estos son nuestros registros de trabajos. Están vinculados a la mesa de trabajo principal en una columna `jobs_id`. La composición de esta tabla depende mucho de los datos que debe proporcionar a sus trabajadores, vamos a hacer un ejemplo muy simple, donde tenemos cuatro columnas:
- id: identificador del registro
- Nombre: nombre de la persona
- Dirección: Dirección de la Persona
- jobs_id: El ID de la tarea que este disco está ligado a
La tabla de la tercera y última consiste en una tabla de resultados, tiene mucho de la misma marca hasta nuestra mesa, como los registros, y con la adición de algunas columnas pueden ser parte de la tabla de registros:
- job_record_id: Enlace el resultado a la mesa de trabajo
- Resultados: Los datos de resultado
... Y eso es todo lo que necesita para el control de trabajo! (Aunque a un nivel muy básico) En mi caso me señaló a otra mesa en la que mis datos de proceso se encuentra, pero esto podría muy fácilmente ser un archivo, los parámetros para ejecutar el código de simulación, lo que sea.
Selección de un trabajo
Como se mencionó anteriormente, los trabajadores a hacer nuestra gestión de trabajo por nosotros, por ahora, así que todo lo que necesitamos realmente es encontrar un trabajo que las necesidades de procesamiento y obtener la información. ¿Cómo hacemos esto? Así recoger los criterios de selección de empleo y buscar trabajo en SQL hice lo siguiente:
- Tomar cualquier trabajo que no están marcados como completa, pero a partir de nuestros trabajadores y recuperar los (sustituto __ME__ con un identificador más fácil, sería la dirección IP):
ACTUALIZACIÓN `puestos de trabajo` SET `estado` = 0 donde `status` = 1 `Y` = started_by __ME__;
- Utilizando los criterios de selección de trabajo, seleccione un trabajo y decirle al sistema de control que este trabajador se trata de que:
ACTUALIZACIÓN `puestos de trabajo` SET `estado` = 1, `started_by` = __ME__, `started_at` = NOW () WHERE `estado` = 0 o
(`Status` = 1 `Y` started_at> DATE_SUB (NOW (), intervalo de una hora X)) ORDER BY `id` ASC;
Por el acaparamiento de puestos de trabajo que no han arrojado resultados en X cantidad de tiempo que nos aseguramos de que todos los trabajos se ejecutan en el caso de un trabajador de chocar o ir sin permiso.
- A continuación tomar los datos puestos de trabajo seguido por los mismos registros:
SELECT * FROM `puestos de trabajo` WHERE `started_by` = __ME__ LIMIT 1;
SELECT * FROM `job_records` WHERE `id` = __JOBID__;
Una vez finalizado el trabajo insertamos nuestros registros de resultados y marca el trabajo lo más completo. Recuerde que como puestos de trabajo puede suspender / reanudar en cualquier momento y permitir cierta solidez en su guión. Puede ser que la tarea suspende la mitad del camino a través de la actualización del sistema de control de trabajo, así que comprobar el número de registros en un puesto de trabajo y el número de resultados vuelve a guardar en el sistema de control de trabajo sería un acierto.
Además, si bien esto demuestra cómo los trabajos pueden ser seleccionados y administrados desde un marco de consulta SQL que realmente debería ser la abstracción de su control sobre el trabajo de modo que si usted decide pasar a utilizar un servicio web, un sistema de archivos basado en XML , o cualquier otro número de sistemas que no afectará el código por encima de ella.
Trabajo de configuración
El siguiente aspecto a considerar es el tamaño del trabajo y la configuración. Al jugar con la configuración de trabajo que puede lograr un excelente equilibrio entre la velocidad, la duplicación de procesos, y la fiabilidad. Tome un par de escenarios deA:
- Puestos de trabajo tome un día cada uno para funcionar: esto significa que sus trabajadores necesitan 15 días para procesar cada trabajo (recuerde que el 10% de la energía para 2/3rds de la época). Claramente esta no es una buena configuración, el tamaño de su trabajo es demasiado grande! Se necesitaría por lo menos el doble de tiempo para conseguir un trabajo procesado si el trabajador se ausentan sin permiso inicial (tiempo para recoger a que no ha devuelto un resultado más el tiempo de reprocesamiento). En un ideal que tendría por lo menos un trabajo de jornada completa fácilmente aclarado por el final de cada período de inactividad larga, de esa manera a mantener los puestos de trabajo marcando más y en el peor caso, un trabajo que tomaría dos días para el proceso que los primeros van a faltar.
- Puestos de trabajo tome un minuto para correr: Esto significa que los trabajadores toman unos 15 minutos para ejecutar cada trabajo. Si bien este principio puede parecer ideal, ganancia de procesamiento trabajo adicional durante la hora del almuerzo, coffee break, reuniones, etc este escenario pone la tensión en otras áreas de su sistema y presenta sus propios problemas. Por ejemplo, en primer lugar la configuración / procesamiento relación de tiempo que va a ir a la derecha hacia abajo, por lo tanto perder la eficiencia del sistema. La red va a ser constante flujo de información de trabajo para el personal de los trabajadores de varios frustrantes que son dong su día a día. También vas a poner más presión sobre el servidor de procesamiento de trabajos ya que tiene que repartir los lotes y lotes de pequeñas piezas de trabajo sobre una base regular. Por último, en esta situación si el servidor de trabajo de baja que va a crear un registro de vuelta enorme de trabajo no realizado, mientras que trabajos más grandes de la continuación de procesamiento podría felizmente ignorante de que el servidor de trabajo estaba experimentando dificultades.
En realidad no habrá una configuración ideal para la configuración de la red, mucho depende de los recursos disponibles, los tipos de trabajo, los requisitos de trabajo de tiempo de respuesta, capacidad de red, y así sucesivamente. Sin embargo, algunas pautas serían los siguientes:
- Trabajos de tamaño de modo que cada trabajador puede obtener a través de puestos de trabajo por lo menos 3-4 en un plazo de 15 horas (el período más largo posible el tiempo de inactividad)
- Jugar con el tamaño del trabajo a fin de que el tiempo de preparación será bastante insignificante en comparación con el tiempo de procesamiento (teniendo en cuenta el punto anterior).
- Si un trabajo no termina en el doble de la cantidad de tiempo (tal vez menos) que espera que se complete que suponer que su pasado sin permiso y comenzar a procesar con otro trabajador. Esto significa que usted puede tener que esperar hasta tres veces la duración normal de un puesto de trabajo a que se complete (posiblemente más si el trabajo de fallar). Es posible que desee reducir este tiempo, pero tenga cuidado de no reducir demasiado, ya que puede comenzar a duplicar las tareas de procesamiento en una base regular.
- Puestos de trabajo debe ser independiente de las necesidades externas, tanto como sea posible. El servidor de trabajo, por ejemplo, sólo se debe contactar al inicio y al final de cada trabajo.
- No sature su red, esto tendrá dos efectos negativos, a su personal durante el día se encuentra con la red de frustración y los problemas se pueden experimentar con las conexiones se agote el tiempo un problema que sólo va a empeorar a medida que la escala de su red.
- Garantizar puestos de trabajo se puede ejecutar en sus trabajadores. Si los trabajos son demasiado espacio de memoria puestos de trabajo intensivo o intensivo del disco comenzará a abortar y lo único que notará es una caída en el número de trabajos procesados sin razón real por qué.
Resultados de la presentación de un trabajo
Al presentar los resultados de un trabajo es importante comprobar que los resultados no han sido presentados por otro trabajador, especialmente si el trabajador actual ha estado inactivo durante algún tiempo.
Cuando los resultados se presentan para que el número de resultados coincide con el número de registros en el trabajo.
Como se indicó anteriormente, y no está de más insistir, construir la tolerancia a fallos en la recuperación de puestos de trabajo y presentación de resultados. Los trabajadores pueden (y lo más probable es que) entrar en el modo de suspensión en la mayoría de los inconvenientes de los tiempos y esto debe ser atendido. Además, una vez más abstracción de su presentación resultados ayudarán a atender a futuros cambios en su sistema de control de trabajo mucho más fácil de tratar.
Resumen
En este seccion_a hemos visto qué es un servidor de control de trabajo que tiene que hacer y cómo llegar a un sistema muy básico establecido. Hablamos de cómo recuperar un trabajo desde el sistema de control y de la mejor manera de configurar puestos de trabajo para aprovechar al máximo nuestro sistema de red de su oficina. Para finalizar, un párrafo o dos sobre la presentación de los resultados de vuelta al servidor de control de trabajo se presentó.
- Un servidor de control de trabajo administra los trabajos y asegura que todas las unidades de trabajo se completan
- Mediante la abstracción de su trabajo de selección / resultados de la presentación podemos cambiar la tecnología del servidor de control sin problemas mucho
- Configure su trabajo para asegurarse de que se ejecute de forma rápida y eficiente, sin poner demasiada presión sobre la infraestructura de red, y sin duplicar las tareas de procesamiento en una base regular.
- Asegúrese de que construir la tolerancia a fallos y checking error en su rutina, los trabajadores pueden suspender y reanudar la mayoría de los inconvenientes de los tiempos. Recuerde que debe comprobar si los resultados han sido presentados por otro trabajador.
La próxima vez
En la parte 3 vamos a crear nuestra máquina de procesamiento virtual y configurar las ventanas de nuestras máquinas para convertirse en tiempo de inactividad los trabajadores.