ahora tengo 10 servidores para hpc, orientado a la informática de potencia. Mis usuarios necesitan iniciar varios procesos usando qmake. Los usuarios están acostumbrados a trabajar con ubuntu 9.10, y el software de los repositorios es modificable para ellos.
He implementado ubuntu 9.10 en los 10 servidores (pxe rocks).
En este momento, trabajamos con parallel-ssh y cluster-ssh, lo que permite iniciar el mismo proceso en todos los servidores. Con estas herramientas, estos servidores permanecen como independientes pero con el mismo software y el mismo comando lanzado.
Ahora nos gustaría ir al siguiente paso y ver todos los servidores como uno solo con todos los recursos de los otros 9 como si fueran sus recursos.
La diferencia sería sustancial en el tiempo para procesar y también para diseñar el comando para iniciar.
¿Algún consejo sobre qué software usar será muy útil?
Gracias
fuente
Respuestas:
De lo que estás hablando se llama Imagen de Sistema Único (SSI) . MOSIX implementa la variante más común de este esquema para Linux . Si bien proporciona algunas ventajas en términos de administración del sistema, en general los procesos no pueden abarcar varios nodos sin usar alguna forma de MPI . Básicamente, ya sea que use o no un clúster "estándar" que se ejecute en gridengine o que forme sus sistemas en una sola imagen, aún deberá modificar todo el software para poder abarcar múltiples nodos.
fuente
Un clúster no es una máquina única en cuanto al rendimiento, la ubicación fs / memory es importante para el rendimiento.
Hacer cosas a nivel de aplicación, aunque menos general, es más eficiente en cuanto a recursos. Su ejemplo de qmake se puede acelerar significativamente configurando distcc.
fuente
Al final he usado Sun Grid Engine.
He documentado en una wiki privada, y he cortado y pegado en mi blog Creo que puede ser útil incluso sin traducción. ;)
Entrada de blog: http://suportrecerca.barcelonamedia.org/blog/?p=240
Si alguien quiere el código wiki, pregúntelo aquí.
Gracias.
fuente
Nunca he implementado uno antes, pero parece que un clúster de beowulf funcionaría para lo que intentas hacer. He leído mucho sobre esto en el pasado y para algunos procesos más simples puede haber poca recodificación necesaria dependiendo de lo que intente lograr.
fuente