'Grid' mallorquín con vistas a Europa
- El Instituto de Física Interdisciplinar y Sistemas Complejos instala un IBM iDataplex de 512 'cores'
- Forma parte de una red de 8.000 'cores' y más de 1 PB de almacenamiento
El Instituto de Física Interdisciplinar y Sistemas Complejos (IFISC) es un centro mixto de la Universitat de Illes Balears (UIB), perteneciente al Consejo Superior de Investigaciones Científicas (CSIC), que trabaja en diferentes áreas de estudio relacionadas con la física y los sistemas complejos. Por la naturaleza de los trabajos desarrollados por este instituto, éste necesita una gran capacidad de procesamiento, con picos que difícilmente se podrían asumir en modo local.
Pere Colet, uno de los investigadores responsables del IFISC, asegura: “En el centro exploramos muchos rangos de parámetros, lo que da lugar a cientos de cálculos que pueden durar desde horas a días”. Colet lo justifica por la disparidad de los estudios de dinámicas que se realizan, “desde el caos en sistemas ópticos para los sistemas de comunicación a las dinámicas de población y sus efectos ecológicos o los flujos de opinión en modelos sociológicos”. Por este motivo, Colet explica: “No usamos un programa prototípico, sino que tenemos muchos según las diferentes investigaciones, muchos desarrollados en Fortran por los propios investigadores”.
En este contexto, IFISC ha ingresado este año en el Grid CSIC con el fin de conseguir estos recursos de conmutación que necesitaba. En realidad, como apunta Colet, “la idea de este grid es antigua y nació a finales de los 90 en el CERN, donde se manejaban grandes volúmenes de datos en modo distribuido”. El investigador del IFISC ha sido testigo de la evolución desde entonces y aún recuerda la creación del germen European Union Data Grid que años después desembocaría en la European Grid Initiative, en la que cada país participa con su propia propuesta grid compartiendo recursos. España contribuía a este proyecto a través del CSIC, que en abril de 2008 crearía el Grid CSIC habiéndose apoyado para ello en la experiencia previa de la de la red telemática grid de RedIRIS.
IFISC comenzó a participar de esta iniciativa en su segundo año de vida, siendo entonces necesario reforzar sus recursos de alta computación. Se sumaba así al resto de los institutos de física partícipes (el de Cantabria, Valencia, Granada, Barcelona y Madrid) y pasaba a beneficiarse de los casi 8.000 cores y más de 1 PB de almacenamiento que proporciona este grid a la comunidad investigadora. El sistema de funcionamiento y compartición de recursos se concreta en que en un 25% del tiempo se puede emplear la máquina como estime el instituto, mientras que el 75% restante se ha de dedicar al Grid CSIC y al europeo.
Elección del hardware
Para participar en esta iniciativa, el instituto ha confiado en un IBM iDataplex de 512 cores y 96 TB de almacenamiento, repartido en dos cabinas DS4700 y otras cuatro DS4000 EXP810. Dado que ha de coordinarse con el resto de los centros de investigación y ha de compartir recursos, la elección del hardware presentaba restricciones de cara a favorecer al máximo la compatibilidad. Es el caso de la arquitectura, que había de ser x86, y el sistema operativo, que debía ser Linux, concretamente Scientific Linux 5.4 para 64-bit. Así, la solución seleccionada fue este sistema modular de gran rendimiento de IBM, con 1024 GB de RAM, arquitectura Intel con procesadores Intel Xeon L5520 quad-core a 2,26MHz, 12GB de memorias DDR-3 a 1066 MHz y tarjeta integrada Qlogic Fibre Channel HBA.
La instalación de la solución de IBM resultó relativamente sencilla, como relata Colet, “viene montado y prácticamente funciona sólo al conectarlo a la red; como teníamos ya todo nuestro cluster configurado, en menos de 48 horas lo teníamos funcionando”. En un primer momento, el equipo se montó como un nodo más de su propio cluster.
En cuanto a la configuración, el investigador señala que la propuesta por IBM era la más idónea por rendimiento, espacio y nivel de ruido. Esta configuración mejora notablemente a la de un antiguo rack que tenía el instituto, en 1U. Según Colet, “sólo su rack 1U hacía más ruido que nuestro cluster de más de 340 cores”. La conectividad se cubre con dos LANs dedicadas Gigabit Ethernet, una destinada a la gestión y la otra para la comunicación entre los diferentes nodos. Por su parte, los discos, con sus controladores y conexiones redundantes para una alta disponibilidad, están conectados a los servidores de almacenamiento con Fibre Channel multimodo de 4 GB.
Software libre
Desde el punto de vista del middleware, el cluster del IFISC corría con Mosix, con el que los investigadores estaban muy satisfechos por su modo de migrar la parte dura de los cálculos a los nodos libres de la red. Pero la configuración marcada por el CSIC obligaba al uso de gLite 3., para lo que el IFISC contrató a una persona, con la que se ha ayudado a la hora de virtualizar el entorno y, tras unos meses, estar certificados con el resto de la red europea para garantizar la compatibilidad. Entre las ventajas de que se trate de software libre, Colet destaca que “además del coste, no está claro que otra alternativa ofreciera mayores ventajas, siendo muy positivo que si tienes cualquier problema no tienes más que consultar a tus colegas”. No obstante, las especificaciones del CSIC también presentan alguna desventaja respecto a Mosix, puesto que su gestor de colas –Sun Grid Engine 6.2– no permite, a diferencia del segundo, el cambio dinámico de nodos para ejecutar los trabajos.
El acceso de los usuarios se realiza con un certificado de PKIGrid (como los empleados en RedIRIS). Para promover el uso del grid entre los investigadores se impartieron diversos seminarios y se ha cuidado en extremo el soporte puesto que, como afirma Colet, “queremos que sea un estímulo de cultura grid, no sólo el 25% que nos corresponde, sino el resto que se comparte para que sea útil a largo plazo”. No en vano, el cluster se concibe en el IFISC como “una herramienta computacional muy valiosa”.
- Forma parte de una red de 8.000 'cores' y más de 1 PB de almacenamiento
El Instituto de Física Interdisciplinar y Sistemas Complejos (IFISC) es un centro mixto de la Universitat de Illes Balears (UIB), perteneciente al Consejo Superior de Investigaciones Científicas (CSIC), que trabaja en diferentes áreas de estudio relacionadas con la física y los sistemas complejos. Por la naturaleza de los trabajos desarrollados por este instituto, éste necesita una gran capacidad de procesamiento, con picos que difícilmente se podrían asumir en modo local.
Pere Colet, uno de los investigadores responsables del IFISC, asegura: “En el centro exploramos muchos rangos de parámetros, lo que da lugar a cientos de cálculos que pueden durar desde horas a días”. Colet lo justifica por la disparidad de los estudios de dinámicas que se realizan, “desde el caos en sistemas ópticos para los sistemas de comunicación a las dinámicas de población y sus efectos ecológicos o los flujos de opinión en modelos sociológicos”. Por este motivo, Colet explica: “No usamos un programa prototípico, sino que tenemos muchos según las diferentes investigaciones, muchos desarrollados en Fortran por los propios investigadores”.
En este contexto, IFISC ha ingresado este año en el Grid CSIC con el fin de conseguir estos recursos de conmutación que necesitaba. En realidad, como apunta Colet, “la idea de este grid es antigua y nació a finales de los 90 en el CERN, donde se manejaban grandes volúmenes de datos en modo distribuido”. El investigador del IFISC ha sido testigo de la evolución desde entonces y aún recuerda la creación del germen European Union Data Grid que años después desembocaría en la European Grid Initiative, en la que cada país participa con su propia propuesta grid compartiendo recursos. España contribuía a este proyecto a través del CSIC, que en abril de 2008 crearía el Grid CSIC habiéndose apoyado para ello en la experiencia previa de la de la red telemática grid de RedIRIS.
IFISC comenzó a participar de esta iniciativa en su segundo año de vida, siendo entonces necesario reforzar sus recursos de alta computación. Se sumaba así al resto de los institutos de física partícipes (el de Cantabria, Valencia, Granada, Barcelona y Madrid) y pasaba a beneficiarse de los casi 8.000 cores y más de 1 PB de almacenamiento que proporciona este grid a la comunidad investigadora. El sistema de funcionamiento y compartición de recursos se concreta en que en un 25% del tiempo se puede emplear la máquina como estime el instituto, mientras que el 75% restante se ha de dedicar al Grid CSIC y al europeo.
Elección del hardware
Para participar en esta iniciativa, el instituto ha confiado en un IBM iDataplex de 512 cores y 96 TB de almacenamiento, repartido en dos cabinas DS4700 y otras cuatro DS4000 EXP810. Dado que ha de coordinarse con el resto de los centros de investigación y ha de compartir recursos, la elección del hardware presentaba restricciones de cara a favorecer al máximo la compatibilidad. Es el caso de la arquitectura, que había de ser x86, y el sistema operativo, que debía ser Linux, concretamente Scientific Linux 5.4 para 64-bit. Así, la solución seleccionada fue este sistema modular de gran rendimiento de IBM, con 1024 GB de RAM, arquitectura Intel con procesadores Intel Xeon L5520 quad-core a 2,26MHz, 12GB de memorias DDR-3 a 1066 MHz y tarjeta integrada Qlogic Fibre Channel HBA.
La instalación de la solución de IBM resultó relativamente sencilla, como relata Colet, “viene montado y prácticamente funciona sólo al conectarlo a la red; como teníamos ya todo nuestro cluster configurado, en menos de 48 horas lo teníamos funcionando”. En un primer momento, el equipo se montó como un nodo más de su propio cluster.
En cuanto a la configuración, el investigador señala que la propuesta por IBM era la más idónea por rendimiento, espacio y nivel de ruido. Esta configuración mejora notablemente a la de un antiguo rack que tenía el instituto, en 1U. Según Colet, “sólo su rack 1U hacía más ruido que nuestro cluster de más de 340 cores”. La conectividad se cubre con dos LANs dedicadas Gigabit Ethernet, una destinada a la gestión y la otra para la comunicación entre los diferentes nodos. Por su parte, los discos, con sus controladores y conexiones redundantes para una alta disponibilidad, están conectados a los servidores de almacenamiento con Fibre Channel multimodo de 4 GB.
Software libre
Desde el punto de vista del middleware, el cluster del IFISC corría con Mosix, con el que los investigadores estaban muy satisfechos por su modo de migrar la parte dura de los cálculos a los nodos libres de la red. Pero la configuración marcada por el CSIC obligaba al uso de gLite 3., para lo que el IFISC contrató a una persona, con la que se ha ayudado a la hora de virtualizar el entorno y, tras unos meses, estar certificados con el resto de la red europea para garantizar la compatibilidad. Entre las ventajas de que se trate de software libre, Colet destaca que “además del coste, no está claro que otra alternativa ofreciera mayores ventajas, siendo muy positivo que si tienes cualquier problema no tienes más que consultar a tus colegas”. No obstante, las especificaciones del CSIC también presentan alguna desventaja respecto a Mosix, puesto que su gestor de colas –Sun Grid Engine 6.2– no permite, a diferencia del segundo, el cambio dinámico de nodos para ejecutar los trabajos.
El acceso de los usuarios se realiza con un certificado de PKIGrid (como los empleados en RedIRIS). Para promover el uso del grid entre los investigadores se impartieron diversos seminarios y se ha cuidado en extremo el soporte puesto que, como afirma Colet, “queremos que sea un estímulo de cultura grid, no sólo el 25% que nos corresponde, sino el resto que se comparte para que sea útil a largo plazo”. No en vano, el cluster se concibe en el IFISC como “una herramienta computacional muy valiosa”.
