CENSO 2001, el mayor proceso de gestión documental del mundo
Cada diez años, el Instituto Nacional de Estadística (INE) pone en marcha el mayor proyecto estadístico de un país: el censo de población. Con este proyecto se pretende ofrecer una fotografía estática pero profunda de un país. Pero el censo del pasado año fue especial. No fue el primero ni será el único, pero por sus dimensiones, su planteamiento tecnológico y su resolución, gracias a la citada tecnología, puede ser considerado como “el mayor proceso de gestión documental del mundo”. Ahorro de tiempo y de costes son las claves principales de este proyecto, que contó con aportaciones tecnológicas de empresas tales como Fujitsu Siemens Computers, EMC2, o Microsoft, entre otras. Para comprender en toda su magnitud este proyecto y la tecnología empleada, quisimos conversar con José Antonio Perea, subdirector general de Informática Estadística del INE y coordinador general de Censos de Población y Viviendas 2001, quien nos aclaró los parámetros técnicos de este proyecto.
Tal y como nos explica José Antonio Perea, subdirector general de Informática Estadística del INE y coordinador general de Censos de población y viviendas 2001, “elaborar un censo de este tipo se convierte en el mayor proyecto de gestión documental de un país. Cada vez, y durante los últimos 20 años, se ha estado intentando conseguir una tecnología capaz de hacer que, por un lado, el procesamiento de la información sea mucho más rápido y, por otra parte, intentar rentabilizar la inversión, reutilizando la tecnología adquirida después de la finalización del proyecto y, además, reduciendo los costes”.
La última referencia válida para poder comparar la situación tecnológica alcanzada este pasado año era la obtención del censo anterior, es decir, la de 1991. En palabras de Perea, “en el año 91, el proceso se prolongó cerca de cuatro años, algo que se enmarca perfectamente en las tendencias mundiales, porque todos los países contaban con las mismas tecnologías. Se empleaba la captura tradicional de datos, es decir, tecleando en los ordenadores los inmensos volúmenes de información. El proceso era, por tanto, muy lento y muy costoso. Sólo la captura de información tuvo un coste de casi 1.500 millones de pesetas, presupuesto similar al equipamiento y procesos de esta ocasión. Además, todo lo que se ha empleado aquí se va a reutilizar en otros procesos”.
Un proceso meditado y muy complejo
La decisión de introducir la tecnología en este proceso no surge de la noche a la mañana. En palabras de nuestro interlocutor, “antes de terminar el proceso del censo del año 91 ya estábamos pensando cómo mejorar y aplicar la tecnología al censo de 2001. Abrimos un proyecto que ha estado activo hasta este censo, en el que estuvimos buscando toda la tecnología referente a la captura de información para que pudiéramos utilizarla en estos censos. Esto coincidía con una tendencia a nivel mundial para ver qué opciones presentaba la tecnología y hacia dónde iban a caminar estas posibilidades tecnológicas. En este sentido, fue al tecnología de OCR (Reconocimiento Óptico de Caracteres) la que nos abrió el camino y sobre la que hemos estado trabajando. Con ella, ya teníamos algo en qué basar los procedimientos censales a nivel mundial. Esto suponía ya una considerable reducción de tiempos y costes, porque en diez años el sector ha evolucionado mucho y se ha conseguido que la tecnología de reconocimiento sea barata y muy eficaz”.
No fue éste el único reto tecnológico al que se enfrentaron los responsables de este proyecto. Según nos explicó, “debíamos también idear la forma de poder, con los equipos informáticos, seguir la velocidad que nos ofrecían los escáneres, y ahí surgió la idea de los sistemas biprocesador”.
A toso esto hay que añadirle otras variables. La primera es “el tiempo. Todo este proceso debía realizarse en un tiempo muy ajustado. Por una serie de circunstancias, este proceso sólo podía ocuparnos tres meses. Los presupuestos con los que contábamos eran muy limitados, y teníamos que hacer por primera vez un censo centralizado, cuando antes siempre se realizaba la captura de la información de forma descentralizada, un proceso que en la última ocasión nos ocupó un año”.
Todos los países han seguido la misma tendencia. “Desde el año 99 habíamos asistido a proyectos similares en Europa y Estados Unidos, y teníamos noticias que nos iban indicando el éxito o no de los diferentes proyectos para conseguir los resultados esperados en el menor tiempo posible. Todos se encontraron con ciertas dificultades, y nosotros contábamos con el reto de aprender de los errores de estos retos, así como la posibilidad de aprovechar las ideas buenas que ellos habían venido empleando. Asimismo, contábamos con otros problemas, como los cuestionarios en diferente idiomas o la existencia de datos manuscritos. Además, introducíamos un elemento nuevo, la preimpresión de cuestionarios procedentes de los padrones municipales. Por todo ello, nos hemos encontrado con casi 60 modelos de cuestionarios que el sistema tenía que ser capaz de diferenciar conforme a la parametrización de los mismos”.
El mayor proyecto de gestión documental del mundo
El proyecto estadounidense se autodefinió como tal, pero su extensión a más de un año pese a su alto componente tecnológico “nos convirtió a nosotros en el mayor proyecto de gestión documental del mundo”.
Una vez establecida la forma de introducir los datos, llegan otros componentes importantes como la seguridad de el proceso. “Aparte de la seguridad, teníamos también el componente de la confidencialidad. Además, aprovechamos para realizar el censo junto con el padrón municipal y el censo de edificios y locales. Hablamos de un volumen de trabajo que gira en torno a los 60 millones de cuestionarios, 60 modelos diferentes y un total de unos 100 millones de imágenes a procesar tras obtenerlas de los escáneres. Todo ello en tres meses”.
Pero también es importante la seguridad física de los datos. “Hablábamos de un plazo de tres meses, por lo que el sistema no podía fallar. Necesitábamos medidas de seguridad extremas en el sistema para que nada fallase. Estábamos hablando de servidores en cluster. Tenemos que utilizar algo que sea capaz de soportar esto y, a la vez, que sea conocido para que nuestros técnicos y los técnicos contratados de forma especial pudieran salir adelante ante cualquier incidencia. Este fue el motivo para que nos decantáramos por el entorno Windows”.
“Para nosotros”, continúa José Antonio Perea, “este entorno tenía una serie de ventajas. Primero, por el conocimiento del entorno que pudieran tener las cerca de 1.500 personas que han trabajado en este proyecto, que se han tenido que formar según iba teniendo lugar la producción. Elegir otros entornos a nivel de cliente no nos interesaba para nada, pero a nivel de servidor podríamos haber pensado en un entorno diferente, como Unix. Pero, yo siempre trasladaba la pregunta a la inversa, y les pedía que me demostraran que con un entorno Windows no se podía llevar a buen puerto el proyecto”.
Resoluci
Tal y como nos explica José Antonio Perea, subdirector general de Informática Estadística del INE y coordinador general de Censos de población y viviendas 2001, “elaborar un censo de este tipo se convierte en el mayor proyecto de gestión documental de un país. Cada vez, y durante los últimos 20 años, se ha estado intentando conseguir una tecnología capaz de hacer que, por un lado, el procesamiento de la información sea mucho más rápido y, por otra parte, intentar rentabilizar la inversión, reutilizando la tecnología adquirida después de la finalización del proyecto y, además, reduciendo los costes”.
La última referencia válida para poder comparar la situación tecnológica alcanzada este pasado año era la obtención del censo anterior, es decir, la de 1991. En palabras de Perea, “en el año 91, el proceso se prolongó cerca de cuatro años, algo que se enmarca perfectamente en las tendencias mundiales, porque todos los países contaban con las mismas tecnologías. Se empleaba la captura tradicional de datos, es decir, tecleando en los ordenadores los inmensos volúmenes de información. El proceso era, por tanto, muy lento y muy costoso. Sólo la captura de información tuvo un coste de casi 1.500 millones de pesetas, presupuesto similar al equipamiento y procesos de esta ocasión. Además, todo lo que se ha empleado aquí se va a reutilizar en otros procesos”.
Un proceso meditado y muy complejo
La decisión de introducir la tecnología en este proceso no surge de la noche a la mañana. En palabras de nuestro interlocutor, “antes de terminar el proceso del censo del año 91 ya estábamos pensando cómo mejorar y aplicar la tecnología al censo de 2001. Abrimos un proyecto que ha estado activo hasta este censo, en el que estuvimos buscando toda la tecnología referente a la captura de información para que pudiéramos utilizarla en estos censos. Esto coincidía con una tendencia a nivel mundial para ver qué opciones presentaba la tecnología y hacia dónde iban a caminar estas posibilidades tecnológicas. En este sentido, fue al tecnología de OCR (Reconocimiento Óptico de Caracteres) la que nos abrió el camino y sobre la que hemos estado trabajando. Con ella, ya teníamos algo en qué basar los procedimientos censales a nivel mundial. Esto suponía ya una considerable reducción de tiempos y costes, porque en diez años el sector ha evolucionado mucho y se ha conseguido que la tecnología de reconocimiento sea barata y muy eficaz”.
No fue éste el único reto tecnológico al que se enfrentaron los responsables de este proyecto. Según nos explicó, “debíamos también idear la forma de poder, con los equipos informáticos, seguir la velocidad que nos ofrecían los escáneres, y ahí surgió la idea de los sistemas biprocesador”.
A toso esto hay que añadirle otras variables. La primera es “el tiempo. Todo este proceso debía realizarse en un tiempo muy ajustado. Por una serie de circunstancias, este proceso sólo podía ocuparnos tres meses. Los presupuestos con los que contábamos eran muy limitados, y teníamos que hacer por primera vez un censo centralizado, cuando antes siempre se realizaba la captura de la información de forma descentralizada, un proceso que en la última ocasión nos ocupó un año”.
Todos los países han seguido la misma tendencia. “Desde el año 99 habíamos asistido a proyectos similares en Europa y Estados Unidos, y teníamos noticias que nos iban indicando el éxito o no de los diferentes proyectos para conseguir los resultados esperados en el menor tiempo posible. Todos se encontraron con ciertas dificultades, y nosotros contábamos con el reto de aprender de los errores de estos retos, así como la posibilidad de aprovechar las ideas buenas que ellos habían venido empleando. Asimismo, contábamos con otros problemas, como los cuestionarios en diferente idiomas o la existencia de datos manuscritos. Además, introducíamos un elemento nuevo, la preimpresión de cuestionarios procedentes de los padrones municipales. Por todo ello, nos hemos encontrado con casi 60 modelos de cuestionarios que el sistema tenía que ser capaz de diferenciar conforme a la parametrización de los mismos”.
El mayor proyecto de gestión documental del mundo
El proyecto estadounidense se autodefinió como tal, pero su extensión a más de un año pese a su alto componente tecnológico “nos convirtió a nosotros en el mayor proyecto de gestión documental del mundo”.
Una vez establecida la forma de introducir los datos, llegan otros componentes importantes como la seguridad de el proceso. “Aparte de la seguridad, teníamos también el componente de la confidencialidad. Además, aprovechamos para realizar el censo junto con el padrón municipal y el censo de edificios y locales. Hablamos de un volumen de trabajo que gira en torno a los 60 millones de cuestionarios, 60 modelos diferentes y un total de unos 100 millones de imágenes a procesar tras obtenerlas de los escáneres. Todo ello en tres meses”.
Pero también es importante la seguridad física de los datos. “Hablábamos de un plazo de tres meses, por lo que el sistema no podía fallar. Necesitábamos medidas de seguridad extremas en el sistema para que nada fallase. Estábamos hablando de servidores en cluster. Tenemos que utilizar algo que sea capaz de soportar esto y, a la vez, que sea conocido para que nuestros técnicos y los técnicos contratados de forma especial pudieran salir adelante ante cualquier incidencia. Este fue el motivo para que nos decantáramos por el entorno Windows”.
“Para nosotros”, continúa José Antonio Perea, “este entorno tenía una serie de ventajas. Primero, por el conocimiento del entorno que pudieran tener las cerca de 1.500 personas que han trabajado en este proyecto, que se han tenido que formar según iba teniendo lugar la producción. Elegir otros entornos a nivel de cliente no nos interesaba para nada, pero a nivel de servidor podríamos haber pensado en un entorno diferente, como Unix. Pero, yo siempre trasladaba la pregunta a la inversa, y les pedía que me demostraran que con un entorno Windows no se podía llevar a buen puerto el proyecto”.
Resoluci
