Mónica de Oliveira es Data Integration Consultant en PrimeIT desde hace más de año y medio. A pesar de tener una licenciatura en Ingeniería Civil, se enamoró del mundo de los datos y actualmente está cursando un máster en Gestión de la Información con especialización en Gestión del Conocimiento y Business Intelligence en la Universidade Nova de Lisboa. Hoy nos explica la importancia de una buena integración de datos:

«¿Alguna vez te has parado a pensar en cómo las grandes empresas procesan grandes cantidades de datos para generar análisis de alto valor para el desarrollo y el crecimiento empresarial?

Una pieza fundamental para completar este rompecabezas es la integración de datos. Este proceso permite asegurar la disponibilidad de los datos en el momento, lugar y formato correctos, de forma segura y siguiendo lo solicitado. De esta forma, los datos pueden moverse entre diferentes fuentes, aplicaciones, sistemas y estructuras, manteniendo siempre la información consolidada.

La disponibilidad de datos para todos los servicios y sistemas es esencial para administrar la información y la toma de decisiones de la empresa, basada en información histórica, limpia y consolidada de múltiples fuentes. Con el incremento, tanto en cantidad como en diversidad, del formato de datos, el proceso de integración emerge como un paso fundamental en la metodología de inteligencia empresarial. Esta técnica permite representar datos de múltiples fuentes y tipos en el mismo formato después de sufrir transformaciones y combinaciones para lograr una estructura definida.

El desempeño de un proceso de integración de datos eficiente aumenta su consistencia y transparencia. Permite la creación rápida de informes de acuerdo con los estándares y necesidades del negocio, siendo también de gran utilidad en la identificación de problemas en la calidad de la propia información.

Un procedimiento estándar para realizar la integración de datos se llama ETL. ETL es un acrónimo de las palabras en inglés «Extract, Transform and Load».

Veamos mejor lo que significa cada etapa.

Extraer

La extracción de datos de las fuentes se puede realizar, por ejemplo, con la recepción de los archivos (CSV, XML, txt, etc.) a tratar o la recogida en una base de datos, es decir, mediante una consulta con condiciones especificadas.

Transformar

En este paso, los datos se modifican para cumplir con las reglas, requisitos y estructuras definidas con el equipo comercial y los usuarios finales, haciéndolos más consistentes. Puede ser un mapeo simple o incluir agregaciones, derivaciones, filtros, estándares, cambios de formato, uso de búsquedas y reglas condicionales.

El proceso de validación de datos también es fundamental. Permite, por ejemplo, verificar si el campo del número de teléfono móvil contiene solo dígitos, y la cantidad correcta de caracteres, o si la fecha de una transacción pasada no es futura. También es posible crear un proceso para identificar errores existentes y crear un nuevo archivo con esa información.

Carga

La carga de los datos procesados ​​para el usuario final se puede realizar en un nuevo archivo o utilizando una base de datos. Solo se pueden cargar registros nuevos/modificados (carga incremental) o todos los registros (carga completa). Al crear un proceso de integración de datos, es importante discutir algunos puntos dentro de los equipos involucrados. Es necesario definir y archivar en la documentación las etapas del proceso, las entradas/salidas de cada actividad, la periodicidad, cómo gestionar la recuperación (en caso de fallas) y los detalles sobre el archivo de los ficheros.

En conclusión, el desarrollo de procesos de integración de datos de calidad nos permite reducir costos y tiempo de procesamiento, para asegurar que la información se utilice de manera más eficiente, segura y rápida, trayendo beneficios a la empresa.”

Mónica Oliveira

Consultora de Integración de Datos