Las 7 Fases de una importación de datos y sus Herramientas

En este artículo abordamos de forma muy concisa las 7 fases de una importación de datos exitosa y algunas herramientas útiles para cada fase.

Fase 1 – Recolección y Estandarización de los datos

En esta fase se recolectan de diversas fuentes los datos que deben ser importados. Estos datos deben estandarizarse con base en una especificación de datos en lo que respecta a formato campo por campo.

Usualmente los datos se almacenan en archivos de Excel o alguna otra hoja electrónica que facilte su manipulación.

Herramientas Principales:

1. Especificación de archivos de importación de datos
2. Archivo de datos por importar (Excel)

Fase 2 – Validaciones y Remediación Previas a la Importación de Datos

Aquí se traduce los datos estandarizados a un formato que permita pruebas automatizadas (usualmente CSV)

Usando mayoritariamente programas de pruebas automatizadas, se valida que los datos suministrados cumplan con las especificaciones de formato e integridad. Usualemente también resulta útil simular el estado de los datos una vez importados y validar por ejemplo que no se producirán problemas de integridad como datos duplicados o relaciones huérfanas.

Al final de esta segunda fase es importante terminar con un documento de certificación donde dos o más ingenieros puedan dar fe de que las pruebas pasaron satisfactoriamente y no existen evidencias de que hay algun error de integridad o inconsistencia en los datos.

Herramientas Principales:

1. Archivo estandarizado de datos a Importar (Excel) –> Archivo estandarizado de datos a validar (CSV o TXT)
2. Programas de Pruebas de Datos por Importar.
3. Procesos de mejora para los programas de prueba de datos por importar.
4. Hojas de seguimiento para acciones de remediación que incluyan los registros específicos a remediar, los campos específicos de esos registros, la persona o personas encargadas de cada acción de remediación y el estado de remediación de cada caso.

Fase 3 – Pruebas en Seco (opcional)

Opcionalmente se puede realizar pruebas en seco importando los datos a ambientes de bajo riesgo (no visibles para el cliente) y asegurar así un nivel adicional de certidumbre sobre los datos a importar.

Herramientas Principales:

1. Sesión de Pruebas en Seco – Grabada para análisis futuro

Fase 4 – Importación de los Datos

En esta cuarta fase se realiza la importación de datos al ambiente de destino. La importación debe realizarse de preferencia mediante mecanismos automatizados como scripts o programas que a su vez tengan un nivel de verificación previo, durante y posterior a la importación.

Herramientas Principales:

1. Archivo CSV plano para importación
2. Programas automatizados de importación de datos

Fase 5 – Validaciones y Remediación Posteriores a la Importacióbn de los Datos

Luego de la importación de los datos se realizan validaciones de la integridad resultante de las bases de datos, tanto para los datos importados como su relación con los datos pre-existentes. Este proceso también debe acabar con un documento de certificación donde dos o más ingenieros den fe de que las pruebas son satisfactorias y no existe evidenci de erroes de integridad.

Herramientas Principales:

1. Archivos de datos de utilización conexos
2. Archivo estandarizado de datos a validar (CSV o TXT)
3. Programas de Pruebas de Datos recién importados.
4. Procesos de mejora para los programas de prueba de datos recién importados.
5. Hojas de seguimiento para acciones de remediación que incluyan los registros específicos a remediar, los campos específicos de esos registros, la persona o personas encargadas de cada acción de remediación y el estado de remediación de cada caso.

Fase 6 – Utilización Inicial de los Datos Programada

Una vez que los datos hayan sido importados se procede a su utilización inicial programada por parte del cliente para sus procesos operativos normales. Esta utilización inicial programada nos permite realizar tareas de cuidados intensivos durante el proceso inicial y reaccionar con un tiempo mínimo.

Herramientas Principales:

1. Sesión Programada / grabada de utilización inicial
2. Documento de observación de documentación inicial
3. Bitácoras y sistemas de monitoreo

Fase 7 – Pruebas Inmediatas Posteriores a la Utilización Inicial

Una vez iniciado el uso normal de los datos importados en los procesos operativos del cliente, debe existir un periodo de cuidados intensivos donde se realicen pruebas de integridad a los datos e integridad de los procesos de forma regular a fin de detectar cualquier anomalía y remediarla en un tiempo mínimo.

Herramientas Principales:

1. Consultas y Programas automatizados de pruebas de integridad de proceso y de datos
2. Mecanismos de soporte expedito (cuidados intensivos)

 5,343 total views,  3 views today