La mejor manera de documentar asignaciones de bases de datos para migraciones [cerrado]

Estoy trabajando en un proyecto que incluye elementos de la base de datos de mapeo para una migración y quería saber qué herramientas estaban usando otros para hacer esto.

Excel es una forma muy flexible de documentar asignaciones simples, pero me preguntaba si alguien tenía una metodología específica que siguiera u otras herramientas que utilizara que pudieran recomendar.

La forma más común de hacer este Excel, pero tiene sus compensaciones:

• Es muy difícil actualizar la hoja de cálculo si cambia cualquiera de los lados de la migración (debido a que falta algo, algo cambia, etc.)
• Excel es más difícil de usar por las personas que implementan las reglas documentadas en él.
• El seguimiento de cambios es casi imposible si tiene varias personas colaborando en el documento.

Prefiero utilizar las funciones de linaje de datos de herramientas de modelado de datos como ER / Studio, ERwin o PowerDesigner para rastrear las transformaciones requeridas para la migración de un almacén de datos a otro. Obtengo todos los beneficios de RE y se compara con la fuente y el objetivo, además de ninguna de las compensaciones mencionadas anteriormente. Realmente hace la diferencia.

Si está tratando de documentar asignaciones de datos, entonces una hoja de cálculo es probablemente el enfoque más simple, aunque no es bueno para nada más que una asignación 1: 1. Algunos enfoques son:

Excel: puede usar una hoja de cálculo para las asignaciones, especialmente cuando son simples. Si sus bases de datos no son isomorfas (es decir, no tienen una asignación 1: 1 para todos los campos que le interesan), entonces documentar la asignación puede ser un poco más complejo. Si las diferencias son menores, aún puede documentar esto en una hoja de cálculo agregando notas a los campos donde la asignación es más compleja.

Herramienta CASE con metamodelo personalizado Hace un año o dos construí un metamodelo extendido y algunos scripts asociados para Sparx Enterprise Architect. Esto me permitió configurar representaciones esquemáticas de las asignaciones, y tenía algunas primitivas de modelado que le permitieron documentar las transformaciones.

Tenga en cuenta que esto requiere un poco de programación, y algún tiempo hurgando en la API COM presentada por EA y posiblemente en el modelo de repositorio. Sin embargo, no es tan opaco, mucho más simple que el modelo de repositorio en (por ejemplo) Oracle Designer.

Si tiene un trabajo de migración de datos realmente complejo, puede escribir scripts que consulten el modelo para asegurarse (por ejemplo) de que no tiene ningún elemento sin asignar. El generador de informes de repositorio también es bastante flexible en lo que puede incluir en un informe: no tuve muchos problemas para obtener informes personalizados que hicieran lo que más quería. También puede escribir cosas que extraen datos del modelo y volcarlos en (por ejemplo) una hoja de cálculo.

Los diagramas, incluidos los elementos de modelo personalizados (EA tiene una función de definición de forma y conector) también se pueden hacer para obtener una descripción gráfica de las especificaciones de migración.

El valor de este enfoque es que puede automatizar algunos de los controles en los documentos de migración y validar que tiene una cobertura completa de todo lo que necesita. Por ejemplo, también puede incluir referencias a los requisitos de datos en el modelo de repositorio y utilizar enlaces especialmente etiquetados entre estos y los modelos de datos de origen o destino.

Herramientas de ETL: si tiene acceso a una de las mejores herramientas de ETL, como Informatica Powercentre, puede configurar las asignaciones allí. Algunas herramientas de ETL son bastante autodocumentadas y también puede usar la herramienta para realizar la migración. SSIS hará el mapeo, pero no se auto documentará de esta manera.

Lo que realmente quiere es una herramienta CASE con el metamodelo para mapeos ya configurado. Lamentablemente no estoy al tanto de tal producto.

Sugeriría usar SQL Power Doc por kendalvandyke. Es la mejor herramienta gratuita que hace una documentación bastante decente de SQL Server y Windows con Windows PowerShell. Está disponible en codeplex.

SQL Power Doc es una colección de scripts y módulos de Windows PowerShell que descubren, documentan y diagnostican instancias de SQL Server y sus configuraciones de máquina y SO Windows subyacentes. SQL Power Doc funciona con todas las versiones de SQL Server desde SQL Server 2000 hasta 2012, y todas las versiones de Windows Server y sistemas operativos Windows de consumo desde Windows 2000 y Windows XP hasta Windows Server 2012 y Windows 8. SQL Power Doc también es capaz de documentar Bases de datos SQL de Windows Azure.

He tenido éxito con el uso de SQL Doc de Red Gate . Es simple de configurar y proporciona buena documentación. Sin embargo, si está buscando algo con representación gráfica de tablas y vistas y cómo se relacionan, no puedo ayudarlo.

En mi experiencia, ninguna de las aplicaciones listas que he probado proporciona suficiente información utilizable. A mi modo de ver, modelamos y almacenamos información sobre casi todo lo que tiene valor en una empresa. ¿Son los datos en sí mismos de menor valor que los otros activos de una empresa? Entonces, ¿por qué no documentamos nuestros datos tan bien como documentamos nuestros otros activos? El "repositorio de metadatos" no describe con precisión lo que realmente se necesita porque pinta una imagen de un montón de definiciones y estructuras que "se sientan allí" en su mayoría sin usar, lo que no debería ser el caso. "Aplicación de metadatos" es un término mucho mejor.

Modelaría sus metadatos de la forma en que modela sus otros datos: piense en cómo quiere usarlos, cree un modelo de datos de metadatos o "metamodelo", cree las estructuras de esquema análogas, complete las tablas y use los datos. Entonces podrá documentar no solo sus metadatos, sino que también podrá analizarlos, descubrir problemas e incluso hacer pronósticos.

Con mi experiencia personal trabajando con una organización de atención médica gigante donde múltiples datos de pagadores y proveedores provienen de múltiples fuentes y realmente se convierte en una tarea difícil documentarlos y mapearlos usando una hoja de cálculo Excel. Nuestro director de AnalytiX Mapping Manager nos recomendó hacer un POC (www.analytixds.com)a quien conoció en una conferencia. Utilizamos un caso de uso en vivo y los resultados fueron sobresalientes. La solución es 100% de metadatos accesibles desde un navegador web. Lo hemos usado a nivel empresarial. Escanea y organiza metadatos de una amplia variedad de bases de datos, modelos de datos, archivos planos y datos no estructurados e identifica dependencias ascendentes y descendentes con su análisis de impacto y linaje de datos. La GUI es fácil de usar con su sencilla interfaz de usuario Arrastrar / Soltar para crear especificaciones de mapeo. No solo creamos mapeo y documentos, sino que también generamos automáticamente trabajos ETL para las herramientas Informatica y SSIS ETL utilizadas internamente. Puede importar fácilmente sus hojas de cálculo heredadas y aplicar estándares de mapeo con plantillas de mapeo personalizables incorporadas y tener control de versión completo.