Optimización del rendimiento de BCP para datos BLOB

Soy el proceso de planificar la migración en vivo de una base de datos de 2TB a tablas particionadas. En términos generales, el sistema es un almacén de documentos, la mayoría del espacio se asigna a LOB de entre 50 kb y 500 kb, con un pequeño porcentaje en el rango de 500 kb a 1 MB. Parte de la migración implicará datos de BCPing de la base de datos antigua a la nueva.

BCP es el enfoque preferido ya que la división actual / histórica en los datos permite extraer los datos más antiguos en etapas (durante los períodos más tranquilos) antes de un cambio final, minimizando el impacto en el sistema en vivo. El volumen de datos y la disponibilidad de almacenamiento impide una reconstrucción in situ a un esquema de partición .

Sospecho que puede haber algunas ganancias de rendimiento al experimentar con KILOBYTES_PER_BATCH en lugar de ROWS_PER_BATCH, debido al contenido BLOB. Se sugiere en la documentación de BCP que SQL puede optimizar las operaciones basadas en este valor.

Lo que no puedo encontrar es ninguna guía sobre la naturaleza de estas optimizaciones o dónde comenzar mis pruebas. En ausencia de sugerencias, intentaré tiradas cortas en los límites de 4/8/16/32 / 64mb para comenzar.

Probablemente algunas ganancias se obtengan al cambiar el tamaño del paquete (BCP -un parámetro, en lugar de la configuración del nivel del servidor), pero me inclino a llevar esto al máximo 65535 a menos que alguien tenga un enfoque más formulado.

Esta no es una respuesta directa a su pregunta, pero hay algunos artículos que le interesaría leerlos (en caso de que no los haya encontrado primero :-)). Se trata de cargar muchos datos utilizando bcp / copia masiva. Los he leído todos y no encontré nada detallado sobre KILOBYTES_PER_BATCH, todos están usando ROWS_PER_BATCH, pero estoy seguro de que encontrarán otra información útil.

• Cargue 1TB en menos de 1 hora (del equipo SQL CAT) - lista de consejos desde aquí (presupuesto):

  • Ejecute tantos procesos de carga como tenga CPU disponibles. Si tiene 32 CPU, ejecute 32 cargas paralelas. Si tiene 8 CPU, ejecute 8 cargas paralelas.
  • Si tiene control sobre la creación de sus archivos de entrada, hágalos de un tamaño que sea divisible por la cantidad de subprocesos de carga que desea ejecutar en paralelo. También asegúrese de que todos los registros pertenezcan a una partición si desea utilizar la estrategia de cambio de partición.
  • Use BULK insert en lugar de BCP si está ejecutando el proceso en la máquina SQL Server.
  • Use la partición de tablas para obtener otro 8-10%, pero solo si sus archivos de entrada están GARANTIZADOS para que coincidan con su función de partición, lo que significa que todos los registros en un archivo deben estar en la misma partición.
  • Use TABLOCK para evitar el bloqueo de fila a la vez.
  • Use FILAS POR LOTE = 2500, o algo parecido a esto si está importando múltiples transmisiones en una tabla.

• Las 10 mejores prácticas para construir un almacén de datos relacionales a gran escala (del equipo SQL CAT) - consejos (presupuesto):

  • Use el modelo de recuperación SIMPLE o BULK LOGGED durante la carga de datos inicial.
  • Cree la tabla de hechos particionados con el índice agrupado.
  • Cree tablas de preparación no indexadas para cada partición y separe los archivos de datos de origen para completar cada partición.
  • Rellene las tablas de preparación en paralelo (use varias tareas BULK INSERT, BCP o SSIS)
  • Cree un índice agrupado en cada tabla de etapas y luego cree las restricciones CHECK adecuadas.
  • CONMUTA todas las particiones en la tabla particionada.
  • Cree índices no agrupados en la tabla particionada.

• La Guía de rendimiento de carga de datos (del equipo SQL CAT)

• Carga de datos masivos en una tabla particionada - Artículo de SQL Server Best Practices (artículo de Technet)

• Estudio de caso de carga masiva incremental de SQL Server 2000 (artículo de Technet)

• Lecciones aprendidas y conclusiones de un gran POC de vía rápida (del equipo SQL CAT)

• Consejos de ajuste de rendimiento para SQL Server BCP (por Brad McGehee)

• Impacto en el rendimiento: encontrar el tamaño de lote más óptimo (por Linchi Shea)

y las referencias obvias de MSDN:

• Gestión de lotes para importación masiva
• Administrar tamaños de lote de copia masiva
• Consideraciones de rendimiento de copia masiva
• Pautas para optimizar la importación masiva
• Optimización del rendimiento de importación masiva

En mi experiencia personal, logré hacer una carga de datos rápida usando carga paralela y probando con varios tamaños de lote. Supongo que solo las pruebas personales serán adecuadas para usted. Esperemos que encuentres algunos buenos consejos en las referencias.