Columna de identidad en el índice del almacén de columnas

Tengo una tabla IMO extremadamente grande (~ 137 millones de filas) con muchos datos repetidos, muchas NULLcolumnas y demás.

Estoy considerando explorar esto usando una tabla con COLUMNSTORE INDEXay tengo una IDENTITYcolumna en la tabla original, que es mi única columna donde cada fila es única.

¿Debo dejar esta columna fuera o incluirla? He leído que desea incluir todas las filas de su tabla en la tabla, COLUMNSTORE INDEXpero también he leído que los mejores candidatos son columnas con muchas filas no únicas.

¿Es esto solo un mal candidato para un COLUMNSTORE INDEX?

Estoy usando SQL Server 2012, por lo que es un almacén de columnas no agrupado. Solo estoy explorando posibles mejores formas de almacenar estos datos. Las actualizaciones son inexistentes, aunque periódicamente se agregarán nuevas filas a través de un proceso ELT, por lo que supongo que se realizará algún trabajo allí. Algunas personas extraen estos datos y generan informes enormes, muchas exploraciones de filas, ocasionan que el servidor se rastree a veces, lo que nos ha obligado a descargar una copia diariamente a un servidor secundario.

Las columnas de identidad no están realmente comprimidas en los índices de almacén de columnas en SQL Server 2012 o en SQL Server 2014. Todo dependerá realmente de la carga de trabajo que esté experimentando. Si su carga de trabajo incluirá la columna de identidad, puede aprovechar muy bien la eliminación de segmentos.

Desde el punto de vista de la compresión, Columnstore le proporcionará una mejor compresión que la página normalmente. Típicamente. Por favor, pruébelo antes de avanzar a producción.

Su mayor problema en SQL Server 2012 será una implementación muy débil del modo Batch, y no hay nada que pueda hacer al respecto.

No pude resistir unirme a Niko con otra respuesta (¡bienvenido, Niko!). En general, estoy de acuerdo con Niko en que las limitaciones del modo por lotes en SQL 2012 (si Niko no se vincula a su propio blog, lo haré :)) puede ser una preocupación importante. Pero si puede vivir con ellos y tener control total sobre cada consulta que está escribiendo en la tabla para examinarla cuidadosamente, el almacén de columnas podría funcionar para usted en SQL 2012.

En cuanto a sus preguntas específicas sobre la columna de identidad, descubrí que la columna de identidad se comprime muy bien y recomiendo encarecidamente incluirla en su índice de almacén de columnas en cualquier prueba inicial que realice. (Tenga en cuenta que si la columna de identidad también es el índice agrupado de su árbol b, se incluirá automáticamente en su índice de almacén de columnas no agrupado ).

Como referencia, aquí están los tamaños que observé para ~ 10MM filas de datos de columna de identidad. El almacén de columnas cargado para la eliminación óptima del segmento se comprime a 26 MB (frente a 113 MB para la PAGEcompresión de la tabla del almacén de filas), e incluso el almacén de columnas construido en un árbol b ordenado aleatoriamente es de solo 40 MB. Entonces, esto muestra un gran beneficio de compresión, incluso sobre la mejor compresión de b-tree que SQL tiene para ofrecer e incluso si no se molesta en alinear sus datos para una eliminación óptima del segmento (lo que haría primero creando un b-tree y luego construyendo su almacén de columnas con MAXDOP1).

Aquí está el script completo que utilicé en caso de que quiera jugar:

-- Confirm SQL version
SELECT @@version
--Microsoft SQL Server 2012 - 11.0.5613.0 (X64) 
--  May  4 2015 19:05:02 
--  Copyright (c) Microsoft Corporation
--  Enterprise Edition: Core-based Licensing (64-bit) on Windows NT 6.3 <X64> (Build 9600: )


-- Create a columnstore table with identity column that is the primary key
-- This will yield 10 columnstore segments @ 1048576 rows each
SELECT i = IDENTITY(int, 1, 1), ROW_NUMBER() OVER (ORDER BY randGuid) as randCol
INTO #testIdentityCompression_sortedColumnstore
FROM (
    SELECT TOP 10485760 ROW_NUMBER() OVER (ORDER BY (SELECT NULL)) AS randI, NEWID() AS randGuid
    FROM master..spt_values v1
    CROSS JOIN master..spt_values v2
    CROSS JOIN master..spt_values v3
) r
ORDER BY r.randI
GO
ALTER TABLE #testIdentityCompression_sortedColumnstore
ADD PRIMARY KEY (i)
GO
-- Load using a pre-ordered b-tree and one thread for optimal segment elimination
-- See http://www.nikoport.com/2014/04/16/clustered-columnstore-indexes-part-29-data-loading-for-better-segment-elimination/
CREATE NONCLUSTERED COLUMNSTORE INDEX cs_#testIdentityCompression_sortedColumnstore ON #testIdentityCompression_sortedColumnstore (i) WITH (MAXDOP = 1)
GO

-- Create another table with the same data, but randomly ordered
SELECT *
INTO #testIdentityCompression_randomOrderColumnstore
FROM #testIdentityCompression_sortedColumnstore
GO
ALTER TABLE #testIdentityCompression_randomOrderColumnstore
ADD UNIQUE CLUSTERED (randCol)
GO
CREATE NONCLUSTERED COLUMNSTORE INDEX cs_#testIdentityCompression_randomOrderColumnstore ON #testIdentityCompression_randomOrderColumnstore (i) WITH (MAXDOP = 1)
GO

-- Create a b-tree with the identity column data and no compression
-- Note that we copy over only the identity column since we'll be looking at the total size of the b-tree index
-- If anything, this gives an unfair "advantage" to the rowstore-page-compressed version since more
-- rows fit on a page and page compression rates should be better without the "randCol" column.
SELECT i
INTO #testIdentityCompression_uncompressedRowstore
FROM #testIdentityCompression_sortedColumnstore
GO
ALTER TABLE #testIdentityCompression_uncompressedRowstore
ADD PRIMARY KEY (i)
GO

-- Create a b-tree with the identity column and page compression
SELECT i
INTO #testIdentityCompression_compressedRowstore
FROM #testIdentityCompression_sortedColumnstore
GO
ALTER TABLE #testIdentityCompression_compressedRowstore
ADD PRIMARY KEY (i)
WITH (DATA_COMPRESSION = PAGE)
GO

-- Compare all the sizes!
SELECT OBJECT_NAME(p.object_id, 2) AS tableName, COUNT(*) AS num_segments, SUM(on_disk_size / (1024.*1024.)) as size_mb
FROM tempdb.sys.partitions p
JOIN tempdb.sys.column_store_segments s
    ON s.partition_id = p.partition_id
    AND s.column_id = 1
WHERE p.object_id IN (OBJECT_ID('tempdb..#testIdentityCompression_sortedColumnstore'),OBJECT_ID('tempdb..#testIdentityCompression_randomOrderColumnstore'))
GROUP BY p.object_id
UNION ALL
SELECT OBJECT_NAME(p.object_id, 2) AS tableName
    , NULL AS num_segments
    , (a.total_pages*8.0) / (1024.0) as size_mb
FROM tempdb.sys.partitions p
JOIN tempdb.sys.allocation_units a
    ON a.container_id = p.partition_id
WHERE p.object_id IN (OBJECT_ID('tempdb..#testIdentityCompression_compressedRowstore'),OBJECT_ID('tempdb..#testIdentityCompression_uncompressedRowstore'))
ORDER BY 3 ASC
GO