¿Por qué DELETE deja un efecto persistente en el rendimiento?

20

Al final hay un script de prueba para comparar el rendimiento entre una variable @table y una tabla #temp. Creo que lo configuré correctamente: los tiempos de rendimiento se toman fuera de los comandos DELETE / TRUNCATE. Los resultados que obtengo son los siguientes (veces en milisegundos).

@Table Variable  #Temp (delete)  #Temp (truncate)
---------------  --------------  ----------------
5723             5180            5506
15636            14746           7800
14506            14300           5583
14030            15460           5386
16706            16186           5360

Solo para asegurarme de que estoy cuerdo, esto muestra que CURRENT_TIMESTAMP (aka GetDate()) se toma en el momento de la declaración, no del lote, por lo que no debería haber interacción entre TRUNCATE / DELETE con la SET @StartTime = CURRENT_TIMESTAMPdeclaración.

select current_timestamp
waitfor delay '00:00:04'
select current_timestamp

-----------------------
2012-10-21 11:29:20.290

-----------------------
2012-10-21 11:29:24.290

Es bastante consistente en el salto entre la primera carrera y las siguientes cuando DELETE se usa para borrar la tabla. ¿Qué me falta en mi comprensión de DELETE ? Lo he repetido muchas veces, he cambiado el orden, dimensioné tempdb para no requerir crecimiento, etc.

CREATE TABLE #values (
  id int identity primary key, -- will be clustered
  name varchar(100) null,
  number int null,
  type char(3) not null,
  low int null,
  high int null,
  status smallint not null
);
GO
SET NOCOUNT ON;

DECLARE @values TABLE (
  id int identity primary key clustered,
  name varchar(100) null,
  number int null,
  type char(3) not null,
  low int null,
  high int null,
  status smallint not null
);
DECLARE  @ExecutionTime  TABLE(      Duration bigINT    ) 
DECLARE  @StartTime DATETIME,  @i INT = 1; 
WHILE (@i <= 5) 
  BEGIN 
    DELETE @values;
    DBCC freeproccache With NO_InfoMSGS;
    DBCC DROPCLEANBUFFERS With NO_InfoMSGS;
    SET @StartTime = CURRENT_TIMESTAMP -- alternate getdate() 
    /****************** measured process ***********************/ 

    INSERT @values SELECT a.* FROM master..spt_values a join master..spt_values b on b.type='P' and b.number < 1000;

    /**************** end measured process *********************/ 
    INSERT @ExecutionTime 
    SELECT DurationInMilliseconds = datediff(ms,@StartTime,CURRENT_TIMESTAMP) 
    SET @i +=  1 
  END -- WHILE 

SELECT DurationInMilliseconds = Duration FROM   @ExecutionTime 
GO 

-- Temporary table
DECLARE  @ExecutionTime  TABLE(      Duration bigINT    ) 
DECLARE  @StartTime DATETIME,  @i INT = 1; 
WHILE (@i <= 5) 
  BEGIN 
    delete #values;
    -- TRUNCATE TABLE #values;
    DBCC freeproccache With NO_InfoMSGS;
    DBCC DROPCLEANBUFFERS With NO_InfoMSGS;
    SET @StartTime = CURRENT_TIMESTAMP -- alternate getdate() 
    /****************** measured process ***********************/ 

    INSERT #values SELECT a.* FROM master..spt_values a join master..spt_values b on b.type='P' and b.number < 1000;

    /**************** end measured process *********************/ 
    INSERT @ExecutionTime 
    SELECT DurationInMilliseconds = datediff(ms,@StartTime,CURRENT_TIMESTAMP) 
    SET @i +=  1 
  END -- WHILE 

SELECT DurationInMilliseconds = Duration FROM   @ExecutionTime 
GO

DROP TABLE  #values 
SET NOCOUNT OFF;
sql-server performance sql-server-2012 delete truncate 孔夫子
fuente

Respuestas:

20

Esta diferencia solo parece aplicarse cuando el objeto es un árbol B +. Al eliminar la primary keyvariable en la tabla, por lo que es un montón, obtuve los siguientes resultados

2560
2120
2080
2130
2140

Pero con la PK encontré un patrón similar en mis pruebas también con los resultados típicos a continuación.

+--------+--------+---------+-------------------+
| @table | #table | ##table | [permanent_table] |
+--------+--------+---------+-------------------+
|   2670 |   2683 |    9603 |              9703 |
|   6823 |   6840 |    9723 |              9790 |
|   6813 |   6816 |    9626 |              9703 |
|   6883 |   6816 |    9600 |              9716 |
|   6840 |   6856 |    9610 |              9673 |
+--------+--------+---------+-------------------+

Mi teoría es que hay cierta optimización disponible cuando se realizan inserciones masivas en árboles B + temporales locales que solo se aplican cuando aún no tiene ninguna página asignada.

Baso esto en las siguientes observaciones.

  1. Cuando ejecuté varias versiones de su código de prueba, solo vi este patrón con @table_variablesy #temptablas. No hay tablas permanentes tempdbni ##tablas.

  2. Para obtener un rendimiento más lento, no es necesario haber agregado y eliminado previamente una gran cantidad de filas de la tabla. Simplemente agregando una sola fila y dejándola allí es suficiente.

  3. TRUNCATEdesasigna todas las páginas de la tabla. DELETEno hará que la última página de la tabla se desasigne.

  4. El uso del generador de perfiles VS 2012 muestra que, en el caso más rápido, SQL Server usa una ruta de código diferente. El 36% del tiempo se gasta en sqlmin.dll!RowsetBulk::InsertRowvs 61% del tiempo gastado en sqlmin.dll!RowsetNewSS::InsertRowel caso más lento.

Corriendo 

SELECT * 
FROM sys.dm_db_index_physical_stats(2,OBJECT_ID('tempdb..#values'),1,NULL, 'DETAILED')

después de que vuelve la eliminación

+-------------+------------+--------------+--------------------+
| index_level | page_count | record_count | ghost_record_count |
+-------------+------------+--------------+--------------------+
|           0 |          1 |            0 |                  1 |
|           1 |          1 |            1 |                  0 |
|           2 |          1 |            1 |                  0 |
+-------------+------------+--------------+--------------------+

Descubrí que era posible reducir un poco la discrepancia de tiempo al habilitar la marca de seguimiento 610 .

Esto tuvo el efecto de reducir la cantidad de capturar sustancialmente para las inserciones posteriores (por debajo de los 350 MB a 103 MB, ya que ya no registra los valores de las filas insertadas individuales), pero esto sólo tenía una pequeña mejora en los tiempos para el segundo y subsiguientes @table, #tablecasos y la brecha aún permanece. El indicador de seguimiento mejoró significativamente el rendimiento general de las inserciones en los otros dos tipos de tabla.

+--------+--------+---------+-------------------+
| @table | #table | ##table | [permanent_table] |
+--------+--------+---------+-------------------+
|   2663 |   2670 |    5403 |              5426 |
|   5390 |   5396 |    5410 |              5403 |
|   5373 |   5390 |    5410 |              5403 |
|   5393 |   5410 |    5406 |              5433 |
|   5386 |   5396 |    5390 |              5420 |
+--------+--------+---------+-------------------+

Al mirar en el registro de transacciones, noté que las inserciones iniciales en las tablas temporales locales vacías parecen aún más mínimamente registradas (a 96 MB).

En particular, estas inserciones más rápidas solo tenían 657transacciones ( LOP_BEGIN_XACT/ LOP_COMMIT_XACTpares) en comparación con más 10,000en los casos más lentos. En particular, las LOP_FORMAT_PAGEoperaciones parecen muy reducidas. Los casos más lentos tienen una entrada de registro de transacciones para esto para cada página de la tabla (aproximadamente 10,270) en comparación con solo 4esas entradas en el caso rápido.

El registro utilizado en los tres casos fue el siguiente (he eliminado los registros de registro para las actualizaciones de las tablas base del sistema para reducir la cantidad de texto, pero todavía se incluyen en los totales)

Registro de la primera inserción en @table_var(96.5 MB)

+-----------------------+----------+----------------------------------------------+---------------+---------+
|       Operation       | Context  |                AllocUnitName                 | Size in Bytes |   Cnt   |
+-----------------------+----------+----------------------------------------------+---------------+---------+
| LOP_BEGIN_XACT        | LCX_NULL | NULL                                         |         83876 |     658 |
| LOP_COMMIT_XACT       | LCX_NULL | NULL                                         |         34164 |     657 |
| LOP_CREATE_ALLOCCHAIN | LCX_NULL | NULL                                         |           120 |       3 |
| LOP_FORMAT_PAGE       | LCX_HEAP | dbo.#531856C7                                |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_IAM  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_IAM  | dbo.#531856C7                                |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_IAM  | Unknown Alloc Unit                           |            84 |       1 |
| LOP_HOBT_DDL          | LCX_NULL | NULL                                         |           216 |       6 |
| LOP_HOBT_DELTA        | LCX_NULL | NULL                                         |           320 |       5 |
| LOP_IDENT_NEWVAL      | LCX_NULL | NULL                                         |     100240000 | 2506000 |
| LOP_INSERT_ROWS       | LCX_HEAP | dbo.#531856C7                                |            72 |       1 |
| LOP_MODIFY_ROW        | LCX_IAM  | dbo.#531856C7                                |            88 |       1 |
| LOP_MODIFY_ROW        | LCX_PFS  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        158592 |    1848 |
| LOP_MODIFY_ROW        | LCX_PFS  | dbo.#531856C7                                |            80 |       1 |
| LOP_MODIFY_ROW        | LCX_PFS  | Unknown Alloc Unit                           |        216016 |    2455 |
| LOP_SET_BITS          | LCX_GAM  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         84360 |    1406 |
| LOP_SET_BITS          | LCX_GAM  | Unknown Alloc Unit                           |        147120 |    2452 |
| LOP_SET_BITS          | LCX_IAM  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         84360 |    1406 |
| LOP_SET_BITS          | LCX_IAM  | Unknown Alloc Unit                           |        147120 |    2452 |
| Total                 | NULL     | NULL                                         |     101209792 | 2519475 |
+-----------------------+----------+----------------------------------------------+---------------+---------+

Registro de inserciones posteriores TF 610 desactivado (350 MB)

+-----------------------+--------------------+----------------------------------------------+---------------+---------+
|       Operation       |      Context       |                AllocUnitName                 | Size in Bytes |   Cnt   |
+-----------------------+--------------------+----------------------------------------------+---------------+---------+
| LOP_BEGIN_CKPT        | LCX_NULL           | NULL                                         |            96 |       1 |
| LOP_BEGIN_XACT        | LCX_NULL           | NULL                                         |       1520696 |   12521 |
| LOP_COMMIT_XACT       | LCX_NULL           | NULL                                         |        651040 |   12520 |
| LOP_CREATE_ALLOCCHAIN | LCX_NULL           | NULL                                         |            40 |       1 |
| LOP_DELETE_SPLIT      | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |          2160 |      36 |
| LOP_END_CKPT          | LCX_NULL           | NULL                                         |           136 |       1 |
| LOP_FORMAT_PAGE       | LCX_HEAP           | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        859236 |   10229 |
| LOP_FORMAT_PAGE       | LCX_IAM            | Unknown Alloc Unit                           |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |          3108 |      37 |
| LOP_HOBT_DDL          | LCX_NULL           | NULL                                         |           648 |      18 |
| LOP_HOBT_DELTA        | LCX_NULL           | NULL                                         |        657088 |   10267 |
| LOP_IDENT_NEWVAL      | LCX_NULL           | NULL                                         |     100239960 | 2505999 |
| LOP_INSERT_ROWS       | LCX_CLUSTERED      | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |     258628000 | 2506000 |
| LOP_INSERT_ROWS       | LCX_HEAP           | dbo.#531856C7                                |            72 |       1 |
| LOP_INSERT_ROWS       | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |       1042776 |   10302 |
| LOP_MODIFY_HEADER     | LCX_HEAP           | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        859236 |   10229 |
| LOP_MODIFY_HEADER     | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |          3192 |      38 |
| LOP_MODIFY_ROW        | LCX_IAM            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |           704 |       8 |
| LOP_MODIFY_ROW        | LCX_PFS            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        934264 |   11550 |
| LOP_MODIFY_ROW        | LCX_PFS            | Unknown Alloc Unit                           |        783984 |    8909 |
| LOP_SET_BITS          | LCX_GAM            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         76980 |    1283 |
| LOP_SET_BITS          | LCX_GAM            | Unknown Alloc Unit                           |        534480 |    8908 |
| LOP_SET_BITS          | LCX_IAM            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         76980 |    1283 |
| LOP_SET_BITS          | LCX_IAM            | Unknown Alloc Unit                           |        534480 |    8908 |
| LOP_SHRINK_NOOP       | LCX_NULL           | NULL                                         |            32 |       1 |
| LOP_XACT_CKPT         | LCX_NULL           | NULL                                         |            92 |       1 |
| Total                 | NULL               | NULL                                         |     367438748 | 5119297 |
+-----------------------+--------------------+----------------------------------------------+---------------+---------+

Registro de inserciones posteriores TF 610 (103 MB)

+-------------------------+-------------------------+----------------------------------------------+---------------+---------+
|        Operation        |         Context         |                AllocUnitName                 | Size in Bytes |   Cnt   |
+-------------------------+-------------------------+----------------------------------------------+---------------+---------+
| LOP_BEGIN_CKPT          | LCX_NULL                | NULL                                         |           192 |       2 |
| LOP_BEGIN_XACT          | LCX_NULL                | NULL                                         |       1339796 |   11099 |
| LOP_BULK_EXT_ALLOCATION | LCX_NULL                | NULL                                         |         20616 |     162 |
| LOP_COMMIT_XACT         | LCX_NULL                | NULL                                         |        577096 |   11098 |
| LOP_CREATE_ALLOCCHAIN   | LCX_NULL                | NULL                                         |            40 |       1 |
| LOP_DELETE_SPLIT        | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |          2160 |      36 |
| LOP_END_CKPT            | LCX_NULL                | NULL                                         |           272 |       2 |
| LOP_FORMAT_PAGE         | LCX_BULK_OPERATION_PAGE | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |        863520 |   10280 |
| LOP_FORMAT_PAGE         | LCX_IAM                 | Unknown Alloc Unit                           |            84 |       1 |
| LOP_FORMAT_PAGE         | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |          3108 |      37 |
| LOP_HOBT_DELTA          | LCX_NULL                | NULL                                         |        666496 |   10414 |
| LOP_IDENT_NEWVAL        | LCX_NULL                | NULL                                         |     100239960 | 2505999 |
| LOP_INSERT_ROWS         | LCX_CLUSTERED           | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |         23544 |     218 |
| LOP_INSERT_ROWS         | LCX_HEAP                | dbo.#719CDDE7                                |            72 |       1 |
| LOP_INSERT_ROWS         | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |       1042776 |   10302 |
| LOP_MODIFY_HEADER       | LCX_BULK_OPERATION_PAGE | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |        780216 |   10266 |
| LOP_MODIFY_HEADER       | LCX_HEAP                | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |       1718472 |   20458 |
| LOP_MODIFY_HEADER       | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |          3192 |      38 |
| LOP_MODIFY_ROW          | LCX_IAM                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |           704 |       8 |
| LOP_MODIFY_ROW          | LCX_PFS                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |        114832 |    1307 |
| LOP_MODIFY_ROW          | LCX_PFS                 | Unknown Alloc Unit                           |        231696 |    2633 |
| LOP_RANGE_INSERT        | LCX_NULL                | NULL                                         |            48 |       1 |
| LOP_SET_BITS            | LCX_GAM                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |         77100 |    1285 |
| LOP_SET_BITS            | LCX_GAM                 | Unknown Alloc Unit                           |        157920 |    2632 |
| LOP_SET_BITS            | LCX_IAM                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |         77100 |    1285 |
| LOP_SET_BITS            | LCX_IAM                 | Unknown Alloc Unit                           |        157920 |    2632 |
| LOP_XACT_CKPT           | LCX_NULL                | NULL                                         |            92 |       1 |
| Total                   | NULL                    | NULL                                         |     108102960 | 2602218 |
+-------------------------+-------------------------+----------------------------------------------+---------------+---------+
Martin Smith
fuente
Gracias por la confirmación detallada. Por lo tanto, la pregunta sigue siendo clara: ¿por qué DELETE no devuelve la tabla a realmente vacía, usando su término? Además, esto argumentaría a favor del uso de tablas #temp si clear / populate se usa en un ciclo de procesamiento por lotes.
孔夫子
1
@RichardTheKiwi: el beneficio de TRUNCATEterminar DELETEsolo también argumentaría por eso. También rara vez consideraría variables de tabla para un gran número de filas.
Martin Smith
Esto parecerá vago, pero ¿no se repite una inserción de 1 a 10 registros (variable) 1000 veces en un lote que muestra los mismos síntomas? El uso de una gran cantidad de filas es solo para exacerbar el problema y proporcionar escala para ver mejor la diferencia. La esencia de la pregunta es demostrar de una forma u otra que #temp tables sería mejor, una vez que sepamos cuál es la diferencia.
孔夫子
Bueno, mi teoría es que es la asignación de las 10,000+páginas lo que ocurre de una manera mucho más optimizada y parece evitar algunos gastos generales por página. Para insertos más pequeños, esperaría que cualquier diferencia sea menos significativa.
Martin Smith
@RichardTheKiwi - ¡Gracias! Probablemente hay más que decir sobre esto. Como intentaré actualizar a la misma versión que SQL Kiwi y ver si todavía veo las diferentes rutas de código. Si es así, tal vez depende del hardware que marque la diferencia (mis pruebas han estado en mi PC de escritorio con todos los datos y archivos de registro en el mismo SSD)
Martin Smith
0

Observación y especulación. . .

En algunos sistemas, CURRENT_TIMESTAMP se define como la hora al comienzo de la transacción actual. Una búsqueda rápida no mostró documentación definitiva sobre cómo se comporta CURRENT_TIMESTAMP en SQL Server. Pero el modo predeterminado de SQL Server es la confirmación automática de transacciones, y no hay BEGIN TRANSACTION aquí, por lo que debería ser el momento inmediatamente anterior a la instrucción INSERT. (La instrucción DELETE debe confirmarse automáticamente, y cualquiera que sea la forma en que CURRENT_TIMESTAMP funciona en SQL Server, no debería tener nada que ver con la instrucción DELETE cuando usa transacciones confirmadas automáticamente).

En la primera iteración, la instrucción DELETE no tiene ningún trabajo real que hacer, y no hay filas individuales para registrar. Tal vez el optimizador lo sabe, y eso reduce el tiempo para la primera iteración. (La combinación de sin filas para eliminar y sin filas individuales para registrar).

Puede probar eso (creo) insertando antes de eliminar.

Mike Sherrill 'Cat Recall'
fuente
Voy a dejar de responder preguntas hoy. O lo que sea que esté haciendo cuando escribo cosas en ese cuadro.
Mike Sherrill 'Cat Recall'
¿Debería esta respuesta ser eliminada como obsoleta, tangencial y distractora?
孔夫子