Mi pregunta es ¿cómo maneja SQL Server una consulta que necesita extraer más volumen de datos en la memoria caché del búfer que el espacio disponible? Esta consulta contendría múltiples combinaciones, por lo que el conjunto de resultados no existe en este formato ya en el disco y necesitaría compilar los resultados. Pero incluso después de la compilación, todavía requiere más espacio del que está disponible en la memoria caché del búfer.
Daré un ejemplo. Supongamos que tiene una instancia de SQL Server que tiene un total de 6 GB de espacio disponible en la memoria caché de búfer. Ejecuto una consulta con varias combinaciones que lee 7 GB de datos, ¿cómo puede SQL Server responder a esta solicitud? ¿Almacena temporalmente los datos en tempdb? ¿Falla? ¿Hace algo que solo lee datos del disco y compila segmentos a la vez?
Además, ¿qué sucede si intento devolver 7 GB de datos totales? ¿Cambia eso la forma en que SQL Server lo maneja?
Ya conozco varias formas de abordar esto, solo tengo curiosidad por saber cómo SQL Server maneja esta solicitud internamente cuando se ejecuta como se indica.
Además, estoy seguro de que esta información existe en algún lugar, pero no he podido encontrarla.
Respuestas:
Las páginas se leen en la memoria según sea necesario, si no hay memoria libre disponible, la página más antigua no modificada se reemplaza por la página entrante.
Esto significa que si ejecuta una consulta que requiere más datos de los que caben en la memoria, muchas páginas vivirán una vida muy corta en la memoria, lo que generará muchas E / S.
Puede ver este efecto mirando el contador "Esperanza de vida de la página" en el Monitor de rendimiento de Windows. Mire https://sqlperformance.com/2014/10/sql-performance/knee-jerk-page-life-expectancy para obtener algunos detalles excelentes sobre ese contador.
En los comentarios, usted preguntó específicamente qué sucede cuando los resultados de la consulta son mayores que el espacio disponible en el búfer. Tome el ejemplo más simple
select * from some_very_big_table;: suponga que la tabla tiene 32 GB ymax server memory (MB)está configurada en 24 GB . Todos los 32 GB de datos de la tabla se leerán en páginas en el búfer de la página, una a la vez, enclavadas, formateado en paquetes de red y enviado a través del cable. Esto sucede página por página; podría tener 300 consultas de este tipo ejecutándose al mismo tiempo, y suponiendo que no ocurriera ningún bloqueo, los datos de cada consulta se leerían en el espacio de búfer de la página, una página a la vez, y se colocarían en el cable tan rápido como el cliente pueda solicitar y consumir los datos. Una vez que todos los datos de cada página se han enviado al cable, la página se desbloquea y será reemplazada rápidamente por alguna otra página del disco.En el caso de una consulta más compleja, por ejemplo, agregando resultados de varias tablas, las páginas se extraerán a la memoria exactamente como se indica arriba según lo requiera el procesador de consultas. Si el procesador de consultas necesita espacio de trabajo temporal para calcular los resultados, lo sabrá por adelantado cuando compile un plan para la consulta y solicitará espacio de trabajo (memoria) a SQLOS . SQLOS en algún momento (suponiendo que no se agote el tiempo de espera ), otorgará esa memoria al procesador de consultas, momento en el que se reanudará el procesamiento de consultas. Si el procesador de consultas comete un error al calcular la cantidad de memoria que debe solicitar SQLOS, es posible que deba realizar un "derrame al disco"operación, donde los datos se escriben temporalmente en tempdb en una forma intermedia. Las páginas que se han escrito en tempdb se desbloquean una vez que se escriben en tempdb para dejar espacio para que otras páginas se lean en la memoria. Eventualmente, el proceso de consulta volverá a los datos almacenados en tempdb, paginado al usar el enclavamiento, en páginas en el búfer que están marcadas como libres.
Indudablemente, me falta una carga de detalles muy técnicos en el resumen anterior, pero creo que captura la esencia de cómo SQL Server puede procesar más datos de los que caben en la memoria.
fuente
No puedo hablar sobre qué haría exactamente su consulta en este escenario, pero SQL Server tiene varias opciones dependiendo de cuánto se necesite.
La mejor manera de averiguar qué sucedería es crear el escenario en un entorno de desarrollo y averiguarlo.
fuente
Para responder a esta parte específica, déjame decirte cómo se gestiona esto. Las páginas tienen un tamaño de 8 KB. Cuando ejecuta una consulta que solicita un gran conjunto de datos y que requiere que se traigan numerosas páginas a la memoria, SQL Server no traerá todas las páginas de una vez. Localizará las páginas específicas y traerá una a una páginas individuales de 8 KB a la memoria, leerá los datos y le dará el resultado, y esto continuará ahora. el disco como @Max señaló. Como adivinó correctamente, esta poca memoria puede ralentizar las cosas, ya que pasaría algún tiempo eliminando páginas antiguas. Aquí es donde el punto de control y Lazywriterentra en escena. Lazywriter es para asegurarse de que siempre haya algo de memoria libre para traer nuevas páginas al disco. Cuando se encuentra un búfer libre bajo, se activa y crea espacios libres para que sean páginas nuevas.
EDITAR
La memoria para unir y filtrar se decide incluso antes de que se ejecute la consulta y supongamos que realmente hay un problema de memoria y la memoria requerida para ejecutar la operación no está disponible. El procesador SQL Server otorgará la "memoria requerida", que es
Entonces, al menos, la consulta comenzará a ejecutarse, pero durante el tiempo de ejecución es muy probable que el resultado intermedio se derrame a Tempdb, lo que lo hace lento. Le sugiero que lea Comprensión de la memoria de consulta Grant
fuente