Seleccione n filas aleatorias de la tabla de SQL Server

Tengo una tabla de SQL Server con aproximadamente 50,000 filas. Quiero seleccionar alrededor de 5,000 de esas filas al azar. He pensado en una forma complicada: crear una tabla temporal con una columna de "número aleatorio", copiar mi tabla en eso, recorrer la tabla temporal y actualizar cada fila con RAND(), y luego seleccionar de esa tabla donde está la columna de números aleatorios < 0.1. Estoy buscando una manera más simple de hacerlo, en una sola declaración si es posible.

Este artículo sugiere usar la NEWID()función. Eso parece prometedor, pero no puedo ver cómo podría seleccionar de manera confiable un cierto porcentaje de filas.

¿Alguien ha hecho esto antes? ¿Algunas ideas?

select top 10 percent * from [yourtable] order by newid()

En respuesta al comentario de "basura pura" sobre tablas grandes: podría hacerlo así para mejorar el rendimiento.

select  * from [yourtable] where [yourPk] in 
(select top 10 percent [yourPk] from [yourtable] order by newid())

El costo de esto será la exploración de valores clave más el costo de unión, que en una tabla grande con una pequeña selección porcentual debería ser razonable.

Dependiendo de sus necesidades, TABLESAMPLEobtendrá un rendimiento casi tan aleatorio y mejor. Esto está disponible en el servidor MS SQL 2005 y posterior.

TABLESAMPLE devolverá datos de páginas aleatorias en lugar de filas aleatorias y, por lo tanto, ni siquiera recuperará datos que no devolverá.

En una mesa muy grande probé

select top 1 percent * from [tablename] order by newid()

tomó más de 20 minutos.

select * from [tablename] tablesample(1 percent)

tomó 2 minutos

El rendimiento también mejorará en muestras más pequeñas, TABLESAMPLEmientras que no lo hará con newid().

Tenga en cuenta que esto no es tan aleatorio como el newid()método, pero le dará una muestra decente.

Ver la página de MSDN .

newid () / order by funcionará, pero será muy costoso para grandes conjuntos de resultados porque tiene que generar una identificación para cada fila y luego ordenarlos.

TABLESAMPLE () es bueno desde el punto de vista del rendimiento, pero obtendrá una agrupación de resultados (se devolverán todas las filas de una página).

Para obtener una muestra aleatoria verdadera con mejor rendimiento, la mejor manera es filtrar las filas al azar. Encontré el siguiente ejemplo de código en el artículo de los Libros en pantalla de SQL Server Limitar los conjuntos de resultados mediante TABLESAMPLE :

Si realmente desea una muestra aleatoria de filas individuales, modifique su consulta para filtrar las filas al azar, en lugar de usar TABLESAMPLE. Por ejemplo, la siguiente consulta usa la función NEWID para devolver aproximadamente el uno por ciento de las filas de la tabla Sales.SalesOrderDetail:

SELECT * FROM Sales.SalesOrderDetail
WHERE 0.01 >= CAST(CHECKSUM(NEWID(),SalesOrderID) & 0x7fffffff AS float)
              / CAST (0x7fffffff AS int)

La columna SalesOrderID se incluye en la expresión CHECKSUM para que NEWID () evalúe una vez por fila para lograr el muestreo por fila. La expresión CAST (CHECKSUM (NEWID (), SalesOrderID) y 0x7fffffff AS float / CAST (0x7fffffff AS int) se evalúa como un valor flotante aleatorio entre 0 y 1.

Cuando se ejecuta contra una tabla con 1,000,000 de filas, aquí están mis resultados:

SET STATISTICS TIME ON
SET STATISTICS IO ON

/* newid()
   rows returned: 10000
   logical reads: 3359
   CPU time: 3312 ms
   elapsed time = 3359 ms
*/
SELECT TOP 1 PERCENT Number
FROM Numbers
ORDER BY newid()

/* TABLESAMPLE
   rows returned: 9269 (varies)
   logical reads: 32
   CPU time: 0 ms
   elapsed time: 5 ms
*/
SELECT Number
FROM Numbers
TABLESAMPLE (1 PERCENT)

/* Filter
   rows returned: 9994 (varies)
   logical reads: 3359
   CPU time: 641 ms
   elapsed time: 627 ms
*/    
SELECT Number
FROM Numbers
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), Number) & 0x7fffffff AS float) 
              / CAST (0x7fffffff AS int)

SET STATISTICS IO OFF
SET STATISTICS TIME OFF

Si puede salirse con la suya usando TABLESAMPLE, le dará el mejor rendimiento. De lo contrario, use el método newid () / filter. newid () / order by debería ser el último recurso si tiene un gran conjunto de resultados.

La selección de filas al azar de una tabla grande en MSDN tiene una solución simple y bien articulada que aborda los problemas de rendimiento a gran escala.

  SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Este enlace tiene una comparación interesante entre Orderby (NEWID ()) y otros métodos para tablas con 1, 7 y 13 millones de filas.

A menudo, cuando se hacen preguntas sobre cómo seleccionar filas aleatorias en grupos de discusión, se propone la consulta NEWID; Es simple y funciona muy bien para mesas pequeñas.

SELECT TOP 10 PERCENT *
  FROM Table1
  ORDER BY NEWID()

Sin embargo, la consulta NEWID tiene un gran inconveniente cuando la usa para tablas grandes. La cláusula ORDER BY hace que todas las filas de la tabla se copien en la base de datos tempdb, donde se ordenan. Esto causa dos problemas:

1. La operación de clasificación generalmente tiene un alto costo asociado. La ordenación puede usar muchas E / S de disco y puede ejecutarse durante mucho tiempo.
2. En el peor de los casos, tempdb puede quedarse sin espacio. En el mejor de los casos, tempdb puede ocupar una gran cantidad de espacio en disco que nunca será reclamado sin un comando de reducción manual.

Lo que necesita es una forma de seleccionar filas al azar que no usen tempdb y no se volverán mucho más lentas a medida que la tabla se agrande. Aquí hay una nueva idea sobre cómo hacer eso:

SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

La idea básica detrás de esta consulta es que queremos generar un número aleatorio entre 0 y 99 para cada fila de la tabla, y luego elegir todas esas filas cuyo número aleatorio es menor que el valor del porcentaje especificado. En este ejemplo, queremos aproximadamente el 10 por ciento de las filas seleccionadas al azar; por lo tanto, elegimos todas las filas cuyo número aleatorio es menor que 10.

Por favor, lea el artículo completo en MSDN .

Si (a diferencia del OP) necesita un número específico de registros (lo que dificulta el enfoque CHECKSUM) y desea una muestra más aleatoria que TABLESAMPLE por sí mismo, y también desea una mejor velocidad que CHECKSUM, puede hacerlo con una fusión de Métodos TABLESAMPLE y NEWID (), como este:

DECLARE @sampleCount int = 50
SET STATISTICS TIME ON

SELECT TOP (@sampleCount) * 
FROM [yourtable] TABLESAMPLE(10 PERCENT)
ORDER BY NEWID()

SET STATISTICS TIME OFF

En mi caso, este es el compromiso más directo entre la aleatoriedad (no es realmente, lo sé) y la velocidad. Varíe el porcentaje (o filas) de TABLESAMPLE según corresponda: cuanto mayor sea el porcentaje, más aleatoria será la muestra, pero se espera una disminución lineal de la velocidad. (Tenga en cuenta que TABLESAMPLE no aceptará una variable)

Simplemente ordene la tabla por un número aleatorio y obtenga las primeras 5,000 filas usando TOP.

SELECT TOP 5000 * FROM [Table] ORDER BY newid();

ACTUALIZAR

Solo lo probé y una newid()llamada es suficiente: no es necesario tener todos los yesos y todas las matemáticas.

Esta es una combinación de la idea inicial y una suma de verificación, que me parece que da resultados aleatorios sin el costo de NEWID ():

SELECT TOP [number] 
FROM table_name
ORDER BY RAND(CHECKSUM(*) * RAND())

En MySQL puedes hacer esto:

SELECT `PRIMARY_KEY`, rand() FROM table ORDER BY rand() LIMIT 5000;

Todavía no vi esta variación en las respuestas. Tenía una restricción adicional donde necesitaba, dada una semilla inicial, para seleccionar el mismo conjunto de filas cada vez.

Para MS SQL:

Ejemplo mínimo:

select top 10 percent *
from table_name
order by rand(checksum(*))

Tiempo de ejecución normalizado: 1.00

Ejemplo de NewId ():

select top 10 percent *
from table_name
order by newid()

Tiempo de ejecución normalizado: 1.02

NewId()es insignificantemente más lento que rand(checksum(*)), por lo que es posible que no desee utilizarlo contra grandes conjuntos de registros.

Selección con semilla inicial:

declare @seed int
set @seed = Year(getdate()) * month(getdate()) /* any other initial seed here */

select top 10 percent *
from table_name
order by rand(checksum(*) % @seed) /* any other math function here */

Si necesita seleccionar el mismo conjunto dado una semilla, esto parece funcionar.

Prueba esto:

SELECT TOP 10 Field1, ..., FieldN
FROM Table1
ORDER BY NEWID()

Parece que newid () no se puede usar en la cláusula where, por lo que esta solución requiere una consulta interna:

SELECT *
FROM (
    SELECT *, ABS(CHECKSUM(NEWID())) AS Rnd
    FROM MyTable
) vw
WHERE Rnd % 100 < 10        --10%

Lo estaba usando en subconsulta y me devolvió las mismas filas en subconsulta

 SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

entonces resolví con incluir la variable de tabla principal en donde

SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              Where Mytable.ID>0
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

Tenga en cuenta la condición donde

El lenguaje de procesamiento del lado del servidor en uso (por ejemplo, PHP, .net, etc.) no se especifica, pero si es PHP, tome el número requerido (o todos los registros) y, en lugar de aleatorizar en la consulta, use la función aleatoria de PHP. No sé si .net tiene una función equivalente, pero si la tiene, úsela si está usando .net

ORDER BY RAND () puede tener una gran penalización de rendimiento, dependiendo de cuántos registros estén involucrados.

Esto funciona para mi:

SELECT * FROM table_name
ORDER BY RANDOM()
LIMIT [number]