Eliminar filas duplicadas de la base de datos sqlite

Tengo una tabla enorme, 36 millones de filas, en SQLite3. En esta tabla muy grande, hay dos columnas:

• hash - texto
• d - real

Algunas de las filas están duplicadas. Es decir, ambos hashy dtienen los mismos valores. Si dos hashes son idénticos, también lo son los valores de d. Sin embargo, dos idénticos dno implica dos idénticos hash.

Quiero eliminar las filas duplicadas. No tengo una columna de clave principal.

¿Cuál es la forma más rápida de hacer esto?

Necesita una forma de distinguir las filas. Según su comentario, podría usar la columna de identificador de fila especial para eso.

Para eliminar duplicados manteniendo el más bajo rowidpor (hash,d):

delete   from YourTable
where    rowid not in
         (
         select  min(rowid)
         from    YourTable
         group by
                 hash
         ,       d
         )

Supongo que lo más rápido sería usar la base de datos misma: agregue una nueva tabla con las mismas columnas, pero con las restricciones adecuadas (¿un índice único en hash / par real?), Iterar a través de la tabla original e intentar insertar registros en la nueva tabla, ignorando los errores de violación de restricciones (es decir, continuar iterando cuando se generen excepciones).

Luego elimine la tabla anterior y cambie el nombre de la nueva por la anterior.

Si agregar una clave principal no es una opción, entonces un enfoque sería almacenar los duplicados DISTINCT en una tabla temporal, eliminar todos los registros duplicados de la tabla existente y luego agregar los registros nuevamente a la tabla original desde la tabla temporal .

Por ejemplo (escrito para SQL Server 2008, pero la técnica es la misma para cualquier base de datos):

DECLARE @original AS TABLE([hash] varchar(20), [d] float)
INSERT INTO @original VALUES('A', 1)
INSERT INTO @original VALUES('A', 2)
INSERT INTO @original VALUES('A', 1)
INSERT INTO @original VALUES('B', 1)
INSERT INTO @original VALUES('C', 1)
INSERT INTO @original VALUES('C', 1)

DECLARE @temp AS TABLE([hash] varchar(20), [d] float)
INSERT INTO @temp
SELECT [hash], [d] FROM @original 
GROUP BY [hash], [d]
HAVING COUNT(*) > 1

DELETE O
FROM @original O
JOIN @temp T ON T.[hash] = O.[hash] AND T.[d] = O.[d]

INSERT INTO @original
SELECT [hash], [d] FROM @temp

SELECT * FROM @original

No estoy seguro de si sqlite tiene una ROW_NUMBER()función de tipo, pero si la tiene, también puede probar algunos de los enfoques enumerados aquí: Elimine registros duplicados de una tabla SQL sin una clave principal