¿Cómo copiar grandes archivos de datos línea por línea?

Tengo un CSVarchivo de 35 GB . Quiero leer cada línea y escribir la línea en un nuevo CSV si coincide con una condición.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

Esto toma aprox. 7 minutos ¿Es posible acelerar ese proceso aún más?

Si es una opción, puede usar GZipInputStream / GZipOutputStream para minimizar la E / S de disco.

Files.newBufferedReader / Writer utiliza un tamaño de búfer predeterminado, 8 KB, creo. Puede probar un búfer más grande.

Al convertir a String, Unicode, se ralentiza (y usa el doble de memoria). El UTF-8 usado no es tan simple como StandardCharsets.ISO_8859_1.

Lo mejor sería si puede trabajar con bytes en su mayor parte y solo para campos CSV específicos convertirlos a String.

Un archivo mapeado en memoria podría ser el más apropiado. Paralelismo puede ser utilizado por rangos de archivos, escupiendo el archivo.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Esto se convertirá en un poco de código, haciendo que las líneas funcionen correctamente (byte)'\n', pero no demasiado complejas.

puedes probar esto:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Creo que te ahorrará uno o dos minutos. La prueba se puede hacer en mi máquina en aproximadamente 4 minutos especificando el tamaño del búfer.

¿podría ser más rápido? prueba esto:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Esto debería ahorrarte tres o cuatro minutos.

Si eso todavía no es suficiente. (La razón por la que supongo que hace la pregunta probablemente es que necesita ejecutar la tarea repetidamente). si quieres hacerlo en un minuto o incluso un par de segundos. entonces debe procesar los datos y guardarlos en db, luego procesar la tarea por varios servidores.

Gracias a todas sus sugerencias, lo más rápido que se me ocurrió fue intercambiar el escritor BufferedOutputStream, lo que dio una mejora aproximada del 25%:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

Aún así BufferedReaderfunciona mejor que BufferedInputStreamen mi caso.