Soy nuevo con apache spark y aparentemente instalé apache-spark con homebrew en mi macbook: Last login: Fri Jan 8 12:52:04 on console user@MacBook-Pro-de-User-2:~$ pyspark Python 2.7.10 (default, Jul 13 2015, 12:05:58) [GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin Type...
He notado un comportamiento extraño de mi compilador scala. Ocasionalmente arroja un OutOfMemoryError al compilar una clase. Aquí está el mensaje de error: [info] Compiling 1 Scala source to
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 días . Fui a una...
Uso de spark 2.4.4 que se ejecuta en modo de clúster YARN con el programador FIFO de spark. Estoy enviando múltiples operaciones de trama de datos de chispa (es decir, escribiendo datos en S3) usando un ejecutor de grupo de subprocesos con un número variable de subprocesos. Esto funciona bien si...
He instalado OpenJDK 13.0.1 y python 3.8 y spark 2.4.4. Las instrucciones para probar la instalación son ejecutar. \ Bin \ pyspark desde la raíz de la instalación de spark. No estoy seguro si me perdí un paso en la instalación de la chispa, como configurar alguna variable de entorno, pero no puedo...
¿Cuál sería la forma más eficiente de insertar millones de registros? Por ejemplo, 50 millones de un marco de datos de Spark a tablas de Postgres. He hecho esto desde la chispa a MSSQL en el pasado haciendo uso de la opción de copia masiva y tamaño de lote que también fue exitosa. ¿Hay algo...
Para comparar el rendimiento de Spark al usar Python y Scala, creé el mismo trabajo en ambos idiomas y comparé el tiempo de ejecución. Esperaba que ambos trabajos tomaran aproximadamente la misma cantidad de tiempo, pero el trabajo de Python solo tomó 27min, mientras que el trabajo de Scala tomó...
Recientemente comencé a recibir un montón de errores en varios pysparktrabajos que se ejecutan en clústeres EMR. Los erros son java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at
Estoy explorando el comportamiento de Spark al unir una tabla consigo misma. Estoy usando Databricks. Mi escenario ficticio es: Leer una tabla externa como marco de datos A (los archivos subyacentes están en formato delta) Defina el marco de datos B como el marco de datos A con solo ciertas...
Tengo un marco de datos con el siguiente código: def test(lat: Double, lon: Double) = { println(s"testing ${lat / lon}") Map("one" -> "one", "two" -> "two") } val testUDF = udf(test _) df.withColumn("test", testUDF(col("lat"), col("lon"))) .withColumn("test1", col("test.one"))...
Estoy tratando con un marco de datos Pandas bastante grande: mi conjunto de datos se asemeja a una dfconfiguración siguiente : import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats =...