Preguntas etiquetadas con scala

9
Spark: UDF ejecutado muchas veces

Tengo un marco de datos con el siguiente código: def test(lat: Double, lon: Double) = { println(s"testing ${lat / lon}") Map("one" -> "one", "two" -> "two") } val testUDF = udf(test _) df.withColumn("test", testUDF(col("lat"), col("lon"))) .withColumn("test1", col("test.one"))...

9
GRPC: hacer cliente de alto rendimiento en Java / Scala

Tengo un servicio que transfiere mensajes a una velocidad bastante alta. Actualmente es atendido por akka-tcp y genera 3,5 millones de mensajes por minuto. Decidí probar grpc. Desafortunadamente, resultó en un rendimiento mucho menor: ~ 500k mensajes por minuto e incluso menos. ¿Podría...