“Crear chispa de datos de datos a partir de pandas” Código de respuesta

DataFrame Pandas para chispa


from pyspark.sql import SparkSession
#Create PySpark SparkSession
spark = SparkSession.builder \
    .master("local[1]") \
    .appName("SparkByExamples.com") \
    .getOrCreate()
#Create PySpark DataFrame from Pandas
sparkDF=spark.createDataFrame(pandasDF) 
sparkDF.printSchema()
sparkDF.show()

#Outputs below schema & DataFrame

root
 |-- Name: string (nullable = true)
 |-- Age: long (nullable = true)

+------+---+
|  Name|Age|
+------+---+
| Scott| 50|
|  Jeff| 45|
|Thomas| 54|
|   Ann| 34|
+------+---+
Sore Stork

Crear chispa de datos de datos a partir de pandas

import numpy as np
import pandas as pd

# Enable Arrow-based columnar data transfers
spark.conf.set("spark.sql.execution.arrow.enabled", "true")

# Generate a pandas DataFrame
pdf = pd.DataFrame(np.random.rand(100, 3))

# Create a Spark DataFrame from a pandas DataFrame using Arrow
df = spark.createDataFrame(pdf)
Makstar

Respuestas similares a “Crear chispa de datos de datos a partir de pandas”

Preguntas similares a “Crear chispa de datos de datos a partir de pandas”

Más respuestas relacionadas con “Crear chispa de datos de datos a partir de pandas” en Python

Explore las respuestas de código populares por idioma

Explorar otros lenguajes de código