Tengo una lista de marcos de datos de Pandas que me gustaría combinar en un marco de datos de Pandas. Estoy usando Python 2.7.10 y Pandas 0.16.2 Creé la lista de marcos de datos de: import pandas as pd dfs = [] sqlall = "select * from mytable" for chunk in pd.read_sql_query(sqlall , cnxn,...
Empecé a usar Spark SQL y DataFrames en Spark 1.4.0. Quiero definir un particionador personalizado en DataFrames, en Scala, pero no veo cómo hacerlo. Una de las tablas de datos con las que estoy trabajando contiene una lista de transacciones, por cuenta, silimar para el siguiente ejemplo. Account...
¿Existe una forma integrada de pandas para aplicar dos funciones de agregación diferentes f1, f2a la misma columna df["returns"], sin tener que llamar agg()varias veces? Marco de datos de ejemplo: import pandas as pd import datetime as dt pd.np.random.seed(0) df = pd.DataFrame({ "date" :...
Tengo un Spark DataFrame (usando PySpark 1.5.1) y me gustaría agregar una nueva columna. He intentado lo siguiente sin ningún éxito: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col =...
Supongamos que tengo una variable de respuesta y datos que contienen tres covariables (como un ejemplo de juguete): y = c(1,4,6) d = data.frame(x1 = c(4,-1,3), x2 = c(3,9,8), x3 = c(4,-4,-2)) Quiero ajustar una regresión lineal a los datos: fit = lm(y ~ d$x1 + d$x2 + d$y2) ¿Hay alguna manera...
Mis datos pueden tener múltiples eventos en una fecha determinada o NO eventos en una fecha. Tomo estos eventos, obtengo un recuento por fecha y los trazo. Sin embargo, cuando los trazo, mis dos series no siempre coinciden. idx = pd.date_range(df['simpleDate'].min(), df['simpleDate'].max()) s =...
Estoy leyendo en un archivo csv con múltiples columnas de fecha y hora. Necesitaría configurar los tipos de datos al leer el archivo, pero las fechas y horas parecen ser un problema. Por ejemplo: headers = ['col1', 'col2', 'col3', 'col4'] dtypes = ['datetime', 'datetime', 'str',...
Tengo un Pandas DataFrame y quiero combinar las columnas 'lat' y 'long' para formar una tupla. <class 'pandas.core.frame.DataFrame'> Int64Index: 205482 entries, 0 to 209018 Data columns: Month 205482 non-null values Reported by 205482 non-null values Falls within 205482 non-null...
Tengo un DataFrame de pandas que quiero cargar en un nuevo archivo CSV. El problema es que no quiero guardar el archivo localmente antes de transferirlo a s3. ¿Existe algún método como to_csv para escribir el marco de datos en s3 directamente? Estoy usando boto3. Esto es lo que tengo hasta...
Tengo un data.frame que me gustaría convertir en una lista por filas, lo que significa que cada fila correspondería a sus propios elementos de lista. En otras palabras, me gustaría una lista que sea tan larga como data.frame tenga filas. Hasta ahora, he abordado este problema de la siguiente...
Tengo un DataFrame como este: In [7]: frame.head() Out[7]: Communications and Search Business General Lifestyle 0 0.745763 0.050847 0.118644 0.084746 0 0.333333 0.000000 0.583333 0.083333 0 0.617021 0.042553 0.297872 0.042553 0 0.435897 0.000000 0.410256 0.153846 0 0.358974 0.076923 0.410256...
Sé que si yo uso randn, import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(100, 4), columns=list('ABCD')) me da lo que busco, pero con elementos de una distribución normal. Pero, ¿y si solo quisiera números enteros aleatorios? randintfunciona proporcionando un rango, pero...
Soy nuevo en los pandas y estoy tratando de descubrir cómo agregar varias columnas a los pandas simultáneamente. Cualquier ayuda aquí será apreciada. Idealmente, me gustaría hacer esto en un paso en lugar de varios pasos repetidos ... import pandas as pd df = {'col_1': [0, 1, 2, 3], 'col_2': [4,...
Tengo un marco de datos y me gustaría contar el número de filas dentro de cada grupo. Normalmente utilizo la aggregatefunción para sumar datos de la siguiente manera: df2 <- aggregate(x ~ Year + Month, data = df1, sum) Ahora, me gustaría contar las observaciones, pero parece que no puedo...
Tengo un vector de diferentes nombres de columna y quiero poder recorrer cada uno de ellos para extraer esa columna de un data.frame. Por ejemplo, considere el conjunto de datos mtcarsy algunos nombres de variables almacenados en un vector de caracteres cols. Cuando trato de seleccionar una...
Estoy tratando de acceder al índice de una fila en una función aplicada en todo un DataFramePandas. Tengo algo como esto: df = pandas.DataFrame([[1,2,3],[4,5,6]], columns=['a','b','c']) >>> df a b c 0 1 2 3 1 4 5 6 y definiré una función que acceda a elementos con una fila...
He mirado StackOverflow, pero no puedo encontrar una solución específica para mi problema, que implica agregar filas a un marco de datos R. Estoy inicializando un marco de datos de 2 columnas vacío, de la siguiente manera. df = data.frame(x = numeric(), y = character()) Entonces, mi objetivo es...
Estoy tratando de escribir una función para aceptar un data.frame ( x) y un columnde él. La función realiza algunos cálculos en x y luego devuelve otro data.frame. Estoy atascado en el método de mejores prácticas para pasar el nombre de la columna a la función. Los dos ejemplos mínimos fun1y...
¿Existe alguna función que sea equivalente a una combinación de df.isin()y df[col].str.contains()? Por ejemplo, digamos que tengo la serie s = pd.Series(['cat','hat','dog','fog','pet'])y quiero encontrar todos los lugares donde scontiene cualquiera de ['og', 'at'], me gustaría obtener todo menos...
Me gustaría agregar una cadena al inicio de cada valor en dicha columna de un marco de datos de pandas (elegantemente). Ya descubrí cómo hacer esto y actualmente estoy usando: df.ix[(df['col'] != False), 'col'] = 'str'+df[(df['col'] != False), 'col'] Esto parece una cosa increíblemente poco...