Eliminar elemento de la lista en el marco de datos de pandas según el valor en la columna

Digamos que tengo el siguiente marco de datos:

a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [1,1]


df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])

Y mi objetivo es eliminar los elementos en las listas de la serie A que están en la serie B. Mi intento de hacerlo es el siguiente:

df['a'] = [i.remove(j) for i,j in zip(df.a, df.b)]

La lógica me parece sonar, sin embargo, estoy terminando con df ['a'] siendo una serie de nulos. ¿Que esta pasando aqui?

list.remove (x) elimina el valor en el lugar y devuelve None. Es por eso que el código anterior está fallando para usted. También puede hacer algo como lo siguiente.

a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [1,1]
df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])
for i, j in zip(df.a, df.b):
    i.remove(j)

print df

                        a  b
0         [2, 3, 4, 5, 6]  1
1  [23, 23, 212, 223, 12]  1

Aquí hay una forma alternativa de hacerlo:

In []:
df2 = df.explode('a')
df['a'] = df2.a[df2.a != df2.b].groupby(level=0).apply(list)
df

Out[]:
                        a  b
0         [2, 3, 4, 5, 6]  1
1  [23, 23, 212, 223, 12]  1

Suponiendo que la fila bsolo contiene un valor, puede intentar con lo siguiente usando una comprensión de lista dentro de una función, y luego simplemente aplicarla:

import pandas as pd
a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [1,1]


df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])
def removing(row):
    val = [x for x in row['a'] if x != row['b']]
    return val
df['c'] = df.apply(removing,axis=1)
print(df)

Salida:

                           a  b                       c
0         [1, 2, 3, 4, 5, 6]  1         [2, 3, 4, 5, 6]
1  [23, 23, 212, 223, 1, 12]  1  [23, 23, 212, 223, 12]

Qué haré

s=pd.DataFrame(df.a.tolist(),index=df.index)
df['a']=s.mask(s.eq(df.b,0)).stack().astype(int).groupby(level=0).apply(list)
Out[264]: 
0           [2, 3, 4, 5, 6]
1    [23, 23, 212, 223, 12]
dtype: object

Qué tal esto:

b = [[1],[1]] 

df['a'] = df.apply(lambda row: list(set(row['a']).difference(set(row['b']))), axis=1)

b debe ser de esta manera, pero puede obtener la diferencia incluso si desea eliminar más de un elemento.

Ejemplo:

import pandas as pd
a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [[1,5],[1,23]]


df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])



df['a'] = df.apply(lambda row: list(set(row['a']).difference(set(row['b']))), axis=1)