“Cómo agregar token especial a Bert Tokenizer” Código de respuesta

Cómo agregar token especial a Bert Tokenizer

special_tokens_dict = {'additional_special_tokens': ['[C1]','[C2]','[C3]','[C4]']}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
model.resize_token_embeddings(len(tokenizer))