Estoy buscando usar la implementación word2vec de google para construir un sistema de reconocimiento de entidad con nombre. He oído que las redes neuronales recursivas con propagación hacia atrás a través de la estructura son adecuadas para tareas de reconocimiento de entidades con nombre, pero no he podido encontrar una implementación decente o un tutorial decente para ese tipo de modelo. Debido a que estoy trabajando con un corpus atípico, las herramientas NER estándar en NLTK y similares han funcionado muy mal, y parece que tendré que entrenar mi propio sistema.
En resumen, ¿qué recursos están disponibles para este tipo de problema? ¿Existe una implementación de red neuronal recursiva estándar disponible?
machine-learning
python
neural-network
nlp
Madison May
fuente
fuente
Respuestas:
En lugar de "redes neuronales recursivas con propagación hacia atrás", podría considerar el enfoque utilizado por Frantzi, et. Alabama. en el Centro Nacional de Minería de Texto (NaCTeM) en la Universidad de Manchester para Termine (ver: http://www.nactem.ac.uk/index.php y http://personalpages.manchester.ac.uk/staff/sophia. ananiadou / IJODL2000.pdf ) En lugar de redes neuronales profundas, "combinan información lingüística y estadística".
fuente
Dos artículos recientes utilizan una arquitectura de aprendizaje profundo llamada CharWNN para abordar este problema. CharWNN se usó por primera vez para obtener resultados de vanguardia (sin características artesanales) en el etiquetado de Parte de discurso (POS) en un corpus inglés.
El segundo artículo del mismo autor usa la misma arquitectura (o similar) para predecir si una palabra pertenece a 10 clases de Entidades Nombradas, con aparentes resultados de última generación.
fuente
Pruebe http://deeplearning4j.org/word2vec.html . Esto tiene una implementación de Word2Vec utilizada en lugar de Bag of Words para NER y otras tareas de PNL.
fuente
Aquí hay algunas ideas sobre cómo usar vectores de palabras para NER, que adopta un enfoque centrado en word2vec sin supervisión.
findCluster(['joy', 'surprise', 'disgust', 'trust', 'fear', 'sadness', 'anger', 'anticipation'])
puede devolver una lista que contiene cientos de palabras relacionadas principalmente con la emoción. Si nombra esta lista 'emoción', entonces tiene un concepto llamado 'emoción' definido en función del espacio vectorial.fuente