En PNL, existe el concepto de Gazetteerque puede ser bastante útil para crear anotaciones. Hasta donde yo entiendo: Un diccionario geográfico consiste en un conjunto de listas que contienen nombres de entidades como ciudades, organizaciones, días de la semana, etc. Estas listas se utilizan para...
¿Hay algún artículo o discusión sobre la extracción de parte del texto que contenga la mayor parte de la información sobre el documento actual? Por ejemplo, tengo un gran corpus de documentos del mismo dominio. Hay partes del texto que contienen la información clave de la que habla un solo...
Estoy tratando de resolver el siguiente problema: tengo un conjunto de oraciones como mi conjunto de datos, y quiero poder escribir una nueva oración y encontrar la oración con la que la nueva es más similar en el conjunto de datos. Un ejemplo se vería así: Nueva oración: " I opened a new...
Mientras leía sobre la generación de texto con redes neuronales recurrentes, noté que algunos ejemplos se implementaron para generar texto palabra por palabra y otros carácter por carácter sin decir realmente por qué. Entonces, ¿cuál es la diferencia entre los modelos RNN que predicen texto por...
Estoy buscando una biblioteca de Python que me ayude a identificar la similitud entre dos palabras u oraciones. Haré la conversión de audio a texto, lo que dará como resultado un diccionario de inglés o palabras que no estén en el diccionario (podría ser el nombre de una persona o compañía)....
Estoy usando Gensim Library en python para usar y entrenar el modelo word2vector. Recientemente, estaba buscando inicializar los pesos de mi modelo con un modelo word2vec previamente entrenado como (modelo preformado GoogleNewDataset). He estado luchando con eso un par de semanas. Ahora, acabo de...
Estoy explorando diferentes tipos de estructuras de árbol de análisis. Las dos estructuras de árbol de análisis ampliamente conocidas son: a) árbol de análisis basado en la circunscripción yb) estructuras de árbol de análisis basadas en la dependencia. Puedo usar generar ambos tipos de estructuras...
Leo esto: Para entrenar nuestra red neuronal, inicializaremos cada parámetro W (l) ijWij (l) y cada b (l) ibi (l) a un pequeño valor aleatorio cercano a cero (digamos de acuerdo con Normal (0, ϵ2) Normal (0 , ϵ2) distribución para algunos pequeños ϵϵ, digamos 0.01) de los tutoriales de...
Tengo una buena comprensión general del papel y el mecanismo de las capas convolucionales en Deep Learning para el procesamiento de imágenes en caso de implementaciones 2D o 3D: "simplemente" intentan capturar patrones 2D en imágenes (en 3 canales en caso de 3D). Pero recientemente me topé con...
Estoy ampliando mi conocimiento del paquete Keras y he estado trabajando con algunos de los modelos disponibles. Tengo un problema de clasificación binaria de PNL que estoy tratando de resolver y he estado aplicando diferentes modelos. Después de trabajar con algunos resultados y leer más y más...
He estado trabajando en un proyecto pequeño y personal que toma las habilidades laborales de un usuario y sugiere la carrera más ideal para ellos en función de esas habilidades. Utilizo una base de datos de listados de trabajo para lograr esto. Por el momento, el código funciona de la siguiente...
Estoy trabajando en una aplicación que requiere crear una base de datos muy grande de n-gramos que existen en un corpus de texto grande. Necesito tres tipos de operaciones eficientes: búsqueda e inserción indexadas por el n-gramo en sí, y consulta de todos los n-gramos que contienen un...
He estado trabajando en el desarrollo de un sistema "Conversión de lenguaje natural a consulta SQL". He leído las respuestas de preguntas similares, pero no pude obtener la información que estaba buscando. A continuación se muestra el diagrama de flujo para dicho sistema que obtuve de Un...
¿Existen reglas generales (o reglas reales) relacionadas con la cantidad mínima, máxima y "razonable" de celdas LSTM que debo usar? Específicamente me relaciono con BasicLSTMCell de TensorFlow y la num_unitspropiedad. Suponga que tengo un problema de clasificación definido por: t - number of time...
He estado trabajando en NLTK por un tiempo usando Python. El problema al que me enfrento es que no hay ayuda disponible para entrenar NER en NLTK con mis datos personalizados. Han usado MaxEnt y lo han entrenado en ACE corpus. He buscado mucho en la web pero no pude encontrar ninguna manera de...
Estaba trabajando en el modelo gensim de word2vec y lo encontré realmente interesante. Estoy interesado en encontrar cómo una palabra desconocida / invisible cuando se verifica con el modelo podrá obtener términos similares del modelo entrenado. es posible? ¿Se puede ajustar word2vec para esto? O...
Soy totalmente nuevo en word2vec, así que por favor llévelo conmigo. Tengo un conjunto de archivos de texto que contienen cada uno un conjunto de tweets, entre 1000-3000. Elegí una palabra clave común ("kw1") y quiero encontrar términos semánticamente relevantes para "kw1" usando word2vec. Por...
He implementado el sistema NER con el uso del algoritmo CRF con mis características artesanales que dieron resultados bastante buenos. El caso es que utilicé muchas características diferentes, incluidas etiquetas POS y lemas. Ahora quiero hacer el mismo NER para un idioma diferente. El problema...
Estoy creando un chatbot simple. Quiero obtener la información de la respuesta del usuario. Un ejemplo de escenario: Bot : Hi, what is your name? User: My name is Edwin. Deseo extraer el nombre Edwin de la oración. Sin embargo, el usuario puede responder de diferentes maneras, como User: Edwin...
Tengo curiosidad por las consultas en lenguaje natural. Stanford tiene lo que parece ser un sólido conjunto de software para procesar lenguaje natural . También he visto la biblioteca Apache OpenNLP y la Arquitectura general para la ingeniería de texto . Hay una increíble cantidad de usos para el...