¿Cuál es la calidad real de las traducciones automáticas?

27

Hasta hoy, yo, como un laico AI, estoy confundido por las mejoras prometidas y logradas de la traducción automática.

Mi impresión es: todavía hay un muy, muy lejos camino por recorrer. ¿O hay otras explicaciones de por qué las traducciones automáticas (ofrecidas y proporcionadas, por ejemplo, por Google) de artículos de Wikipedia bastante simples que todavía se leen y suenan principalmente tontas, son apenas legibles y solo parcialmente útiles y útiles?

Puede depender de las preferencias personales (relativas a la legibilidad, la ayuda y la utilidad), pero mis expectativas personales están muy decepcionadas.

Al revés: ¿son las traducciones de Google legibles, útiles y útiles para la mayoría de los usuarios ?

¿O Google tiene razones para retener sus logros (y no para mostrar a los usuarios lo mejor que pueden mostrar)?


Resultado preliminar: todavía estamos lejos de poder hablar con inteligencias artificiales en pie de igualdad y comprensión, solo en el nivel de las cuerdas. Entonces, ¿por qué deberíamos tener miedo? Porque ellos saben más de lo que nosotros sabemos , pero nosotros no.

Hans-Peter Stricker
fuente
2
La traducción automática es un problema difícil, especialmente porque las técnicas modernas no intentan comprender el texto a traducir. Eso funciona más o menos en muchos casos, pero también puede fallar espectacularmente. Personalmente, considero que, teniendo esto en cuenta, la mayoría de las traducciones son útiles, y no tengo ninguna razón para creer que las empresas de MT están frenando. Quizás algunas aplicaciones de dominio específico que son más sensibles desde el punto de vista comercial, pero no un MT general amplio.
Oliver Mason
@OliverMason: "las técnicas modernas no intentan comprender el texto a traducir", ¿es esa la esencia que se debe contar? ¿Así es como tengo que entender los resultados de MT? Lo suficientemente triste (¡Alguna contradicción de la comunidad de IA sería muy bienvenida!)
Hans-Peter Stricker
1
@ Hans-PeterStricker: Bueno, todo comenzó cuando Fred Jelinek notó que despedir a los lingüistas hacía que su reconocimiento de voz fuera más preciso. Desde entonces, varias formas de aprendizaje automático han superado a la IA basada en reglas, y ahora apenas tenemos la menor idea de cómo la mayoría de los sistemas de IA "realmente funcionan", excepto quizás en el nivel estocástico.
Kevin
2
@ Hans-PeterStricker No es realmente útil pensar en un sistema moderno de inteligencia artificial como 'entender' algo. Piénselo más como un sistema que toma un conjunto de entradas y crea un conjunto de salidas. La entrada puede ser un texto en inglés y la salida un texto en español. El sistema ha 'aprendido' esto de un montón de textos en inglés y sus textos en español equivalentes. ¿Eso significa que entiende inglés o español? Esa es más una pregunta de filosofía. Lo que importa prácticamente es que puede convertir el inglés al español con cierto grado de confiabilidad.
Josh Eller
Se ha tocado ligeramente en las respuestas, pero creo que vale la pena señalar que la respuesta depende en gran medida de los pares de idiomas de los que está hablando. La calidad de decir, inglés <-> español, es mucho mayor que el inglés <-> japonés.
mbrig

Respuestas:

21

¿Quién afirmó que la traducción automática es tan buena como un traductor humano? Para mí, como traductor profesional que vive de la traducción desde hace 35 años, MT significa que mi producción diaria de traducción de calidad humana ha crecido en un factor de 3 a 5, dependiendo de la complejidad del texto fuente.

No puedo aceptar que la calidad de MT disminuya con la longitud de la entrada de idioma extranjero. Eso solía ser cierto para los viejos sistemas con análisis semántico y gramatical. No creo que conozca todos los sistemas antiguos (conozco Systran, una herramienta basura de Siemens que se vendió de una compañía a otra como un regalo de Danaer, XL8, Traductor y traductor personal), pero incluso un sistema profesional en el que invertí 28,000 DM (!!!!) falló miserablemente.

Por ejemplo, la oración:

En este caluroso día de verano tuve que trabajar y fue un fastidio.

se puede traducir usando varias herramientas MT al alemán.

Traductor personal 20 :

Auf diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel.

Pronto :

An diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel.

DeepL :

An diesem heißen Sommertag musste ich arbeiten und es war eine Qual.

Google:

An diesem heißen Sommertag musste ich arbeiten und es war ein Schmerz im Arsch.

Hoy, Google generalmente me presenta traducciones legibles y casi correctas, y DeepL es aún mejor. Justo esta mañana traduje 3500 palabras en 3 horas y el resultado es perfecto, aunque el texto fuente estaba lleno de errores (escrito en chino).

Herbert
fuente
44
Para aquellos de nosotros que no hablamos alemán con fluidez, no está claro cuáles de estas alternativas son buenas y malas. Sé que "Esel" significa "culo (animal)" y "Arsch" significa "culo (parte del cuerpo)". No sé qué significa "Qual", o si "ein Schmerz im Arsch" es aceptable.
Stig Hemmer
3
"Schmerz im Esel" es cómico (e incorrecto). "Arsch" es una palabra bastante coloquial, que no usarías en alemán escrito. "Qual" es "dolor", por lo que en mi humilde opinión es la mejor opción, aunque no del todo precisa, ya que la oración expresa molestia en lugar de dolor real.
Oliver Mason
1
@OliverMason Qual es una buena traducción: dict.leo.org/englisch-deutsch/qual
yunzen
44
@OliverMason Soy un hablante nativo de alemán y considero que encaja bastante bien
yunzen
55
@OliverMason "dolor en el culo" es un idioma. "Schmerz im Arsch" no lo es: nadie dice eso. "Qual" es una traducción precisa del idioma inglés que, al contrario de lo que dijiste, rara vez denota dolor físico real (y, de la misma manera, "Qual" puede ser tanto dolor literal como figurado). Sin más contexto, la traducción de DeepL parece ser perfecta.
Konrad Rudolph
7

Las traducciones de Google pueden ser útiles, especialmente si sabe que las traducciones no son perfectas y si solo desea tener una idea inicial del significado del texto (cuyas traducciones de Google a veces pueden ser bastante engañosas o incorrectas). No recomendaría el traductor de Google (o cualquier otro traductor no humano) para realizar una traducción seria, a menos que sea posiblemente una oración o palabra común, no involucra textos muy largos y lenguaje informal (o jerga), las traducciones involucran Idioma inglés o no tiene acceso a un traductor humano.

0100100

En el artículo Making AI significativo de nuevo , los autores también discuten la dificultad de la tarea de traducción (que se cree que es un problema de AI completo ). También mencionan el transformador (otro modelo de traducción automática de última generación), que logra resultados bastante pobres (evaluados utilizando la métrica BLEU).

Para concluir, la traducción automática es un problema difícil y los sistemas actuales de traducción automática definitivamente no funcionan tan bien como un traductor humano profesional.

nbro
fuente
La puntuación de 100 BLEU no significa traducción estándar de oro humano, significa que coincide exactamente con la traducción de referencia. Como generalmente hay múltiples formas de traducir una oración, incluso la traducción humana generalmente no tiene 100 BLEU, sino más bien 50-60.
justo el
@justhalf Lea mi respuesta nuevamente.
nbro
1
Gracias por la respuesta, y perdón si mi comentario anterior parecía grosero. Mi punto en mi comentario anterior fue que no es correcto dar la impresión de que la traducción humana obtendrá 100 puntos BLEU, lo que parece ser su respuesta actual.
solo
100
5

Has hecho muchas preguntas, algunas de las cuales no pueden responderse definitivamente. Para dar una idea de la calidad (y su historia) de las traducciones automáticas, me gusta referirme a Christopher Manning su 'punto de referencia de una oración' como se presenta en su conferencia . Contiene un ejemplo de chino a inglés que se compara con la salida de Google Translate. La traducción correcta para el ejemplo sería:

En 1519, seiscientos españoles desembarcaron en México para conquistar el Imperio azteca con una población de unos pocos millones. Perdieron dos tercios de sus soldados en el primer choque.

Google Translate devolvió las siguientes traducciones.

2009 1519 600 españoles desembarcaron en México, millones de personas para conquistar el imperio azteca, los primeros dos tercios de los soldados contra su pérdida.

2011 1519 600 españoles desembarcaron en México, millones de personas para conquistar el imperio azteca, la pérdida inicial de soldados, dos tercios de sus encuentros.

2013 1519 600 españoles desembarcaron en México para conquistar el imperio azteca, cientos de millones de personas, la confrontación inicial de la pérdida de soldados de dos tercios.

2015 1519 600 españoles desembarcaron en México, millones de personas para conquistar el imperio azteca, los primeros dos tercios de la pérdida de soldados que enfrentaron.

2017 En 1519, 600 españoles desembarcaron en México para conquistar a los millones de personas del imperio azteca, la primera confrontación que mataron a dos tercios.

Si Google retiene u 'oculta' sus mejores resultados: lo dudo. Hay muchos investigadores excelentes que trabajan en el campo del procesamiento del lenguaje natural (PNL). Si Google tuviera un 'gran logro' para la traducción, los investigadores lo descubrirían tarde o temprano. (¿Por qué Google escondería su 'mayor logro' de todos modos? Parecen ver el beneficio del código abierto, ver Transformer [1] o BERT [2])

NÓTESE BIEN. Para obtener una lista actualizada de algoritmos de última generación en PNL, consulte la tabla de clasificación SQuAD2.0 .

[1] Vaswani, Ashish y col. "La atención es todo lo que necesitas". Avances en sistemas de procesamiento de información neuronal. 2017

[2] Devlin, Jacob, y col. "Bert: Pre-entrenamiento de transformadores bidireccionales profundos para la comprensión del lenguaje". preimpresión de arXiv arXiv: 1810.04805 (2018).

RikH
fuente
Muchas gracias por el enlace a "investigadores bien compensados". Tener en cuenta las compensaciones siempre ayuda a comprender mejor las cosas (aunque no sé lo que tenía en mente al configurar este enlace).
Hans-Peter Stricker
El argumento tampoco era muy sólido. Eliminé el enlace e intenté mejorar el argumento. He estado leyendo muchos documentos de PNL y estoy bastante seguro de mis hallazgos, pero es difícil encontrar apoyo para el argumento.
RikH
Avíseme sobre sus hallazgos (si no le importa). Mi dirección de correo se puede encontrar en mi página de perfil.
Hans-Peter Stricker
1
2019 :In 1519, 600 Spaniards landed in Mexico to conquer the Aztec empire of millions of people, and they first met two-thirds of their soldiers.
Dan M.
4

Realmente depende del par de idiomas y del tema del contenido. Por lo general, la mejor traducción es la traducción a / del inglés a cualquier otro idioma. La traducción hacia y desde los idiomas populares funciona mejor, por ejemplo, traducir del inglés al rumano es una traducción peor que el inglés al ruso. Pero traducir de inglés a ruso o rumano es mejor que traducir de ruso a rumano. Y traducir rumano a inglés es mejor que traducir inglés a rumano.

Pero si está acostumbrado a trabajar con traductores y tiene una familiaridad pasajera con los idiomas, los errores de traducción y el tema, es fácil entender lo que se suponía que debía estar allí. Y, en ese punto, a veces es más fácil leer algo traducido a su idioma nativo para un escaneo rápido que leerlo en un segundo idioma.

Los idiomas menos populares (para la traducción, no necesariamente en número de hablantes) están mucho más cerca de las traducciones literales, solo un poco mejor que lo que usted haría personalmente usando un diccionario para dos idiomas que no conoce.

Aaron Harun
fuente
2

¿Me equivoco y las traducciones de Google son legibles, útiles y útiles para la mayoría de los usuarios?

Sí, son algo útiles y le permiten traducir más rápido.

¿O Google tiene razones para retener sus mayores logros (y no para mostrar a los usuarios lo mejor que pueden mostrar)?

Quizás no lo sé. Si busca información, Google realmente hace muchas cosas estúpidas y horribles, como aprender de lo que los usuarios dicen en Internet, tomando datos inadecuados como conjuntos de datos de entrada confiables.

usuario8426627
fuente
2

Disculpas por no escribir en inglés. Encuentre la traducción adaptada aquí:

Para darles a las personas interesadas una idea de la calidad de MT (DeepL), vea este ejemplo de un texto en el que estaba trabajando esta mañana (6.300 palabras, comenzó a las 9 a.m., entrega hoy alrededor de la 1 p.m. y aún encuentra tiempo para esta publicación). Estaba trabajando en esta oración (201 palabras) cuando publiqué mi comentario.

o cualquier proceso que se ejecute o se active mientras usted no haya iniciado sesión en este sitio web, o que interfiera con el funcionamiento adecuado o coloque una carga irrazonable en la infraestructura de este sitio web; o (e) Usar software, dispositivos u otros procesos manuales o automatizados para "rastrear", "raspar" o "arañar" cualquier página de este sitio web; o (f) Descompilar, realizar ingeniería inversa o intentar obtener el código fuente de este sitio web ".

DeepL devuelve esto:

Sie versichern, garantieren und verpflichten sich gegenüber ABC, dass Sie muere nicht tun werden: (a) betrügerische, missbräuchliche oder anderweitig illegale Aktivitäten durchzuführen, morir Anlass für die Beendigung Ihres rechts auf Zugang oder Nutzung dieser Website und / oder der Dienste sein können; oder (b) Mitteilungen oder Aufforderungen, die dazu bestimmt sind oder sind, Passwörter, Konten oder Private Informationen von anderen Nutzern dieser Website zu erhalten, zu posten oder zu übertragen oder posten oder zu posten oder zu übertragen; oder (c) die Sicherheit eines Computernetzwerks verletzen, Passwörter oder Sicherheitsverschlüsselungscodes knacken, material ilegales (einschließlich Material, das als bedrohlich oder obszön angesehen werden kann) übertragen oder speichern oder sich an ile sät anige, ete sich angal die ausdrücklich verboten sind; oder (d) Mailliste, Listenserver oder jede Otros Forma von Auto-Responder oder "Spam" auf dieser sitio web oder Prozesse, mueren ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser sitio web angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oder eine del unangemessene Belastung der Infrastruktur dieser Sitio web stören; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sitio web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Website angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oine ean unangemessene Belastung der Infrastruktur dieser Website stören; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sitio web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Website angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oine ean unangemessene Belastung der Infrastruktur dieser Website stören; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sitio web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten.

Me llevó entre 5 y 10 minutos ajustar este párrafo.

Como traductor, sé que no puedo confiar en la traducción automática, pero aprendí los detalles y las capacidades de los diferentes sistemas con el tiempo y sé a qué prestar atención.

MT me ayuda mucho en mi trabajo.

Herbert
fuente
2
Tenga en cuenta que los textos legales producen mejores traducciones automáticas, ya que hay una gran cantidad de textos multilingües en esta área.
Quora Feans
1

Esto no será tanto una respuesta como un comentario.

La calidad depende de varias cosas, incluyendo (como Aaron dijo anteriormente) 1) el par de idiomas y 2) el tema, pero también 3) los géneros y 4) el estilo del original y 5) la cantidad de texto paralelo que tiene para entrenar el sistema MT.

Para establecer el escenario, prácticamente todo el MT en estos días se basa en textos paralelos, es decir, un texto en dos idiomas diferentes, presumiblemente uno es una traducción del otro (o ambos son una traducción de algún tercer idioma); y potencialmente usando diccionarios (quizás asistidos por procesos morfológicos) como retroceso cuando los textos paralelos no contienen palabras particulares.

Además, como han dicho otros, un sistema de MT de ninguna manera comprende los textos que está traduciendo; solo ve cadenas de caracteres y secuencias de palabras formadas por caracteres, y busca cadenas y secuencias similares en textos que se tradujeron anteriormente. (Ok, es un poco más complicado que eso, y ha habido intentos de llegar a la semántica en los sistemas computacionales, pero por ahora se trata principalmente de cadenas).

1) Los idiomas varían. Algunos idiomas tienen mucha morfología, lo que significa que hacen cosas con una sola palabra que otros idiomas hacen con varias palabras. Un ejemplo simple sería español 'cantaremos' = inglés "vamos a cantar". Y un idioma puede hacer cosas con las que el otro idioma ni siquiera se molesta, como la distinción informal / formal (tu / usted) en español, a la que el inglés no tiene un equivalente. O un idioma puede hacer cosas con la morfología que otro idioma hace con el orden de las palabras. O el guión que usa el idioma puede que ni siquiera marque los límites de las palabras (chino y algunos otros). Cuanto más diferentes sean los dos idiomas, más difícil será para el sistema MT traducir entre ellos. Los primeros experimentos en MT estadística se realizaron entre francés e inglés,

2) Tema: Si tiene textos paralelos en la Biblia (lo cual es cierto para casi cualquier par de idiomas escritos), y entrena su sistema MT fuera de esos, no espere que funcione bien en textos de ingeniería. (Bueno, la Biblia es una cantidad relativamente pequeña de texto según los estándares de entrenamiento de los sistemas de MT de todos modos, pero pretende :-).) El vocabulario de la Biblia es muy diferente al de los textos de ingeniería, y también lo es la frecuencia de varios gramática. construcciones (La gramática es esencialmente la misma, pero en inglés, por ejemplo, obtienes mucha más voz pasiva y más sustantivos compuestos en textos científicos y de ingeniería).

3) Genera: si su texto paralelo es todo declarativo (como en los manuales de tractores, por ejemplo), intentar usar el sistema MT resultante en el diálogo no le dará buenos resultados.

4) Estilo: Piensa en Hilary vs. Donald; erudito vs. popular. El entrenamiento en uno no obtendrá buenos resultados en el otro. Asimismo, capacitar el sistema de MT en novelas para adultos y usarlo en libros para niños.

5) Par de idiomas: el inglés tiene muchos textos, y las posibilidades de encontrar textos en algún otro idioma que sean paralelos a un texto en inglés dado son mucho mayores que las posibilidades de encontrar textos paralelos en, por ejemplo, ruso e igbo. (Dicho esto, puede haber excepciones, como los idiomas de la India). Como una generalización general, cuantos más textos paralelos tenga para entrenar el sistema MT, mejores resultados.

En resumen, el idioma es complicado (por eso me encanta, soy lingüista). Por lo tanto, no sorprende que los sistemas MT no siempre funcionen bien.

Por cierto, los traductores humanos tampoco siempre lo hacen tan bien. Hace una o dos décadas, estaba obteniendo traducciones de documentos de traductores humanos al inglés, para utilizarlas como materiales de capacitación para sistemas MT. Algunas de las traducciones eran difíciles de entender, y en algunos casos donde obtuvimos traducciones de dos (o más) traductores humanos, era difícil creer que los traductores habían estado leyendo los mismos documentos.

Y finalmente, hay (casi) nunca solo una traducción correcta; existen múltiples formas de traducir un pasaje, que pueden ser más o menos buenas, dependiendo de qué características (corrección gramatical, estilo, consistencia de uso, ...) desee. No hay una medida fácil de "precisión".

Mike Maxwell
fuente
1

Sorprendentemente, todas las otras respuestas son muy vagas e intentan abordar esto desde el punto de vista del traductor humano. Pasemos al ingeniero de ML.

Al crear una herramienta de traducción, una de las primeras preguntas que debemos considerar es "¿Cómo medimos que nuestra herramienta funciona?" .

Que es esencialmente lo que pregunta el OP.

Ahora, esta no es una tarea fácil (algunas otras respuestas explican por qué). Hay un artículo de Wikipedia que menciona diferentes formas de evaluar los resultados de la traducción automática: existen puntuaciones tanto humanas como automáticas (como BLEU , NIST , LEPOR ).

Con el aumento de las técnicas de redes neuronales, esos puntajes mejoraron significativamente.

La traducción es un problema complejo. Hay muchas cosas que pueden ir bien (o mal), y el sistema de traducción por computadora a menudo ignora algunas de las sutilezas, que se destacan para un hablante humano.

Creo que si pensamos en el futuro, hay algunas cosas en las que podemos confiar:

  • Nuestras técnicas son cada vez mejores, más conocidas y probadas. Esto mejorará la precisión a largo plazo.
  • Estamos desarrollando nuevas técnicas que pueden tener en cuenta variables previamente ignoradas o simplemente hacer un mejor trabajo.
  • Muchos de los modelos de traducción existentes a menudo se "reutilizan" para traducir otros idiomas (por ejemplo, intente traducir "JEDEN" del polaco al chino (tradicional) usando Google Translator; terminará con "ONE", que es una evidencia que señala el hecho de que Google traduce polaco a inglés y luego inglés a chino). Obviamente, este no es un buen enfoque: perderá algo de información en el proceso, pero seguirá funcionando, por lo que empresas como Google lo usan para idiomas en los que no tienen suficiente fuerza de trabajo o datos. Con el tiempo, aparecerán modelos más especializados que mejorarán la situación.
  • Además, como se indicó en el punto anterior, cada vez más datos solo ayudarán a mejorar la traducción automática.

Para resumir, este problema complejo, aunque no se resuelve, ciertamente está en buen camino y permite algunos resultados impresionantes para pares de idiomas bien investigados.

MatthewRock
fuente
"Sorprendentemente, todas las otras respuestas ...", no todas las demás respuestas. Yo diría "Algunas otras respuestas" o "La mayoría de las otras respuestas".
nbro
0

"¿O Google tiene razones para retener sus logros (y no para mostrar a los usuarios lo mejor que pueden mostrar)"

Si lo fueran, entonces lo que están frenando sería increíble . Google publica muchos documentos sólidos sobre procesamiento del lenguaje natural, incluidos los que obtienen resultados de vanguardia o hacen avances conceptuales significativos . También han lanzado conjuntos de datos y herramientas muy útiles . Google es una de las pocas compañías que no solo está utilizando la vanguardia de la investigación actual, sino que está contribuyendo activamente a la literatura.

La traducción automática es solo un problema difícil. Un buen traductor humano necesita tener fluidez en ambos idiomas para hacer bien el trabajo. Cada idioma tendrá sus propios modismos y significados no literales o dependientes del contexto. Solo trabajar desde un diccionario de dos idiomas produciría resultados terribles (para un ser humano o una computadora), por lo que necesitamos entrenar nuestros modelos en cuerpos existentes que existen en varios idiomas para aprender cómo se usan realmente las palabras (nb frase compilada a mano las tablas de traducción se pueden usar como características ; simplemente no pueden ser toda la historia). Para algunos pares de idiomas, los corpus paralelos son abundantes (por ejemplo, para los idiomas de la UE, tenemos los procedimientos completos del Parlamento Europeo) Para otros pares, los datos de entrenamiento son mucho más escasos. E incluso si tenemos datos de capacitación, existirán palabras y frases menos utilizadas que no aparecen con la frecuencia suficiente para ser aprendidas.

Esto solía ser un problema aún mayor, ya que los sinónimos eran difíciles de explicar. Si nuestros datos de entrenamiento tuvieran oraciones para "El perro atrapó la pelota", pero no "El cachorro atrapó la pelota", terminaríamos con una baja probabilidad de la segunda oración. De hecho, se necesitaría un alisado significativo para evitar que la probabilidad sea cero en muchos de estos casos.

La aparición de modelos de lenguaje neuronal en los últimos 15 años más o menos ha ayudado enormemente con este problema, al permitir que las palabras se asignen a un espacio semántico de valor real antes de aprender las conexiones entre las palabras. Esto permite que se aprendan modelos en los que las palabras que están muy juntas en el significado también están muy juntas en el espacio semántico y, por lo tanto, cambiar una palabra por su sinónimo no afectará en gran medida la probabilidad de que contenga la oración. word2veces un modelo que ilustra esto muy bien; mostró que se podía, por ejemplo, tomar el vector semántico para "rey", restar el vector para "hombre", agregar el vector para "mujer" y encontrar que la palabra más cercana al vector resultante era "reina". Una vez que la investigación en modelos de lenguaje neural comenzó en serio, comenzamos a ver caídas inmediatas y masivas de perplejidad (es decir, cuán confundidos estaban los modelos con el texto natural) y estamos viendo los aumentos correspondientes en la puntuación BLEU (es decir, la calidad de la traducción) ahora que esos Los modelos de lenguaje se están integrando en los sistemas de traducción automática.

Las traducciones automáticas aún no son tan buenas como las traducciones humanas de calidad, y muy posiblemente no serán tan buenas hasta que descubramos una inteligencia artificial completamente inteligente. Pero los buenos traductores humanos son caros, mientras que todos los que tienen acceso a Internet tienen traductores automáticos disponibles. La pregunta no es si la traducción humana es mejor, sino qué tan cerca se acerca la máquina a ese nivel de calidad. Esa brecha se ha reducido y continúa reduciéndose.

Rayo
fuente
No me gusta este enfoque, pero eso es cuestión de gustos y opiniones. Prescindir de una traducción "aprendida / sabia / comprensión" solo porque "los traductores humanos son caros" me entristece. ¿De qué se trata la traducción?
Hans-Peter Stricker
@ Hans-PeterStricker Translation se trata de poder comunicarse con personas con las que no comparte un idioma común. Actualmente, la traducción automática es lo suficientemente buena como para permitirnos hacer algo bien, aunque las traducciones resultantes a menudo no son gramaticales o suenan como un hablante no nativo. (continuación ...)
Ray
Dependiendo de lo que quiera decir con "aprendido / sabio / comprensión", es posible que ya lo estemos haciendo. Eso es lo que es el mapeo a un vector semántico; Las palabras están incrustadas en un espacio vectorial que representa su significado subyacente. El documento de Sutskever que vinculé (como "conceptual") en realidad hace la traducción al mapear toda la oración en un vector semántico y luego convertir ese vector en una oración en el idioma de destino. Entonces, la "comprensión" de un tipo definitivamente está sucediendo allí. (continuación ...)
Rayo
También existen modelos que aprenden la sintaxis subyacente (es decir, la estructura de la oración), y se ha trabajado para integrar eso en los modelos neuronales, aunque en este momento, los modelos que aprenden a qué partes de la oración deben prestar atención en un momento dado parecen para ser más efectivo en el manejo de ese tipo de cosas que los modelos sintácticos explícitos. (continuación ...)
Ray
Si no cree que nada de este tipo de "comprensión" cuente como verdadera comprensión, entonces, ¿ qué contaría además de una IA que apruebe la prueba de Turing, es decir, una totalmente inteligente? Tenga en cuenta que nunca dije que no podemos hacer una IA completamente inteligente (no podría decir cuánto tiempo tomará; esa no es mi parte del campo. Pero tengo pocas dudas de que llegaremos allí eventualmente). Pero los modelos que describo aquí son los que estamos usando ahora , y funcionan bastante bien para permitir que las personas se comuniquen. La investigación de IA se trata de obtener versiones sucesivamente mejores de "lo suficientemente bueno"
Ray