Highlights del congreso NAACL 2019

Max, traductor intérprete de Inglés en conferencias y congresos, no ofrece la traducción a Español del artículo «NAACL 2019 Highlights», escrito por Sebastian Ruder y publicado originalmente en Inglés en: https://ruder.io/

* * *

Esta publicación discute los aspectos más destacados del Congreso NAACL 2019, especialmente el aprendizaje de transferencia, el razonamiento de sentido común, la generación de lenguaje natural, el sesgo, las lenguas no inglesas, y la diversidad e inclusión.

Sebastian Ruder
Lea más publicaciones de este autor.

Sebastian Ruder
9 de junio de 2019 – 8 minutos de lectura

Este post discute los aspectos más destacados del Congreso Anual del Capítulo Norteamericano de la Asociación de Lingüística Computacional de 2019 (NAACL 2019).

Puede encontrar los aspectos más destacados de las conferencias anteriores aquí. La conferencia aceptó 424 ponencias (que puede encontrar aquí) y tuvo 1575 participantes (véase la diapositivas de la sesión de apertura para más detalles). Estos son los temas que más me llamaron la atención:

• Aprendizaje de transferencia
• Razonamiento de sentido común
• Generación de lenguaje natural
• Sesgos
• Lenguajes no ingleses
• Diversidad e inclusión

Aprendizaje de transferencia

El interés en el aprendizaje de la transferencia sigue siendo alto. El tutorial de Aprendizaje de transferencia en PNL (ilustrado arriba y organizado por Matthew Peters, Swabha Swayamdipta, Thomas Wolf y yo) estaba lleno. La NAACL 2019 otorgó el premio al mejor trabajo largo a BERT, posiblemente el método de aprendizaje de transferencia más impactante de los últimos años. A pesar de su reciente aparición, los documentos de la conferencia ya aprovecharon el BERT para análisis del sentimiento basado en el aspecto, revisar la comprensión de la lectura, el razonamiento del sentido común y respuesta a una pregunta de dominio abierto.

En el taller de RepEval, Kristina Toutanova discutió cómo usar el aprendizaje de transferencia para responder a preguntas de dominio abierto. Con el entrenamiento previo apropiado, usando una Tarea de Clausura Inversa, el recuperador y el lector pueden ser afinados directamente en pares QA sin un sistema IR intermedio. Esto demuestra que una inicialización cuidadosa + un buen ajuste son dos ingredientes clave para el Aprendizaje de transferencia y el trabajo incluso en tareas complicadas. Esto también se ha demostrado en el pasado para aprender a integrar palabras en varios lenguas y MT sin supervisión. También señaló que las representaciones de frases/párrafos de un solo vector son muy útiles para la recuperación y que debemos seguir trabajando en ellas. En general, hay muchas direcciones de investigación interesantes en el aprendizaje de la transferencia en PNL, algunas de las cuales hemos esbozado en el final de nuestro tutorial. Mis otros puntos destacados incluyen:

• Aprendizaje de transferencia de pérdidas auxiliares de un solo paso (SiATL Chronopoulou y otros), un enfoque «vergonzosamente simple» que reduce parte de la complejidad de ULMFiT a través de un aprendizaje multitarea y decayendo exponencialmente la pérdida auxiliar.
• AutoSeM (Guo y otros), una tubería de dos etapas para el aprendizaje de tareas múltiples que utiliza bandidos multiarmados y optimización bayesiana para aprender la mejor tarea auxiliar y la mejor proporción de mezcla de tareas respectivamente.
• Una evaluación de la representación contextual a través de 16 tareas (Liu y otros) que muestra que son malos para captar el conocimiento lingüístico de grano fino y que las capas superiores de los RNN son más específicas de la tarea que en los Transformadores.

Razonamiento de sentido común

La elaboración de modelos de lenguaje es una tarea previa a la capacitación que ha demostrado aprender representaciones generalmente útiles a escala. Sin embargo, hay algunas cosas que simplemente nunca se escriben, incluso en miles de millones de fichas.La superación de este sesgo informativo es un desafío clave para adaptar los modelos de lenguaje a tareas más complejas. Para probar el razonamiento con el conocimiento que a menudo se deja sin decir, el mejor trabajo sobre recursos utilizó la base de conocimiento de sentido común ConceptNet como «semilla». Crearon CommonsenseQA, un conjunto de preguntas de opción múltiple en el que la mayoría de las respuestas tienen la misma relación con el concepto de objetivo (véase más adelante).

Esto requiere que el modelo utilice el sentido común en lugar de solo información relacional o de coocurrencia para responder a la pregunta. El BERT alcanza una precisión del 55,9 % en este conjunto de datos, y se estima que alcanza alrededor del 75 % con ejemplos de 100k, muy por debajo del rendimiento humano del 88,9 %. ¿Qué se necesita para llegar a ese 88,9 %? Lo más probable es que conocimiento estructurado, aprendizaje interactivo y multimodal. En su charla en el Taller sobre las deficiencias en la visión y el lenguaje (SiLV), Yoav Artzi discutió la diversidad lingüística en la CLN anclado señalando que necesitamos pasar de imágenes sintéticas a imágenes más realistas para aprender representaciones ancladas.

Otro prerrequisito para la comprensión del lenguaje natural es el razonamiento compositivo. El Tutorial de Aprendizaje Profundo para la Inferencia del Lenguaje Natural discutió la inferencia del lenguaje natural, un punto de referencia común para evaluar a fondo esas formas de razonamiento. Me gustaron particularmente los siguientes documentos:

• Un marco de coherencia de la etiqueta para la comprensión del texto de procedimiento (Du y otros) que fomenta la coherencia entre las predicciones de las descripciones del mismo proceso. Esta es una forma inteligente de usar la intuición y los datos adicionales para incorporar un sesgo inductivo en el modelo.
• Razonamiento discreto sobre el contenido de los párrafos (DROP; Dua y otros), que requiere modelos para resolver las referencias en una cuestión y realizar operaciones discretas (por ejemplo, adición, recuento, clasificación) sobre múltiples referencias en el texto.

Generación de lenguaje natural

En el taller de NeuralGen, Graham Neubig discutió los métodos para optimizar una función objetiva no diferenciable como el BLEU directamente, incluyendo entrenamiento de riesgo mínimo y REFUERZO y trucos para lidiar con su inestabilidad y hacerlos trabajar. Mientras que nosotros habíamos tocado el Aprendizaje de transferencia para la generación del lenguaje natural (NLG) en nuestro tutorial, Sasha Rush proporcionó muchos más detalles y discutió los diferentes métodos de utilización de los modelos de lenguaje para mejorar la calidad del NLG. Otra forma de mejorar la calidad de las muestras es centrarse en la decodificación. Yejin Choi discutió un nuevo método de muestreo, que muestrea del jefe de la distribución y conduce a una mejor calidad de texto. También habló de la generación de noticias falsas y de cómo los grandes modelos de lenguaje preformados como Grover pueden ser usado para defenderse de ellos.

Las redes generativas de adversarios (GAN) son una forma popular de generar imágenes, pero hasta ahora han tenido un rendimiento inferior en cuanto al lenguaje. El Tutorial de PNL de Aprendizaje Adversarial Profundo argumentaba que no debíamos renunciar a ellos, ya que el aprendizaje no supervisado o autosupervisado realizado por las GAN tiene muchas aplicaciones en PNL.

Otro aspecto convincente de la generación es permitir que múltiples agentes se comuniquen eficazmente. Además de proporcionar una ventana a la forma en que surge el lenguaje, puede ser necesario para el aprendizaje interactivo y la transferencia de conocimientos entre los agentes. Angeliki Lazaridou discutió en su charla del taller de SiLV que las herramientas de aprendizaje de refuerzo profundo parecen funcionar bien para este escenario, pero argumentó que se necesitan mejores sesgos. Además, todavía es difícil conectar el lenguaje emergente al lenguaje natural.

También disfruté con los siguientes trabajos:

• Humano Unificado con Evaluación Estadística (HUSE Hashimoto y otros), una nueva métrica para la generación de lenguaje natural que puede considerar tanto la diversidad como la calidad, y que produce una frontera de Pareto al intercambiar una de las dos (ver arriba). Métodos como el recocido a temperatura dan como resultado una mayor calidad, pero reducen la diversidad.
• Separar la planificación de la realización (Moryossef y otros) puede mejorar la calidad del texto generado a partir de datos estructurados como trillizos RDF, ya que a menudo hay múltiples formas de realizar información estructurada en el texto.
• Desacoplando la sintaxis y la generación de la forma de superficie (Cao y Clark) es otra forma de abordar el problema no especificado de la generación de textos a partir de datos estructurados (en este caso, representaciones de significado abstracto).
• Un análisis sistemático que comprueba la utilidad de la modalidad visual para la traducción multimodal (Caglayan y otros) y fue premiado con el premio al mejor trabajo corto. Observa que los modelos con menos información textual se basan más fuertemente en el contexto visual, en contra de las creencias actuales.

Sesgos

El tema de la conferencia era un sesgo de modelo. Los diversos conjuntos de notas clave encajan muy bien en este tema. El primer discurso de apertura de Arvind Narayanan en particular destacó un aspecto menospreciado del sesgo, es decir, que podemos aprovechar el sesgo de nuestros modelos para mejorar nuestra comprensión de la cultura humana.

En general, hay una fina línea entre el sesgo deseable y el no deseable.A menudo tratamos de codificar el sesgo inductivo sobre cómo funciona el mundo, como los objetos son invariables a la traducción. Por otro lado, no queremos que nuestros modelos aprendan claves o relaciones superficiales que no son parte de nuestra posible percepción idealizada del mundo, tales como sesgos de género. En última instancia, el rendimiento superhumano no solo debería implicar que los modelos superen cuantitativamente a los humanos, sino también que sean menos sesgados y falibles.

Por último, debemos ser conscientes de que la tecnología tiene un impacto duradero en el mundo real. Como un vívido ejemplo de esto, Kieran Snyder contó en su discurso de apertura la vez que tuvo que diseñar un algoritmo de clasificación para Sinhala (véase más abajo). La clasificación de los nombres cingaleses fue necesaria para que el gobierno de Sri Lanka pudiera buscar supervivientes tras el tsunami de 2004. Su decisión de cómo alfabetizar el lengua se convirtió más tarde en parte de una política oficial del gobierno.

Algunos de mis artículos favoritos sobre la parcialidad incluyen:

• Los métodos de desajuste solo eliminan superficialmente el sesgo en la incrustación de palabras (Gonen y Goldberg); el sesgo todavía se refleja en —y puede ser recuperado desde— las distancias en las incrustaciones desviadas.
• Una evaluación del sesgo en la incorporación de palabras contextualizadas (Zhao y otros) encuentran que ELMo codifica sintáctica y desigualmente la información de género y —lo que es más importante— que este sesgo es heredado por modelos posteriores, como un sistema de referencia central.

Lenguas no inglesas

En cuanto al tema de los diferentes lenguas, durante la conferencia, la «Regla de Bender» —nombrado por Emily Bender, que es conocida por su defensa del procesamiento lingüístico multilingüe, entre otras cosas— se nombró frecuentemente después de presentaciones. En resumen, la regla dice: «Siempre nombra la(s) lengua(s) en que estás trabajando.» El hecho de que no se identifique explícitamente la lengua examinada hace que el inglés se perciba como la lengua por defecto y como sustituto de otras lenguas, lo que resulta problemático en muchos sentidos (véase Las diapositivas de Emily para una justificación exhaustiva).

En este sentido, algunos de mis trabajos favoritos de la conferencia investigan cómo cambia el rendimiento de nuestros modelos al aplicarlos a otras lenguas:

• Representaciones contextuales políglotas (Mulcaire y otros) que se entrenan en el inglés y una lengua adicional mediante la inicialización de incrustaciones de palabras con representaciones en varias lenguas. En algunos entornos (SRL chino, NER árabe), la capacitación en varias lenguas produce grandes mejoras.
• Un estudio sobre la transferencia de analizadores de dependencia formados en inglés a otras 30 lenguas (Ahmad y otros) encuentra que los RNNs entrenados en inglés se transfieren bien a lenguas cercanas al inglés, pero los modelos de autoatención se transfieren mejor a lenguas lejanas.
• Un etiquetador POS no supervisado para lenguas de bajos recursos (Cárdenas y otros) que «descifra» las identificaciones de los clusters de Brown para generar la secuencia POS y logra un rendimiento de última generación en cingalés (véase más arriba).

Diversidad e inclusión

A medida que la comunidad crece, es importante que los nuevos miembros se sientan incluidos y que sus voces sean escuchadas. La NAACL 2019 puso en marcha una amplia gama de iniciativas a este respecto, desde toques reflexivos como las pegatinas para las placas (véase más arriba) hasta la combinación de los recién llegados con los mentores y los «hermanos mayores», pasando por iniciativas fundamentales como el cuidado de los niños (véase más abajo) y subtítulos en vivo. Aprecié particularmente los tuits en vivo, lo que hizo que la conferencia fuera accesible para la gente que no podía asistir.

Imagen de la portada: La sala del tutorial Aprendizaje de transferencia en PNL (Foto: Dan Simonson)

. . .

[Nota del Traductor Jurado / Intérprete]

Traductor intérprete de Inglés en conferencias y congresos

Esta traducción de Inglés del artículo «NAACL 2019 Highlights», ha sido realizada por Max Cuesta dentro del programa formativo en Interpretación Simultánea y Consecutiva para Eventos. En este artículo se recogen las impresiones de Sebastian Ruder, y sirvió de práctica de traducción escrita durante el curso 2019. Max es traductor bilingüe español – inglés y está cursando formación especializada para formarse como intérprete de Inglés para conferencias y congresos.