
Traducción Inglés Español del artículo «Notes On The PhD Degree»: preguntas frecuentes sobre los programas de doctorado, diplomas, certificados de notas, expedientes académicos, traducciones juradas, etc.
Traducción del artículo de Sebastian Ruder sobre los asuntos más destacados discutidosen el Congreso NAACL 2019, publicado originalmente en Inglés en la web ruder.io y traducido aquí a Español.
congresointerpretetraductor inglésMax, traductor intérprete de Inglés en conferencias y congresos, no ofrece la traducción a Español del artículo «NAACL 2019 Highlights», escrito por Sebastian Ruder y publicado originalmente en Inglés en: https://ruder.io/
* * *
Esta publicación discute los aspectos más destacados del Congreso NAACL 2019, especialmente el aprendizaje de transferencia, el razonamiento de sentido común, la generación de lenguaje natural, el sesgo, las lenguas no inglesas, y la diversidad e inclusión.
Sebastian Ruder
Lea más publicaciones de este autor.
Sebastian Ruder
9 de junio de 2019 – 8 minutos de lectura
Este post discute los aspectos más destacados del Congreso Anual del Capítulo Norteamericano de la Asociación de Lingüística Computacional de 2019 (NAACL 2019).
Puede encontrar los aspectos más destacados de las conferencias anteriores aquí. La conferencia aceptó 424 ponencias (que puede encontrar aquí) y tuvo 1575 participantes (véase la diapositivas de la sesión de apertura para más detalles). Estos son los temas que más me llamaron la atención:
Aprendizaje de transferencia
El interés en el aprendizaje de la transferencia sigue siendo alto. El tutorial de Aprendizaje de transferencia en PNL (ilustrado arriba y organizado por Matthew Peters, Swabha Swayamdipta, Thomas Wolf y yo) estaba lleno. La NAACL 2019 otorgó el premio al mejor trabajo largo a BERT, posiblemente el método de aprendizaje de transferencia más impactante de los últimos años. A pesar de su reciente aparición, los documentos de la conferencia ya aprovecharon el BERT para análisis del sentimiento basado en el aspecto, revisar la comprensión de la lectura, el razonamiento del sentido común y respuesta a una pregunta de dominio abierto.
En el taller de RepEval, Kristina Toutanova discutió cómo usar el aprendizaje de transferencia para responder a preguntas de dominio abierto. Con el entrenamiento previo apropiado, usando una Tarea de Clausura Inversa, el recuperador y el lector pueden ser afinados directamente en pares QA sin un sistema IR intermedio. Esto demuestra que una inicialización cuidadosa + un buen ajuste son dos ingredientes clave para el Aprendizaje de transferencia y el trabajo incluso en tareas complicadas. Esto también se ha demostrado en el pasado para aprender a integrar palabras en varios lenguas y MT sin supervisión. También señaló que las representaciones de frases/párrafos de un solo vector son muy útiles para la recuperación y que debemos seguir trabajando en ellas. En general, hay muchas direcciones de investigación interesantes en el aprendizaje de la transferencia en PNL, algunas de las cuales hemos esbozado en el final de nuestro tutorial. Mis otros puntos destacados incluyen:
Razonamiento de sentido común
La elaboración de modelos de lenguaje es una tarea previa a la capacitación que ha demostrado aprender representaciones generalmente útiles a escala. Sin embargo, hay algunas cosas que simplemente nunca se escriben, incluso en miles de millones de fichas.La superación de este sesgo informativo es un desafío clave para adaptar los modelos de lenguaje a tareas más complejas. Para probar el razonamiento con el conocimiento que a menudo se deja sin decir, el mejor trabajo sobre recursos utilizó la base de conocimiento de sentido común ConceptNet como «semilla». Crearon CommonsenseQA, un conjunto de preguntas de opción múltiple en el que la mayoría de las respuestas tienen la misma relación con el concepto de objetivo (véase más adelante).
Esto requiere que el modelo utilice el sentido común en lugar de solo información relacional o de coocurrencia para responder a la pregunta. El BERT alcanza una precisión del 55,9 % en este conjunto de datos, y se estima que alcanza alrededor del 75 % con ejemplos de 100k, muy por debajo del rendimiento humano del 88,9 %. ¿Qué se necesita para llegar a ese 88,9 %? Lo más probable es que conocimiento estructurado, aprendizaje interactivo y multimodal. En su charla en el Taller sobre las deficiencias en la visión y el lenguaje (SiLV), Yoav Artzi discutió la diversidad lingüística en la CLN anclado señalando que necesitamos pasar de imágenes sintéticas a imágenes más realistas para aprender representaciones ancladas.
Otro prerrequisito para la comprensión del lenguaje natural es el razonamiento compositivo. El Tutorial de Aprendizaje Profundo para la Inferencia del Lenguaje Natural discutió la inferencia del lenguaje natural, un punto de referencia común para evaluar a fondo esas formas de razonamiento. Me gustaron particularmente los siguientes documentos:
Generación de lenguaje natural
En el taller de NeuralGen, Graham Neubig discutió los métodos para optimizar una función objetiva no diferenciable como el BLEU directamente, incluyendo entrenamiento de riesgo mínimo y REFUERZO y trucos para lidiar con su inestabilidad y hacerlos trabajar. Mientras que nosotros habíamos tocado el Aprendizaje de transferencia para la generación del lenguaje natural (NLG) en nuestro tutorial, Sasha Rush proporcionó muchos más detalles y discutió los diferentes métodos de utilización de los modelos de lenguaje para mejorar la calidad del NLG. Otra forma de mejorar la calidad de las muestras es centrarse en la decodificación. Yejin Choi discutió un nuevo método de muestreo, que muestrea del jefe de la distribución y conduce a una mejor calidad de texto. También habló de la generación de noticias falsas y de cómo los grandes modelos de lenguaje preformados como Grover pueden ser usado para defenderse de ellos.
Las redes generativas de adversarios (GAN) son una forma popular de generar imágenes, pero hasta ahora han tenido un rendimiento inferior en cuanto al lenguaje. El Tutorial de PNL de Aprendizaje Adversarial Profundo argumentaba que no debíamos renunciar a ellos, ya que el aprendizaje no supervisado o autosupervisado realizado por las GAN tiene muchas aplicaciones en PNL.
Otro aspecto convincente de la generación es permitir que múltiples agentes se comuniquen eficazmente. Además de proporcionar una ventana a la forma en que surge el lenguaje, puede ser necesario para el aprendizaje interactivo y la transferencia de conocimientos entre los agentes. Angeliki Lazaridou discutió en su charla del taller de SiLV que las herramientas de aprendizaje de refuerzo profundo parecen funcionar bien para este escenario, pero argumentó que se necesitan mejores sesgos. Además, todavía es difícil conectar el lenguaje emergente al lenguaje natural.
También disfruté con los siguientes trabajos:
Sesgos
El tema de la conferencia era un sesgo de modelo. Los diversos conjuntos de notas clave encajan muy bien en este tema. El primer discurso de apertura de Arvind Narayanan en particular destacó un aspecto menospreciado del sesgo, es decir, que podemos aprovechar el sesgo de nuestros modelos para mejorar nuestra comprensión de la cultura humana.
En general, hay una fina línea entre el sesgo deseable y el no deseable.A menudo tratamos de codificar el sesgo inductivo sobre cómo funciona el mundo, como los objetos son invariables a la traducción. Por otro lado, no queremos que nuestros modelos aprendan claves o relaciones superficiales que no son parte de nuestra posible percepción idealizada del mundo, tales como sesgos de género. En última instancia, el rendimiento superhumano no solo debería implicar que los modelos superen cuantitativamente a los humanos, sino también que sean menos sesgados y falibles.
Por último, debemos ser conscientes de que la tecnología tiene un impacto duradero en el mundo real. Como un vívido ejemplo de esto, Kieran Snyder contó en su discurso de apertura la vez que tuvo que diseñar un algoritmo de clasificación para Sinhala (véase más abajo). La clasificación de los nombres cingaleses fue necesaria para que el gobierno de Sri Lanka pudiera buscar supervivientes tras el tsunami de 2004. Su decisión de cómo alfabetizar el lengua se convirtió más tarde en parte de una política oficial del gobierno.
Algunos de mis artículos favoritos sobre la parcialidad incluyen:
Lenguas no inglesas
En cuanto al tema de los diferentes lenguas, durante la conferencia, la «Regla de Bender» —nombrado por Emily Bender, que es conocida por su defensa del procesamiento lingüístico multilingüe, entre otras cosas— se nombró frecuentemente después de presentaciones. En resumen, la regla dice: «Siempre nombra la(s) lengua(s) en que estás trabajando.» El hecho de que no se identifique explícitamente la lengua examinada hace que el inglés se perciba como la lengua por defecto y como sustituto de otras lenguas, lo que resulta problemático en muchos sentidos (véase Las diapositivas de Emily para una justificación exhaustiva).
En este sentido, algunos de mis trabajos favoritos de la conferencia investigan cómo cambia el rendimiento de nuestros modelos al aplicarlos a otras lenguas:
Diversidad e inclusión
A medida que la comunidad crece, es importante que los nuevos miembros se sientan incluidos y que sus voces sean escuchadas. La NAACL 2019 puso en marcha una amplia gama de iniciativas a este respecto, desde toques reflexivos como las pegatinas para las placas (véase más arriba) hasta la combinación de los recién llegados con los mentores y los «hermanos mayores», pasando por iniciativas fundamentales como el cuidado de los niños (véase más abajo) y subtítulos en vivo. Aprecié particularmente los tuits en vivo, lo que hizo que la conferencia fuera accesible para la gente que no podía asistir.
Imagen de la portada: La sala del tutorial Aprendizaje de transferencia en PNL (Foto: Dan Simonson)
. . .
[Nota del Traductor Jurado / Intérprete]
Esta traducción de Inglés del artículo «NAACL 2019 Highlights», ha sido realizada por Max Cuesta dentro del programa formativo en Interpretación Simultánea y Consecutiva para Eventos. En este artículo se recogen las impresiones de Sebastian Ruder, y sirvió de práctica de traducción escrita durante el curso 2019. Max es traductor bilingüe español – inglés y está cursando formación especializada para formarse como intérprete de Inglés para conferencias y congresos.
Articulos relacionados
Traducción Inglés Español del artículo «Notes On The PhD Degree»: preguntas frecuentes sobre los programas de doctorado, diplomas, certificados de notas, expedientes académicos, traducciones juradas, etc.
Traducción al español del artículo de Robert G. Brown titulado "Axiomas" y publicado originalmente en Inglés. Una reflexión valiente sobre las bases de lo que creemos saber, que hará que te plantees muchas cosas...
Traducción al Español de un artículo de Richard Heinberg criticando la escasa responsabilidad de los seres humanos, a quienes compara con conductores distraidos.