Transformers

Concepto y definición

Transformers

¿Qué es Transformers?

Transformers es un modelo de aprendizaje profundo para el procesamiento del lenguaje natural (PLN) que utiliza una arquitectura de atención basada en transformadores. Fue introducido en el 2017 por los investigadores de Google AI, Vaswani et al.

La arquitectura Transformer se basa en una red neuronal de codificador-decodificador que se utiliza para tareas de PLN, como la traducción automática, la generación de texto y el reconocimiento de voz. A diferencia de otros modelos de PLN, como las redes neuronales recurrentes (RNN) y las redes neuronales convolucionales (CNN), los Transformers no requieren de una secuencia fija de entrada y pueden manejar entradas de longitud variable.

La atención es un componente clave en la arquitectura Transformer y permite al modelo centrarse en partes específicas de la entrada durante el proceso de codificación. El modelo también utiliza capas de normalización de la entrada y la salida, y utiliza la técnica de preentrenamiento del lenguaje para mejorar su capacidad de generalización.

Transformers ha sido utilizado en una variedad de aplicaciones de PLN, incluyendo la generación de lenguaje natural, el reconocimiento de entidades y la clasificación de texto. Su arquitectura ha demostrado ser altamente efectiva en tareas de PLN, y es uno de los modelos más populares y ampliamente utilizados en la actualidad.

« Volver al glosario

¿Quieres ponerte en contacto?

¡Nos encantaría saber de ti! Contáctanos completando el formulario que aparece a continuación y estaremos encantados de ayudarte.
Rellena el formulario
Compartir:
Fusión termonuclear: Inteligencia artificial desde las fronteras de la ciencia hasta la segmentación de tus clientes

Energía barata, infinita, segura y limpia La Inteligencia Artificial desde la investigación de la Fusión Termonuclear a la generación de ventas o [...]

Leer más »
¿Qué es chargeback? Descubre cómo afecta a su negocio

El chargeback hace referencia a las devoluciones que ocurren cuando, a petición del titular de una tarjeta, el banco solicita en su nombre un reembol [...]

Leer más »
Medición del Impacto en la Reputación Corporativa: El Caso de Enigmia y su Solución de IA

Hoy, 3 de octubre, hemos estado en los prestigiosos "Premios SCALEUPS B2B organizada por la Fundación Empresa y Sociedad, para hablaros de la Medici [...]

Leer más »
¿Qué es AIoT (Artificial Intelligence Of Things)?

Si las observamos por separado, el Internet de las Cosas (IoT) y la Inteligencia Artificial (IA) son tecnologías poderosas y si las combinamos, obten [...]

Leer más »
Ver más entradas
© Gamco 2021, All Rights Reserved - Aviso legal - Privacidad - Cookies