Hybrid Neural Networks for Sequence Modelling : The Best of Three Worlds
Modèles neuronaux hybrides pour la modélisation de séquences : le meilleur de trois mondes
Résumé
We propose a neural architecture with the main characteristics of the most successful neural models of the last years : bidirectional RNNs, encoder-decoder, and the Transformer model. Evaluation on three sequence labelling tasks yields results that are close to the state-of-the-art for all tasks and better than it for some of them, showing the pertinence of this hybrid architecture for this kind of tasks.
Nous proposons une architecture neuronale avec les caractéristiques principales des modèles neuro-naux de ces dernières années : les réseaux neuronaux récurrents bidirectionnels, les modèles encodeur-décodeur, et le modèle Transformer. Nous évaluons nos modèles sur trois tâches d'étiquetage de sé-quence, avec des résultats aux environs de l'état de l'art et souvent meilleurs, montrant ainsi l'intérêt de cette architecture hybride pour ce type de tâches.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...
