Étiquette  IA

Les transformers : le modèle derrière GPT-3, BERT et T5

Les transformers ont été développés en 2017 par des chercheurs de Google et de l'Université de Toronto, initialement conçus pour faire de la traduction. Mais contrairement aux réseaux de neurones récurrents, les transformers pourraient être parallélisés très efficacement. Et cela signifiait qu'avec le bon matériel, vous pourriez entraîner de très gros modèles.

Dataïsme

La combinaison gagnante est la multiplication des IoT qui permettent la création de data et l'IA, dont les algorithmes s'améliorent. Que deviendra-t-il de la société, de la politique et de la vie quotidienne lorsque des algorithmes non conscients, mais hautement intelligents, nous connaîtrons mieux que nous nous connaissons ?