Pas le temps de lire l'article ? Voici ce qu'il faut retenir.
La startup américaine Subquadratic a présenté SubQ, un nouveau modèle de langage reposant sur une attention dite « sous-quadratique ».
1
Architecture de LLM — SubQ repose sur une architecture d'attention parcimonieuse entièrement sous-quadratique.
2
Capacité de traitement — La fenêtre de contexte de SubQ peut atteindre 12 millions de tokens.
3
Coûts de calcul — L'approche promet de réduire drastiquement les coûts de calcul des LLM.
💡
Pourquoi c'est important : Cette nouvelle architecture pourrait bouleverser les LLM tels que nous les connaissons, en leur permettant de gérer des contextes gigantesques à coût réduit.
Toute l'actu IA résumée en 30 secondes
