Pas le temps de lire l'article ? Voici ce qu'il faut retenir.
Subquadratic, une startup de Miami, a lancé SubQ, un modèle de langage pensé pour réduire drastiquement le coût de calcul des IA à long contexte, après avoir levé 26,8 millions d’euros.
1
Gain de vitesse — Appen a mesuré un gain de vitesse de 56 fois sur un million de tokens pour le noyau d’attention de SubQ.
2
Résultats des tests — SubQ a affiché 100 % de réussite jusqu’à deux millions de tokens sur le test NIAH, puis 98 % à douze millions et 89,7 % au score pass@4 sur un exercice de génération de code.
3
Architecture sparse — SubQ utilise une architecture dite à attention sparse, qui traite que les associations de mots jugées pertinentes, et non la totalité des paires possibles.
💡
Pourquoi c'est important : Les résultats de SubQ pourraient révolutionner le déploiement des IA à grande échelle, mais les preuves publiques ne justifient pas encore l'affirmation selon laquelle le problème de l'attention quadratique a été résolu.
Toute l'actu IA résumée en 30 secondes
