Pas le temps de lire l'article ? Voici ce qu'il faut retenir.
Un blogueur a réussi à faire tourner un modèle d'IA de 27 milliards de paramètres chez lui, pour 235 euros.
1
Carte graphique de datacenter — Le blogueur a utilisé une carte graphique de datacenter détournée, une Nvidia Tesla V100 au format SXM2 avec 16 Go de mémoire.
2
Bande passante mémoire — La V100 offre 900 Go/s de bande passante mémoire, contre 736 Go/s pour la RTX 4080.
3
Comparatif avec les Mac — La V100 bat les Mac en matière de bande passante mémoire, notamment le M5 Max qui monte à 614 Go/s.
💡
Pourquoi c'est important : Ce projet montre que des cartes graphiques de datacenter anciennes peuvent être utilisées pour faire tourner des modèles d'IA de grande taille en local, à moindre coût que les cartes graphiques haut de gamme actuelles.
Toute l'actu IA résumée en 30 secondes
