Pas le temps de lire l'article ? Voici ce qu'il faut retenir.
Une carte serveur Nvidia de 2017, payée 100 dollars sur eBay, est capable de faire tourner un LLM en local plus rapidement qu'une RTX 3060.
1
Carte serveur Nvidia — La Nvidia Tesla V100 SXM2 16 Go, vieille de huit ans, est capable de sortir 130 tokens par seconde sur le modèle gpt-oss-20b via Ollama.
2
Comparaison avec RTX 3060 — La V100 est plus efficace que la RTX 3060, avec un ratio de 0,55 token par watt contre 0,39.
3
Prix et performances — Le montage complet, incluant la carte, un adaptateur et un carénage, coûte environ 200 dollars et offre des performances remarquables pour un LLM en local.
💡
Pourquoi c'est important : Cette expérience montre que le matériel enterprise d'occasion peut être un angle mort du marché, offrant des performances intéressantes à des prix abordables.
Toute l'actu IA résumée en 30 secondes
