User avatar
🪨 @Varpie@peculiar.florist
2y
Je viens de voir que Meta AI a annoncé Llama 3.
Fait avec ~24000 H100 qui ont tourné 24h/24.

Si on fait des maths rapides : les H100 ont une consommation max de 700W, si on prend 25k à 400W pour simplifier, ça fait 10MW. À environ 0.1€/kWh, ça coûte 1000€ de l'heure, juste en électricité. Soit environ 5 millions d'euros par mois, juste en électricité.
Bon ça va, avec un modèle à la ChatGPT en payant 20€ par mois, il suffit de 250000 clients pour payer la facture... Seulement l'électricité, à 40000€ la carte ils ont encore 1 milliard à payer.
Et ils veulent aggrandir à 350000 H100... Je comprends pourquoi Nvidia a une grosse valeur en bourse hein.
⭐3
1
0
0
3
User avatar
🪨 @Varpie@peculiar.florist
2y
En vrai, c'est des calculs rapides très optimistes, puisque ça ne prend en compte que les cartes graphiques, dans la réalité il faut aussi prendre en compte le reste du matériel pour chaque rack, le matériel réseau, le refroidissement, etc.
Donc pour ne pas perdre d'argent juste sur le coût en électricité, c'est plus probable qu'il faut qu'ils fassent au moins 500€ par mois, par carte.
Avec 350000 cartes, ça fait une facture d'électricité à environ 175 millions d'euros par mois. Mais au moins c'est pas grand chose comparé aux 14 milliards donnés à Nvidia.
⭐2
0
0
0
2