User avatar
Tournesol 🌻 @tournesol@peculiar.florist
8mo
J'ai regardé un peu ce que ça donnait de faire tourner un modèle de LLM en local et c'est une dinguerie la puissance que ça demande rien que pour répondre à "Salut ! Ça va?"
15
1
2
0
6

User avatar
Tournesol 🌻 @tournesol@peculiar.florist
8mo
EDIT : apparemment j'ai merdé quelque part parce que tout le monde me dit que c'est trop ! Je verrais une autre fois

genre si j'ai bien compris, faudrait une carte graphique récente bien puissante en plus d'au moins 70Go de ram juste pour répondre à cette requête avec un petit modèle.

Ça mets pas mal en perspective la raison pour laquelle des data centers sont créés en permanence pour soutenir cette demande. Genre je suis fier de mon serveur, il pourrait faire tourner 4 fois la charge de tout mes services actuels, mais j'aurai besoin de le réserver entièrement rien que pour faire tourner un petit modèle qui pourrait répondre à 1 requête à la fois
​:blobcat_bang_head_laptop:​

Bref, en gros je pense avoir sous-évalué de ~x15 la puissance demandé pour une requête et je trouve ça incroyable. Surtout que je suis pas ignare en système info.
13
2
1
0
4
User avatar
Ivre Rocher @aurnytoraink@piaille.fr
8mo
@tournesol 70Go de RAM c'est un peu beaucoup non ? Je me souviens qu'il existe des modèles plus petit qui tournait sur mes 16 Go
0
0
0
0
User avatar
Brome @brome@social.marud.fr
8mo
@tournesol Je ne sais pas comment tu t'y es pris, mais j'ai déjà fait tourner des LLM sur mon vieux Mac Mini M1 avec 8 GB. 🤔
0
0
0
0