Reprise du message précédent :

Avec le boulot ou toi perso? c'est pas pareil

Je ne fais qu'un avec ma boite M. Bulldo
Ca serait un investissement pro, sous-loué à un client. Mais j'ai peur qu'en dessous de 25-30k€ de materiel à ce jours on ai pas grand chose de professionnellement performant. Et il y a le problème de rentabilisation du materiel sur du 24/7

Ouais les coûts sont encore trop importants pour avoir un truc digne de ce nom

L'heure de la retraite

le mythos preview ptin need
 
sinon le opus 4.6 ce soir est vraiment bon, j'ai l'impression qu'ils ont poussé les cursueurs à fond en même temps que l'annonce de mythos
avec un peu de moule on aura un opus 5 dans quelques jours

Allez, 256gb de ddr4 ecc, une cm en xeon et un gpu cuda pas trop degeu... Vous faites pas d'efforts aussi

[quotemsg=2521796,645,1152289]Allez, 256gb de ddr4 ecc, une cm en xeon et un gpu cuda pas trop degeu... Vous faites pas d'efforts aussi [/quotemsg Si on se cotise tous, peut-être qu'on y arrivera

 
Ben, c'est ce qu'il dit, 10k non?
Perso ça me ferait bien chier de mettre autant dans des vieux trucs.
 
Autant aller sur ce qu'ils préconisent: Mac Studio m3 Ultra 256GB, 4TB pour le même prix.
 
Mais bon, l’intérêt du local c'est de voir a l'économie et la bidouille. Pour la prod, une instance AWS bien burnée c'est quand même plus safe et tu sors pas 10k d'un coup.

Même pas 2k au total, en vrai c'est jouable
Après l'intérêt et la rentabilité...  

Le pb du local c'est la conso d'élec

Ça dépend, sur un mac ça bouffe rien honnêtement.
Par contre oui si tu part sur du vieux xeon et du gpu ça tabasse en charge  

Oui bah justement le matos pas cher pompe à mort ou s'il est très performant pareil sauf les mac

 
J'ai de gros doutes sur une config 256G RAM et 24G VRAM comme ils préconisent, je vois pas comment ça peut être utilisable surtout avec un vieux Xeon tout rouillé et de la DDR 2666.
 
Je vois pas trop comment t'arrives a 2k avec un GPU dans le tas.

Deux 3060 pour les gpu, environs 300 balles
256gb d'ecc en ddr4 , environ 800 balles
Une cm avec un xeon et assez de dimm , typiquement une xm d'hp z440 : 60 balles avec le CPU
Ou directement le workstation complet a 300 balles pour avoir boîtier alim avec.

Total moins de 2k

Et tu peux même remplacer les deux 3060 par une 3090 en restant dans le budget  

Ouais et au bout de 3 mois t'as bouffe la différence en élec

Tu t'en sert 4h par jour, tu n'es même pas à 20 balles le mois

On veut du 24/7, nous  

Je propose du concret accessible et ça chipote, faut le dire tout de suite si vous voulez pas de solutions  

Avec 10k tu te prends l’abo max Claude et Codex pendant 2 ans et ça fera bien mieux que ta machine à 10k

L'intérêt est l'isolation pour certaines tâches, donc juste incomparable

Le guide complet de anthropic pour bien faire ces skills
https://resources.anthropic.com/hub [...] Claude.pdf

Merci  

Intéressant    
Est-ce qu’il existe une VF à ce guide ?

Oui clairement si tu bosses sur des trucs sensibles, tu ne peux pas du tout utiliser de llm public ...
Tu ne peux pas dire à Claude : voilà mon fichier de log de (mon contrôleur de turbine de refroidissement primaire de mon EPR/mon système de guidage de missile/désanussage de poulpe IA) fais moi un script d'analyse des logs

Ma cogip a un petit cluster avec du GPTOSS120/Qwen 35b en local ça suffit pour ce genre d'usage et c'est safe ...

 
Mais toujours le même problème, avec ça tu peux charger le modèle, mais de la à l'utiliser ...

C'est clair, et on parle même pas de la fenêtre contextuelle réduite...

J'ai repris le CDC donné hein  

Le meilleur moyen de faire un skill c’est de demander à Claude d’installer le skill creator et de lui dire de l’utiliser pour créer un skill https://github.com/anthropics/skill [...] r/SKILL.md

J'aimerai avoir ce genre de cluster ! Rien que pour bosser sur la doc and co pour éviter de perdre du temps. Je vais demander, sait-on jamais mais je crois que de toute façon le client va l'interdire. J'ai pas encore trouvé les infos ^^.

 
Ça c'est pas un soucis, il te faudrait 1000 ans pour la remplir de toute manière.

 
Perfs réelles vs un mac studio de base à 2k?

A raison de même pas un centième de token par seconde, on peut tabler sur un demi siècle plutôt  

Tu demandes à l'IA de te le traduire

Raisonnable j'avoue, que 2 mois de paie entiers au lieu de 3

EDIT: 14 924,00€ la config GPU/CPU/RAM/SSD max

Difficile à comparer, l'usage n'est pas le même.
Le studio a 2K c'est le M4 max donc bande passante conséquentes et mémoire unifiée mais limitée a 32gb pour le prix.

Sur le papier c'est un des meilleurs compromis mais ça dépend de l'objectif.
Si tu veut faire tourner un model qui tiens dans environs 20gb ( le reste pour le contexte et l'os ) a vitesse raisonnable et coût de fonctionnement faible, c'est très bien.

Si l'idée c'est de faire tourner des plus gros modèles au détriment de la vitesse mais exploitable, un Ryzen max 395+ est plus intéressant au même tarif avec ses 128gb de ram unifiée

Si tu as déjà un PC assez bien pourvu en ram, un gpu peut être une bonne option également, des 3090 se trouvent encore dans les 800€
Sachant qu'elles ont le nvlink, tu peut donc cumuler deux 3090 pour un budget inférieur et avoir 48gb de vram.
Tu aura d'excellentes performances avec une grosse bande passante. Par contre ça consommera plus.

Après il faut aussi mettre en opposition le choix d'architecture :
Le choix roi par excellence reste du NVIDIA avec cuda, tout fonctionnera sans te prendre la tête.
Le reste ce sera avec des compromis si tu envisages de faire du stable difficusion.

Bref y a pas de configurations magique pas chère qui fait tout bien, faut définir avant tout le besoin et choisir en conséquence  

 
Il est en rupture mondiale car c'est le premier prix si tu veux charger et utiliser un modèle de 250GB.

Testicule/rein à vendre ou échanger contre 256 Go DDR5 + RTX 5000 Pro

Je mets une pièce qu'ils ne seront jamais livrés car les m5 arrivent    

Clairement !