Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 56 57 58 59 60 61 Page Suivante Page Précédente Bas de page
Auteur	Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux

neo world

Reprise du message précédent :

Tronklou a écrit :

D'ailleurs c'est marrant qu'on parle de ca mais, depuis que l'ia est relativement performante et pas chere, je me surprend a réutiliser pleins de matériel obsolète/mal supporté.

Typiquement une surface pro 3 inutilisable avec windows, linux mal intégré... Une journée en remote ssh sur claude code, pouf kernel patché, drivers modifié, governor aux petits oignons... et j'ai une super tablette très confortable à utiliser.

Idem j'adore mon open pandora, mais plus de maj ni suivis depuis presque dix ans, angström n'existe plus... Codex a patché les principaux problème ( sécurités wifi notamment ).

Ou encore j'arrivais aux limite de mon nas, un gros audit avec Fable + différents tweaks + création de quelques outils custom pour virer des grosses grappes docker gourmande... et je suis de nouveau très confortable en terme de ressources disponibles.

clairement chouette de faire revivre du vieux matos

Pipould's

neo world a écrit :

ma stack complète : fedora 44 avec les tweaks performance strix halo du site toolbox, lemonade 11.9.0 rocm b10711. j'ai telechargé le modèle avec lemonade (unsloth). attention a retelecharger le fichier mtp si ça merde.

j'ai build llamacpp en suivant : https://sleepingrobots.com/dreams/e [...] trix-halo/

en deux heures ça peut tourner chez toi. fais toi aider d'une IA et lis logs! :jap:

J'ai la meme a peut de chose pres: Ubuntu, le build de nathan 1014 sous vulkan.

Qwen3.8-Flash-Next-MTP-GGUF-UD-IQ4_XS

--parallel 1 --gpu-layers 999 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --batch-size 1024 --ubatch-size 1024 --threads 8 --load-mode mmap --no-host --no-repack --fit off --no-context-shift --cache-prompt --cache-ram 8192 --chat-template-file /var/cache/lemonade/chat-templates/qwen-fixed-v22.4.jinja --reasoning on --reasoning-format deepseek --reasoning-effort medium --reasoning-budget 8192 --spec-type draft-mtp,ngram-mod --spec-draft-ngl 999 --spec-draft-n-max 4 --spec-draft-p-min 0.75 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --repeat-penalty 1.1 --reasoning-budget-message "Let me provide my answer now."

Et pas de soucis.

Je dois avoir une couille au niveau de la version XL du model.

Message édité par Pipould's le 08-09-2026 à 17:49:56

Pipould's

Tronklou a écrit :

J'ai pu reprendre toute la partie influxdb/grafana / marstek de mon installation solaire a coup de prompts pendant que je cuisinais... Sur certains aspects c'est vraiment appreciable.

SynE

Agri du dessert

Tronklou a écrit :

J'ai une surface 3 pro aussi

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

j'espère que c'est sur les langues mortes vu l'âge de l'OS

Non blague à part c'est chouette qu'une dont le design date un peu rende toujours de fiers services

ça me fait penser a l'Amiga qui gérait la clim d'une école au Michigan:
https://www.techdirt.com/2015/06/17 [...] vac-today/

Spoiler :

Amiga rulez

---------------
Faudra que je teste un jour :o

neo world

J’ai un client qui a retrouvé son IBMi 10 ans après avoir muré l’accès à la salle serveur (une cloison de trop pendant des travaux) le bordel continuait de tourner

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

J’ai un client qui a retrouvé son IBMi 10 ans après avoir muré l’accès à la salle serveur (une cloison de trop pendant des travaux) le bordel continuait de tourner

C'est pas une variante de cette histoire?

techweb: Server 54, Where Are You?
https://web.archive.org/web/2001090 [...] 10409S0012

Citation :

April 9, 2001 (4:28 p.m. EST)
TechWeb News

The University of North Carolina has finally found a network server that, although missing for four years, hasn't missed a packet in all that time. Try as they might, university administrators couldn't find the server. Working with Novell Inc, IT workers tracked it down by meticulously following cable until they literally ran into a wall. The server had been mistakenly sealed behind drywall by maintenance workers.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

M300A

Pipould's a écrit :

C'est quoi le châssis /mb deja ?

Asus 8005 de tête

XaTriX a écrit :

déjà un homme avec une grosse teub c'est rare
mais alors 4 GROS CHIBRES §§

Apparemment maintenant il y en a 6 mais je dois réserver les deux autres pour autre choses. Par contre j'ai quelques jours pour faire ce que je veux avec mais pas trop de temps....

---------------
:wq

neo world

the_fennec a écrit :

C'est pas une variante de cette histoire?

techweb: Server 54, Where Are You?
https://web.archive.org/web/2001090 [...] 10409S0012

Citation :

l’événement était plus récent et en France (et le bordel était décommissionné depuis de longues années, ils l'avaient laissé vivant au cas où au départ et c'est quand ils ont voulu le débrancher et le bazarder qu'il était en fait introuvable :lol:

flippant si ça arrive quand même de temps en temps partout dans le monde [:leguidedubledard:1]

neo world

neo world a écrit :

trois jours que Qwen 3.8 flash next Q4K XL tourne : rock stable :love:

suite de l'aventure ... le connecteur CloudNext talk fonctionne nickel [:hodjeur]

Il s'est un peu chié dessus sur la ligne de commande côté nextcloud (il a oublié d'inclure le flag webhook dans la commande de création de bot donc il ne recevait aucun message même si il était dans la discussion. Claude à trouvé en une demi seconde à partir de quelques dizaines de lignes de reflexion du l'ia locale. Je pense qu'il lui faudrait un mode "escalade à claude le grand frère avec un micro budget de tokens pour qu'il obtienne de l'aide automatiquement ) mais ça tourne nickel "quasiment" du premier coup :

Prochaines étapes :
lui donner la capacité à bosser sur des pièces jointes (pour que je puisse lui pousser un screenshot, un pdf ou autre) et l'empaqueter dans une extension pi.dev que je partagerai à la communauté des utilisateurs de pi.dev et de nextcloud. Avec un peu de chance y'en a au moins un second qui sera content de le trouver

en l'état ça permet aussi de "démarrer" :
pas d'activité côté GPU, pi.dev est juste "lancé" => envoyer un message le fait démarrer immédiatement pour bosser

mood : https://www.youtube.com/watch?v=HUII2_URB1Q

Message édité par neo world le 09-09-2026 à 02:05:42

neo world

hue cheval ! [:salsifouette:5]

Page : 1 2 3 4 5 .. 56 57 58 59 60 61

Page Suivante

Page Précédente

Haut de page

FORUM HardWare.fr

Intelligence Artificielle

Infra IA : aide au choix et troubleshot de LLM Locaux

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co	sécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM Locaux

Page générée en 0.041 secondes