Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2832 connectés 

  FORUM HardWare.fr
  Intelligence Artificielle

  Infra IA : aide au choix et troubleshot de LLM Locaux

 
 


Dernière réponse
Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux
neo world hue cheval !  [:salsifouette:5]  
https://rehost.diberie.com/Picture/Get/f/542466

Votre réponse
Nom d'utilisateur    Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !
Le ton de votre message                        
                       
Votre réponse
[b][i][u][strike][spoiler][fixed][cpp][url][email][img][*]   
 
   [quote]
 
Options

 
Vous avez perdu votre mot de passe ?


Vue Rapide de la discussion
neo world hue cheval !  [:salsifouette:5]  
https://rehost.diberie.com/Picture/Get/f/542466
neo world

neo world a écrit :

trois jours que Qwen 3.8 flash next Q4K XL tourne : rock stable :love:
 


suite de l'aventure ... le connecteur CloudNext talk fonctionne nickel  [:hodjeur]  
 
Il s'est un peu chié dessus sur la ligne de commande côté nextcloud (il a oublié d'inclure le flag webhook dans la commande de création de bot donc il ne recevait aucun message même si il était dans la discussion. Claude à trouvé en une demi seconde à partir de quelques dizaines de lignes de reflexion du l'ia locale. Je pense qu'il lui faudrait un mode "escalade à claude le grand frère avec un micro budget de tokens pour qu'il obtienne de l'aide automatiquement ) mais ça tourne nickel "quasiment" du premier coup :
https://rehost.diberie.com/Picture/Get/f/542458  
 
Prochaines étapes :
lui donner la capacité à bosser sur des pièces jointes (pour que je puisse lui pousser un screenshot, un pdf ou autre) et l'empaqueter dans une extension pi.dev que je partagerai à la communauté des utilisateurs de pi.dev et de nextcloud. Avec un peu de chance y'en a au moins un second qui sera content de le trouver :o
 
en l'état ça permet aussi de "démarrer" :  
pas d'activité côté GPU, pi.dev est juste "lancé" => envoyer un message le fait démarrer immédiatement pour bosser
 
mood : https://www.youtube.com/watch?v=HUII2_URB1Q :o
neo world

the_fennec a écrit :


 
C'est pas une variante de cette histoire?
 
techweb: Server 54, Where Are You?
https://web.archive.org/web/2001090 [...] 10409S0012
 

Citation :


April 9, 2001 (4:28 p.m. EST)
TechWeb News
 
The University of North Carolina has finally found a network server that, although missing for four years, hasn't missed a packet in all that time. Try as they might, university administrators couldn't find the server. Working with Novell Inc, IT workers tracked it down by meticulously following cable until they literally ran into a wall. The server had been mistakenly sealed behind drywall by maintenance workers.



l’événement était plus récent et en France (et le bordel était décommissionné depuis de longues années, ils l'avaient laissé vivant au cas où au départ et c'est quand ils ont voulu le débrancher et le bazarder qu'il était en fait introuvable :lol:  
 
flippant si ça arrive quand même de temps en temps partout dans le monde  [:leguidedubledard:1]

M300A

Pipould's a écrit :

 

C'est quoi le châssis /mb deja ?

 

Asus 8005 de tête

 
XaTriX a écrit :


déjà un homme avec une grosse teub c'est rare
mais alors 4 GROS CHIBRES §§

 

Apparemment maintenant il y en a 6 mais je dois réserver les deux autres pour autre choses. Par contre j'ai quelques jours pour faire ce que je veux avec mais pas trop de temps....
the_fennec

neo world a écrit :

J’ai un client qui a retrouvé son IBMi 10 ans après avoir muré l’accès à la salle serveur (une cloison de trop pendant des travaux) le bordel continuait de tourner :D


 
C'est pas une variante de cette histoire?
 
techweb: Server 54, Where Are You?
https://web.archive.org/web/2001090 [...] 10409S0012
 

Citation :


April 9, 2001 (4:28 p.m. EST)
TechWeb News
 
The University of North Carolina has finally found a network server that, although missing for four years, hasn't missed a packet in all that time. Try as they might, university administrators couldn't find the server. Working with Novell Inc, IT workers tracked it down by meticulously following cable until they literally ran into a wall. The server had been mistakenly sealed behind drywall by maintenance workers.
neo world J’ai un client qui a retrouvé son IBMi 10 ans après avoir muré l’accès à la salle serveur (une cloison de trop pendant des travaux) le bordel continuait de tourner :D
the_fennec

neo world a écrit :


j'espère que c'est sur les langues mortes vu l'âge de l'OS :o
 
Non blague à part c'est chouette qu'une dont le design date un peu rende toujours de fiers services :D


 
ça me fait penser a l'Amiga qui gérait la clim d'une école au Michigan:
https://www.techdirt.com/2015/06/17 [...] vac-today/
 

Spoiler :

Amiga rulez :o
SynE

Tronklou a écrit :

D'ailleurs c'est marrant qu'on parle de ca mais, depuis que l'ia est relativement performante et pas chere, je me surprend a réutiliser pleins de matériel obsolète/mal supporté.
 
Typiquement une surface pro 3 inutilisable avec windows, linux mal intégré... Une journée en remote ssh sur claude code, pouf kernel patché, drivers modifié, governor aux petits oignons... et j'ai une super tablette très confortable à utiliser.
 
Idem j'adore mon open pandora, mais plus de maj ni suivis depuis presque dix ans, angström n'existe plus... Codex a patché les principaux problème ( sécurités wifi notamment ).
 
Ou encore j'arrivais aux limite de mon nas, un gros audit avec Fable + différents tweaks + création de quelques outils custom pour virer des grosses grappes docker gourmande... et je suis de nouveau très confortable en terme de ressources disponibles.  


 
J'ai une surface 3 pro aussi :o

Pipould's

Tronklou a écrit :

D'ailleurs c'est marrant qu'on parle de ca mais, depuis que l'ia est relativement performante et pas chere, je me surprend a réutiliser pleins de matériel obsolète/mal supporté.
 
Typiquement une surface pro 3 inutilisable avec windows, linux mal intégré... Une journée en remote ssh sur claude code, pouf kernel patché, drivers modifié, governor aux petits oignons... et j'ai une super tablette très confortable à utiliser.
 
Idem j'adore mon open pandora, mais plus de maj ni suivis depuis presque dix ans, angström n'existe plus... Codex a patché les principaux problème ( sécurités wifi notamment ).
 
Ou encore j'arrivais aux limite de mon nas, un gros audit avec Fable + différents tweaks + création de quelques outils custom pour virer des grosses grappes docker gourmande... et je suis de nouveau très confortable en terme de ressources disponibles.  


 
 
J'ai pu reprendre toute la partie influxdb/grafana / marstek de mon installation solaire a coup de prompts pendant que je cuisinais... Sur certains aspects c'est vraiment appreciable.
Pipould's

neo world a écrit :


ma stack complète : fedora 44 avec les tweaks performance strix halo du site toolbox, lemonade 11.9.0 rocm b10711. j'ai telechargé le modèle avec lemonade (unsloth). attention a retelecharger le fichier mtp si ça merde.
 
 j'ai build llamacpp en suivant : https://sleepingrobots.com/dreams/e [...] trix-halo/
 
en deux heures ça peut tourner chez toi. fais toi aider d'une IA et lis logs!  :jap:


 
J'ai la meme a peut de chose pres: Ubuntu, le build de nathan 1014 sous vulkan.  
 
Qwen3.8-Flash-Next-MTP-GGUF-UD-IQ4_XS
 
--parallel 1 --gpu-layers 999 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --batch-size 1024 --ubatch-size 1024 --threads 8 --load-mode mmap --no-host --no-repack --fit off --no-context-shift --cache-prompt --cache-ram 8192 --chat-template-file /var/cache/lemonade/chat-templates/qwen-fixed-v22.4.jinja --reasoning on --reasoning-format deepseek --reasoning-effort medium --reasoning-budget 8192 --spec-type draft-mtp,ngram-mod --spec-draft-ngl 999 --spec-draft-n-max 4 --spec-draft-p-min 0.75 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --repeat-penalty 1.1 --reasoning-budget-message "Let me provide my answer now."  
 
Et pas de soucis.  
 
Je dois avoir une couille au niveau de la version XL du model.

neo world

Tronklou a écrit :

D'ailleurs c'est marrant qu'on parle de ca mais, depuis que l'ia est relativement performante et pas chere, je me surprend a réutiliser pleins de matériel obsolète/mal supporté.
 
Typiquement une surface pro 3 inutilisable avec windows, linux mal intégré... Une journée en remote ssh sur claude code, pouf kernel patché, drivers modifié, governor aux petits oignons... et j'ai une super tablette très confortable à utiliser.
 
Idem j'adore mon open pandora, mais plus de maj ni suivis depuis presque dix ans, angström n'existe plus... Codex a patché les principaux problème ( sécurités wifi notamment ).
 
Ou encore j'arrivais aux limite de mon nas, un gros audit avec Fable + différents tweaks + création de quelques outils custom pour virer des grosses grappes docker gourmande... et je suis de nouveau très confortable en terme de ressources disponibles.  


clairement chouette de faire revivre du vieux matos :D

Forum MesDiscussions.Net, Version 2010.2
(c) 2000-2011 Doctissimo

Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)