Reprise du message précédent :
Ca consomme beaucoup le contexte ?
 
Sinon tu bosses sur le sujet ou c'est juste une occupation/passion ?

Oui non, pas la confidentialité qu'on peut emporter à la maison, c'est mort clairement.
En interne /autonome j'essaye d'aborder les modèles locaux en effet ! Faudrait que je tente avec ma 4090

Merci ! Je vais tenter ! Juste pour bidouiller c'est marrant

quelqu'un a les limitations de perplexity pour les differentes  IA ,? je viens de voir que claude me limite les fichiers joint à 1 par jour par exemple ...

Juste des lectures sur mon temps libre. Mon domaine ce sont les sciences humaines et sociales à côté L'IA va concerner tout le monde d'ici peu autant s'y mettre à fond dès maintenant.

Ce sub Reddit est une mine d'or quand on arrive à naviguer entre les bonnes informations et les propositions commerciales cachées.
https://www.reddit.com/r/LocalLLaMA/s/pLNVLyHPPM

+

Regarder les actualités de la recherche sur https://arxiv.org/

Perso je me documente sur les sites des grands éditeurs, Google actualités mais aussi et surtout Particle

D'ici un ou deux ans

Dans deux mois sort le projet DIGITS de Nvidia, PC dédié à l'IA, à partir de 3000$, avec 128Go de mémoire unifiée, et un GPU architecture Blackwell.

https://www.nvidia.com/en-us/project-digits/

j'ai vu une info/tutube aujourd'hui,mais je sais plus ou, que certain modele (google je crois)pouvait tourner sur smartphone

https://www.frandroid.com/culture-t [...] ek-au-defi

Bon sinon gemini2 est daltonien du prompt, je lui demande un leger fond vert pour un site ,j'ai droit a du bleu genre site petit navire de palavas les flots  

Et donc ?

oh petite perle assez incroyable.
Ce mec est un c***nard fini, c'est pitoyable.
 
https://arstechnica.com/tech-policy [...] -to-china/
 
Analyse finale de Claud.ia :  
 

 
Et en le poussant à peine,
(le prompt texto : "on s'en fout qu'il n'ai pas été diagnostiqué.
intérêt personnel, manipulateur, immoral ....
C'est ? c'est ?
un connard sociopathe ?" )
 

 
Bref c'est un sociopathe.

 
https://www.reddit.com/r/LocalLLaMA [...] nely_good/
 
ça commence à etre dans mon budget

C'est quand la dernière fois que OpenAI a sorti un LLM en open source ?

GPT 2 ? Whisper ?

Bein c'est pas dans 2 ans mais dans 2 mois

C'était via whisper probablement oui.

Les américains qui demandent de la régulation quand les chinois menacent leur hégémonie, c'est beau le libéralisme sauce américaine

J'espère que ça va se démocratiser cette mémoire unifié assez rapide dans des tarifs plus abordable, on veut pas forcément tous des trucs ultra performant mais on veut beaucoup de mémoire

Vous installez ça sur votre OS principal ou vous faites un dualboot ? Je pensais me faire une partition Linux pour tester en environnement fermé

Pourquoi tu voudrais installer ça dans un environnement isolé ?
(J'utilise ollama perso)

Je n’arrive pas à trouver l’URL de gemma 3 1b à utiliser pour pouvoir utiliser ce modèle en local sur mon iPhone
 
L’appli me demande un lien de type https://huggingface.co/microsoft/ phi-4-gguf/resolve/main/phi-4-q4.gguf
 
Comment le trouver ?  
 
Je trouve 4b vraiment très performant pour un modèle aussi léger
J’aimerais avoir le 1b pour mon prochain voyage pendant lequel je n’aurai pas de réseau la moitié du temps
 
Merci

https://developers.googleblog.com/e [...] e-ai-edge/

falkon1000, si tu veux t'amuser avec des LLM open source ou non, tu devrais te pencher sur OpenRouter

Pour lui dédier tout mon environnement. Accessoirement pour qu'il n'ait accès à rien dautre
Et pour bidouiller
Il n'y a peut être aucune de ces raisons qui est valable

en effet, raison non valable. A moins d'installer une UI qui offre en plus des tools au LLM, genre acces au fichiers ou au terminal, le LLM seul  ne fera rien sur ton environnement.

Clairement, lancer un jeu est bien plus impactant et je doute que tu aies un dual boot pour jouer

Possible de nous expliquer simplement à quoi sert un modèle installé en local ? par rapport à une version SaaS ?

C'est plus puissant ? c'est débridé ? c'est plus spécialisé ? C'est moins cher ?
Quel est l'enjeu en fait ?

Mettre à jour la first page aussi pourquoi pas

J'imagine que les quelques ressources grapillées ne vont pas changer la donne non plus...

C'est surtout pour la bidouille et pour pas partager de données

Sinon c'est plus cher et moins puissant

Pour des questions relatives à la vie privée, et moins cher selon les LLM et le GPU...

Il faut garder à l'esprit que les LLM open source exécutée au sein d'un cloud privé ne protège pas mieux que les LLM propriétaires... Pour du ML/DL, quand tu vois que les providers les moins chers sont essentiellement dans les pays de l'Est ou en Chine, il faut pas croire que c'est par philanthropie !

Perso j’y vois plusieurs avantages : pas besoin de connexion, possibilité d’utiliser des modèles pas politiquement corrects, confidentialité des données

C'est aussi une des raisons qui me donnait envie de foutre le LLM sur un dual boot. Je me dis qu'une fois l'install si je ne connecte jamais cette partition à internet je suis sûr qu'il ne partagera jamais rien !

Encore un qui génère du furry porn ?

Oublie cette crainte, elle n'est pas justifiée

Mouarf je suis pas parano du tout (même si on est tous le parano de quelqu'un) mais le nombre de fois où ce n'était pas justifié de s'inquiéter d'une fuite de données alors qu'il aurait finalement fallu s'inquiéter bon..

On parle d'un LLM là...
 
Désinstalle tes jeux, ils sont infiniment plus dangereux eux

Je comprends bien ce que tu veux dire, mais justement, plus un LLM a de données, plus il se robustifie et apprend, donc ça me surprend pas qu'il ait envie de tout manger sur mon PC pour améliorer son modèle, c'est tout.
Et je n'ai pour le coup pas le temps ni les connaissances pour checker tout le code d'ollama ou des modèles utilisés. Par contre je sais qu'installer un dual boot va me prendre 10 minutes
Mais je n'essaie pas de convaincre c'est juste pour discuter de mon avis et merci d'alimenter !

 
Alors réponse technique pour le dual boot :
un dual boot c'est fait pour faire coexister 2 OS sur le même ordinateur.
 
Tu n'isoles ni les partitions disques ni l'accès réseau.
 
Du coup,
* si ton 2e OS peut monter/lire les partitions disques du 1er, il a aura accès aux données du 1er (et vice-verca)
* ton 2e OS aura accès au réseau local (et internet) de la même façon
 
Il faut construire une isolation disque/réseau dans ton OS dédié au LLM pour l'isoler.
- ne pas monter les disques (système ET data) du 1er OS
- configurer le réseau
 
Et ensuite, un LLM reste un logiciel.
- Il n'a pas, sauf si rajout, de composant lui permettant de parcourir les fichiers de l'OS pour les lire et les intégrer
- Il n'a pas, sauf rajout, de composant lui permettant d'avoir accès à Internet pour interroger Internet
 
Il apprendra de tout ce que tu l'alimentera en données, des zip fournis, des fichiers ajoutés, des copier-coller de données, etc.
Mais c'est l'input que tu lui fournis.

faut pas fantasmer cette technologie de la sorte... ca n'a rien de tel dans son fonctionnement.

 
non, a moins de faire du fine tuning, le modele n'apprend rien des inputs de l'utilisateur. Il reste inchangé dans sa structure.

Oui ça me semble évident, pas de souci, je comptais bien isoler en effet, et d'ailleurs le mettre sur un SSD qui ne me sert qu'à ça (mes bidouilles, test d'OS, etc...) sans avoir accès aux autres Merci de le rappeler !
 
 

D'après ma compréhension ce type de LLM (ollama avec gemma 3 en l'occurence) n'est pas supposé apprendre en local, il ne fait que "restituer". Donc normalement, en dehors de ce que je crains, il se sert de l'input que je fournis pour le "lire" mais pas pour l'intégrer dans son modèle
 
 

 
Vous seriez surpris de plusieurs constats au taf d'appli /  systèmes qui ne sont pas supposés collecter et qui collectent
Mais bon, je suis peut-être devenu parano finalement
 

Comment avoir son propre Agent IA ? Local, gratuit et illimité ! - N8N    -Renaud Dékode
https://www.youtube.com/watch?v=2JD5Z4ezX_E

Ce qui me perturbe c'est que le vps n'a que :
2 cœurs vCPU
8 Go de RAM

heu un config aussi legere je peut l'avoir chez moi ... en plus ça doit ramer ... quoique que dans les 10 ou 20 interactions/jours ça doit le faire...

N8n c’est seulement l’orchestration non ? Il fait appel à des llm externes ?

il lui a rajouté un miXtral
https://youtu.be/2JD5Z4ezX_E?t=1121

 
C'est compliqué de faire progresser les gens sur le sujet. Je leur fais des démos quand je vois que les questions qu'ils posent pourraient facilement trouver des réponses avec ChatGPT.
 
A titre personnel je suis embarrassé pour aller plus loin et structurer des services autours.
 
Outre l'aspect technologique qui est génial, d'un point de vue gestion d'entreprise on parle d'une externalisation de sa main d'oeuvre avec les IA.
 
On se crée donc une dépendance extrêmement forte avec ses fournisseurs si on pousse le curseur.
 
Je serai beaucoup plus à l'aise quand la techno sera un peu plus mature et qu'on pourra faire tourner son IA d'entreprise en local sur ses machines.