Reprise du message précédent :

tu les ajoutes bien dans la base knowledge/connaissances dans les options du modèle ?

EDIT : hum non c'est ptet pas vraiment ca ton cas d'usage. T'as modifié la taille de contexte d'ollama ?

En effet, dans les paramètres de llama3.2, j'ai ajouté une base de connaissance pour tester (c'était vide, j'ignorais cette subtilité).

Les réponses sont plus pertinentes.

C'est pas très intuitif car je pensais que faire référence à la base de connaissances dans le prompt suffisait pour aller l'attaquer "correctement".

Merci

EDIT : taille de contexte d'ollama par défaut, j'ai rien modifié sur ollama ni dans open webui, tout est stock :

ollama show llama3.2
  Model
    architecture        llama
    parameters          3.2B
    context length      131072
    embedding length    3072
    quantization        Q4_K_M

 Capabilities
    completion
    tools

 Parameters
    stop    "<|start_header_id|>"
    stop    "<|end_header_id|>"
    stop    "<|eot_id|>"

 License
    LLAMA 3.2 COMMUNITY LICENSE AGREEMENT
    Llama 3.2 Version Release Date: September 25, 2024

 
 
Tu seras vite limité sur le contexte par défaut, c'est au début de la doc et dans la FAQ d'ailleurs
https://docs.openwebui.com/features/rag
 
Mais oui c'est pas toujours très intuitif. J'ai bien perdu 2h au début à comprendre comment lui faire lire des liens web, alors qu'il suffit de cliquer sur la petite boite après le #+url

Frandon, ce que tu essaies de faire c’est pas justement un cas d’usage d’un server mcp en local ou ton IA a accès à ses données au lieu de le mettre dans son contexte

drap

 
 
Hello,  
 
J'avais tenté la même sur un serveur PoC au taff (I9, 128 Go RAM, 2x 3090, 8 To NVME, carte 10 gigabit), je n'ai pas réussi à lui faire rédiger un résumé, par contre avec l'usage de base vectorielle (Pinecode, Qdrant) ça été un peu plus compliqué (attention à la taille des chunks) ben c'est passé.  
J'ai utilisé mistral-small 24b, ma BdC fait à peu 2 go (base de documents juridique, contrats, procédures le tout RGPD compliant).

Mince
Dois-je en déduire que sur mon modeste laptop avec 32go de RAM  et Ryzen 7 8840U c'est un vœux pieux ?
 
Pour Olivie, j’ignorais le concept de serveur MCP jusqu'à ce que tu en parles
 
Vous l'avez bien compris, je débute
 

Question sérieuse : pourquoi prendre un mistral-small en 24b plutôt qu'7b ou 14b ou autre ?

Est-ce qu'avoir un llm en 7b aiderai pas à gérer plus de documents de ta base documentaire ?

 
Jamais fait de tests sur aussi gros oui  

Le MCP n'a pas de rapport, c'est juste une manière de parler avec une API. Si un système de RAG supporte le MCP alors tous les clients MCP pourront l'utiliser, mais on peut s'en passer, bref c'est pas le sujet.

Le principe du RAG c'est justement d'aller chercher de la documentation pertinente (via proximité sémantique notamment) ET de mettre ces infos pertinentes dans le contexte du LLM. Plutôt que de lui donner la doc complète dans son contexte.

Ben un server mcp où il met les fichiers dedans et l’IA a accès à ces fichiers quand elle en a besoin ?

Bonjour et drap,  
 
On ne peut parler que de LLM ou aussi d'autres outils type generation de voix/text to speech ?  
 
Je cherche la meilleure app qui permet de cloner une voix en lui donnant un sample (par exemple 30 min d'audio).  
 
Est-ce que quelqu'un utilise deja ça et est satisfait d'une app en particulier ?

Elevenlabs ? À vérifier

ouais j'ai pris un compte test à 10 balles mais visiblement le clonage de voix ne permet que de cloner SA voix.  
 
Et j'en aurais besoin régulièrement... de voix différentes.

Ah oui mais faut payer pour utiliser les voix des autres et eux sont payés pour avoir cloné leur voix

Il y'a 20 ans il existait déjà des mixeurs truc bidules numérique (logiciel) qui permet de déformer sa voix (plus grave, etc). Donc tu dois pouvoir faire passer ta sortie audio dans ce truc.

Non mais j'ai trouvé dans elevenlabs, juste qu'il y a deux modes:
 
Un mode rapide avec des samples de 10 sec
Un mode "pro" où il faut uploader un sample d'1h.
 
J'avais juste directement testé celui d'une heure mais le "rapide" fonctionne deja très bien avec un pauvre sample. Je vais affiner  
 

Oui après il peut aussi jouer avec des Vocaloid pendant qu'on y est

>say"hello"

Tu confonds des trucs. MCP c'est un protocole. Si tu penses à un serveur MCP qui accède à ton système de fichiers :

Le LLM il accède à quel fichier si tu lui demande "Quel est le montant de la facture de M. Dupond ?" ?

Un serveur MCP qui accède à des fichiers en local c'est bien pour lui faire lire ou écrire un fichier README précis sur ton disque, mais faire de la recherche sémantique c'est le principe du RAG.

En bref le RAG c'est :
* Phase d'ingestion : parsing de fichier et conversion en texte brut, découpage en blocs plus petits (chunks), transformation en embeddings (vecteurs), stockage en base de donnée vectorielle
* Phase de requête : transformation de la question en embedding (vecteur), recherche par similarité (distance cosinus entre vecteurs), retour du chunck de texte le plus pertinent (avec éventuellement la source), insertion de ce contexte dans le prompt du LLM

Tu peux faire un serveur MCP qui est un système de RAG. Tu peux faire un serveur MCP qui contrôle ton PC, ta domotique, ton compte HFR... Le principe du MCP c'est de normaliser l'intéraction d'un LLM avec des services, n'importe quel service.

Ça consomme combien la phase d'ingestion ?
Si vous avez de vraies vidéos YT bien foutues, je suis preneur (qualité préférée plutôt que la langue FR)

Bordel j'ai l'impression d'être un hacker, GPT me guide pour installer des trucs
 

C'est si compliqué que ça de blacklist xatrix ?

Bravo tu as utilisé la commande composer ?

Je vais installer un truc opensource sur mon ovh de pauvre à 5€ par mois...et faut tout faire à la mano comme un manouche en local avant d'envoyer ca sur OVH  
Après on va passer à la customisation avec cursor  

On dirait que l'IA ne vas pas remplacer certains métiers de sitôt

 
 
Y'a des modèles spécialisés pour l'embedding, c'est léger et ça tourne sur n'importe quelle machine. Mais y'en a en API online pas cher, OpenAi le fait. https://ollama.com/blog/embedding-models
 
Juste avant la vague ChatGPT y'a eu ce jeu qui a poppé https://cemantix.certitudes.org/
 
Tu cherches un mot en proposant des mots, et par score de similarité avec tes propositions t'essayes d'orienter ta recherche.
 
 
Cette chaîne est très bien, ici il parle de RAG et d'embeddings https://www.youtube.com/watch?v=v6g8eo86T8A

N'empêche avoir chatGPT qui t'explique tout étape par étape, au lieu de devoir lire des tutos ou des vidéos youtubes...en plus tu as un retour direct à la moindre erreur...

La le coté startup nation, ça commence à le faire

Welcome to 2024

Il y a des modèles qui peuvent tourner en local aussi

Google just released firebase.studio
it's like lovable+cursor+replit+bolt+windsurf all in one
https://x.com/hckinz/status/1909999081159532953?s=19

 
Mais Google ils ont plié le game aujourd'hui !
 
Ca + veo 2.0 + agentspace !

Qu'ils mettent tout à $20 en illimité, la concurrence est morte

euh désolé mais Olivie disait que Google faisait de la merde

ckoa veo2 et agenttruc ?

T1, ça va trop vite...

Petite update svp
Comment se déroule et où en est l’intégration de l’ia dans vos entreprises ?
 
Chez nous je suis surpris par l’engouement grandissant des gens depuis que j’ai formé tout le siège (140 personnes). Beaucoup viennent me voir en ce l’envie d’aller plus loin et ou d’avoir des IA spécialisées.
 
L’ia fait désormais partie du quotidien professionnel et personnel de la majorité d’entre eux et nous avons totalement intégré l’ia dans les process métier quotidien en dev, produit, design, stylisme, production, logistique, marketing… ça va à une vitesse folle !

C’est quoi ton poste au juste ? Dans quel type de boîte tu bosses ? (Secteur)

https://developers.googleblog.com/e [...] erability/