 |
||
| ||
| |||||
| Dernière réponse | ||
|---|---|---|
| Sujet : liste des agrégateurs d'AI et apps d'IA Local: | ||
| lapin |
|
|
| Aperçu |
|---|
| Vue Rapide de la discussion |
|---|
| lapin |
|
| LaRoueEstTombee | Pour que tu ne restes pas tout seul ici, Lemonade pour les modèles locaux. Multi-plateformes pour AMD, prise en charge des CPU/GPU/NPU. Téléchargement de modèle optimisé en 1 clic. Bien pratique pour utiliser le NPU des Ryzen AI. |
| lapin | Voici une première liste, non-exhaustive, d'agrégateurs d'IA, souvent trois IA inclus dans le même agrégateur d'IA, parfois beaucoup plus.
Il y a peu d'agrégateurs d'IA qui soient gratuits, car les sites d'agrégateurs d'IA doivent payer les tokens des IA qui sont externalisées, alors ils ont sûrement à prix préférentiel pour proposer 10 € à 100€ TTC par mois l'abonnement. Pour celles gratuites le sites agragateur doit surement faire tourner les différents modèles d'IA sur ses propres serveurs à lui, et peuvent ne pas être les tout derniers modèles d'IA les plus récents et ne tournent le plus souvent que sur des IA sous licence open source. Poe : modèles phares inclus, "GPT, Claude, Gemini, Mistral"; model économique Le grand public multi-modèles,Abonnement (Freemium / ~20$ / mois). TypingMind : modèles d'IA Phares sont, Tous (via API) + Local,Confidentialité et fonctionnalités pros, modèle économique Licence unique (BYOK - Bring Your Own Key). https://openrouter.ai/: Modèles phares inclus: des centaines (Propriétaires & Open Source),Développeurs et comparaisons; Modèle économique de type: Pay-as-you-go (au token). DuckDuckGo : modèles phares inclus: Chat,"GPT mini, Claude Haiku, Llama, Mistral; Modèle économique: Anonymat total et gratuité,100% Gratuit, si c'est gratuit c'est toi le produit. HuggingChat : modèles phares inclus: "Llama, Qwen, Mistral, Command R",Explorer la puissance de l'Open Source; Modèle économique :100% Gratuit, idem si c'est gratuit c'est toi le produit. mamouth.ai Modèles d'IA phares inclus: GPT-5, Claude Sonnet, Gemini, DeepSeek, Grok, Mistral Large, Sora, Kling. Modèle économique de mamouth.ai: Plan Starter — 10 € HT / mois (environ 12 € TTC) : Conçu pour un usage général ou de découverte. Il octroie un quota de 50 messages premium toutes les 3 heures, 60 images par mois, et inclut 2 $ de crédits API. Plan Standard — 20 € HT / mois : Destiné à un usage intensif (environ 3 fois plus de capacité que le Starter). Il pousse la limite à 80 messages par tranche de 3 heures, 300 images par mois, et inclut 4 $ de crédits API. Plan Expert — 60 € HT / mois : Pour les professionnels exigeants (volume x10 par rapport au Starter). Le quota passe à 120 messages toutes les 3 heures, 1 100 images par mois, et 10 $ de crédits API. ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Liste non-exhaustive pour des applications pour faire tourner des modèles d'IA en Local: Pour chaque profondeur du modèles: ~6 Go de VRAM pour un modèle de 8 Milliards de paramètres. 9 Go de VRAM pour un modèle de 14 Milliards de paramètres. 20 Go de VRAM pour un modèle de 32 Milliards de paramètres. À mon avis, on en a pas fini avec le prix de la RAM qui ne cesse d'augmenter, bientôt les cartes graphiques auront 32 GO de VRAM :sarcastic: !!! 1. Jan.ai (Le rival open source le plus proche) Le concept : C’est le concurrent le plus direct de LM Studio en termes de design (très proche de ChatGPT). Contrairement à LM Studio qui est propriétaire, Jan est 100 % open source. Il intègre un "Hub" pour télécharger directement les modèles depuis Hugging Face et intègre des samplers avancés (Mirostat, DRY) que LM Studio n'a pas toujours. Gestion GPU : Excellente accélération via Vulkan, NVIDIA CUDA, et Apple Silicon (Metal). Prix : 100 % Gratuit. 2. AnythingLLM (Le roi du "RAG" et des documents) Le concept : Si votre but est de donner des centaines de PDF, de fichiers texte ou des dossiers complets à votre IA pour travailler dessus localement (technique du RAG), c'est l'application reine. L'interface est pensée pour la gestion de documents et la création d'agents locaux. Gestion GPU : Il embarque son propre moteur natif léger, mais peut se connecter à un serveur tiers (comme Ollama) pour exploiter le GPU au maximum. Prix : Gratuit en version Desktop. 3. GPT4all (L'alternative ultra-légère) Le concept : Développé par Nomic AI, il est conçu pour être d'une simplicité enfantine. Il propose une sélection de modèles triés sur le volet, directement téléchargeables en un clic. Il intègre aussi une fonction "LocalDocs" pour chatter avec ses fichiers. Gestion GPU : Prise en charge native de CUDA (NVIDIA) et Kompute (pour les GPU AMD/Intel). Il est particulièrement bien optimisé pour basculer intelligemment entre CPU et GPU. Prix : 100 % Gratuit. 4. Text-Generation-Webui (Le "Stable Diffusion" des LLM) Le concept : Souvent appelé "Oobabooga" (du nom de son créateur), c’est l'outil des passionnés et des experts. Il ne s'agit pas d'une application de bureau classique, mais d'un serveur local qui s'ouvre dans votre navigateur web. Il accepte tous les formats de fichiers existants (GGUF, EXL2, AWQ, GPTQ) et possède un catalogue immense d'extensions (synthèse vocale, personnages de jeu de rôle, etc.). Gestion GPU : C'est le plus performant pour pousser les cartes graphiques (notamment NVIDIA) dans leurs derniers retranchements, avec gestion du multi-GPU (découper un modèle sur deux cartes). Prix : 100 % Gratuit (Open source). LM Studio 1. Le modèle technique (Le format GGUF) LM Studio ne fait pas tourner n'importe quel fichier d'IA. Il est conçu spécifiquement pour exécuter le format de fichier GGUF (dérivé du moteur llama.cpp). Pourquoi le format GGUF ? C'est le format universel pour l'IA locale. Contrairement aux fichiers bruts utilisés par les data scientists, un fichier .gguf contient à la fois les poids de l'IA et toutes ses métadonnées dans un seul fichier compressé (quantisé). C'est ce format qui permet à LM Studio de "découper" le modèle pour en mettre une partie sur votre carte graphique (VRAM) et le reste sur la mémoire vive (RAM) de votre PC. Sur Mac (puces Apple Silicon M1/M2/M3/M4/M5), LM Studio utilise également une optimisation appelée MLX Engine, un framework développé par Apple pour maximiser la vitesse de calcul en utilisant la mémoire unifiée du Mac. 2. Le catalogue des modèles disponibles dans LM Studio LM Studio n'a pas de modèle propriétaire (il n'y a pas d'IA nommée "LM Studio" ). L'application intègre directement la barre de recherche de Hugging Face (la plus grande plateforme open source au monde). Vous pouvez y télécharger gratuitement et en un clic les versions locales des meilleures IA du marché. Les architectures stars compatibles et recommandées se répartissent selon la puissance de votre ordinateur. https://lemonade-server.ai/ Le principe de fonctionnement (Comment ça marche ?) Lemonade agit comme un orchestrateur intelligent en arrière-plan. Il ne réinvente pas la roue, mais assemble le meilleur des technologies d'inférence open-source sous un même capot : Le "moteur" hybride : Il utilise llama.cpp (via Vulkan/ROCm) pour faire tourner les modèles de texte classiques (GGUF) sur les processeurs et cartes graphiques, et ONNX Runtime GenAI pour piloter le NPU. Le partage des tâches : Lors d'une requête, Lemonade peut par exemple utiliser le NPU pour analyser l'invite très rapidement (le calcul initial), puis passer le relais à la puce graphique intégrée (iGPU) ou au CPU pour générer le texte mot à mot, optimisant ainsi la batterie et la vitesse de votre PC. L'OmniRouter : C'est sa force magique. Une seule application Lemonade gère à la fois le texte, la parole et les images en aiguillant chaque tâche vers le bon sous-système (Whisper pour l'audio, Stable Diffusion pour l'image, etc.). Les fonctionnalités clés et les avantages 1. Véritablement "Multi-modal" (Omni-Modal) Contrairement à des serveurs purement textuels, Lemonade gère tout un écosystème d'IA depuis une seule interface : Texte & Vision : Modèles de langage comme LLaMA, Qwen, DeepSeek ou Gemma. Génération d'images : Intégration de Stable Diffusion / Flux. Audio : Transcription audio (Speech-to-text via Whisper) et synthèse vocale ultra-réaliste (Text-to-speech via Kokoro). 2. Idéal pour l'écosystème AMD (mais compatible partout) Si vous avez une carte graphique Radeon ou un processeur Ryzen (surtout les séries Ryzen AI), Lemonade offre des optimisations que vous ne trouverez nulle part ailleurs. Il détecte automatiquement votre matériel pour en tirer le maximum. Note : Il fonctionne aussi sur CPU Intel/Mac, mais via une accélération générique (Vulkan) pour la partie graphique. 3. Compatible avec l'API OpenAI Lemonade crée un serveur local standardisé (http://localhost:13305/v1). Pour vos autres applications (comme Open WebUI, des extensions de code comme Continue.dev ou CodeGPT), Lemonade se comporte exactement comme si c'était l'API payante d'OpenAI (ChatGPT), sauf que c'est 100 % gratuit et privé. 4. Une version "Embeddable" pour les développeurs Si vous créez une application, vous pouvez intégrer Lemonade directement sous forme de binaire léger (< 10 Mo) dans votre code. Vos utilisateurs profitent de l'IA locale sans même savoir que Lemonade est installé. Ses limites (Ce qu'il faut garder en tête) Bien que l'application soit très prometteuse, elle a ses spécificités : Moins taillée pour NVIDIA : Si vous avez une carte graphique NVIDIA de gamer (RTX), des outils comme LM Studio ou Ollama (qui utilisent la technologie propriétaire CUDA) restent souvent plus performants et matures pour le moment. Jeunesse du projet : L'interface graphique (GUI) est encore un peu plus épurée et offre moins de réglages complexes que certains de ses concurrents plus anciens. En résumé : Si vous avez un PC récent (notamment équipé en AMD Ryzen / Radeon) et que vous cherchez une solution unique pour faire du texte, de l'image et de l'audio sans envoyer vos données sur le cloud, Lemonade-server est une excellente option à tester absolument. |
