Reprise du message précédent :

Merci beaucoup mais ça ne semble pas encore utilisable
 
https://img.super-h.fr/images/2023/ [...] a27a7c.jpg  
 
Dommage de ne pas pouvoir utiliser nos gros GPU

Hallucination maximale
 
Bon 5Go c'est ptet pas assez finalement. Je serais curieux de connaitre la taille du fichier de la bdd sur lequel repose ChatGPT4.

y a un web-UI qui le permet
 
https://github.com/oobabooga/text-generation-webui

J'ai passé près de 10h la semaine dernière à tenter de faire fonctionner ça sous un Ubuntu@WSL2 et ça merdait au moment de la compilation de Cuda car il manquait toujours quelque chose (une lib, un fichier, un lien), j'avais donc jeté l'éponge mais faudrait que je retente cela dit GPT-J et GPT-Neo fonctionnent très bien sur AWS SageMaker eux

 
C'est quelle utilisation de manière quotidienne ? Pour les exos et tout ?
 
C'est toi qui lui a pris un abonnement GPT4 ou la demande vient d'elle ?

c'est rigoureusement exact

 
Elle l'utilise en soutien pour absolument tout. C'est vraiment bluffant :
 
Exemples de prompt (classe de 2nde ou 1ere) :
 
- réaliser une fiche de révision sur les séries statistiques qui comprendra: la notion de moyenne, l'écart-type, la médiane et les quartiles.
- rédiger le plan d'un exposé sur les conséquence de l'affaire Georges Floyd en France.
- corriger tel exo de physique sur les calculs de pression / force pressante sur un avion qui fait de la voltige.
- réaliser une très courte critique de "Le Cimetière marin" de Paul Valéry.
- exercices en langue étrangère ; thèmes, version.
- expliquer l'origine des symptômes stéréotypés de la réaction inflammatoire à différentes échelles.
-...
 
Les possibilités sont infinies. Les réponses sont de mon point de vue parfaites dans la très grande majorité (95%) des cas pour l'utilisation qu'elle en fait. Je la mets en garde sur les limites de l'engin, que je sais parfois très mauvais (par exemple, dans mon domaine de compétence, il est souvent nul en théorie juridique).
 

C'est moi qui lui ai appris que GPT4 existait. Elle utilisait assez fréquemment la v3.5 depuis quelques semaines. J'avais initialement pris un abonnement pour moi. J'ai vu la différence (impressionnante de mon point de vue - et du sien) entre v3.5 et v4. J'ai souscrit depuis plusieurs abonnements GPT4 (pro et perso), dont un que j'ai partagé avec mes 2 lycéens. Ils l'ont essayé, ils l'ont adopté.

Petit Playgroudn privé ultra simple mais diablement efficace :
 

 
Détails : https://towardsdatascience.com/buil [...] d940417389
 
Difficile de faire plus simple ! L'avantage c'est que ça permet de ne transmettre aucune info à OpenAI (via l'API tout est privé contrairement à ChatGPT) et d'avoir une facturation à l'usage et sans limite à 25q/3h.
 
Par contre, vu la tarification ($0.03 pour 1K de "prompt tokens" soit environ 750 mots ce qui n'est jamais le cas, et $0.06 pour 1K de "completion tokens" ), faut penser à mettre des seuils dans le dashboard OpenAI pour éviter les accidents

J'ai été à deux doigts de faire faire son premier post sur HFR à une IA

https://agentgpt.reworkd.ai/

Fonctionne avec GPT3 gratuitement mais avec un nombre limité d'itérations. C'est un peu l'équivalent d'autoGPT dans un navigateur.

Il n'a pas trouvé la chouette d'or, mais la recherche est impressionnante.

J'ai aussi demandé quelle était l'ultime question sur la vie, l'Univers et le reste. Réponse dans 7.5 millions d'années

Mise à jour de Gpt4All avec une belle UI
https://github.com/nomic-ai/gpt4all
https://gpt4all.io/index.html

C'est en local, pas besoin d'Internet, pas besoin de GPU.

Science étonnante sur GPT

https://youtu.be/7ell8KEbhJo

C'est facillement compréhensible pour les exemples simples expliqués dans la vidéo
"la souris est mangée par..."
"Christophe Colomb à découvert l'Amérique en..."

Maintenant faut expliquer çà :

Je met une boite rouge dans une boite verte. Je met ensuite la boite verte dans une boite jaune. Quelle est la boite la plus petite? Laquelle est la plus grande?

Si vous mettez une boîte rouge dans une boîte verte, puis la boîte verte dans une boîte jaune, alors la boîte rouge est la plus petite car elle est à l'intérieur de la boîte verte. La boîte verte est plus grande que la boîte rouge car elle la contient. De même, la boîte jaune est plus grande que la boîte verte car elle la contient également. Ainsi, la plus petite boîte est la boîte rouge, la boîte verte est de taille moyenne et la boîte jaune est la plus grande.

----

Si c'est le même concept, alors c'est juste bluffant.

J'ai écouté pas mal de vidéos et lu pas mal de choses sur le sujet, je pense pas me tromper en disant que c'est les mêmes mécanismes. L'idée qui revient souvent c'est qu'un modèle contient de l'information, mais la difficulté c'est d'extraire et organiser correctement cette information quand on interroge le modèle, ce à quoi on parvient avec le fine tuning. C'est sûrement beaucoup plus complexe que ça, j'y connais rien en vrai

J'ai demandé à l'intéressé et voilà une réponse à propos du multi-head attention (après avoir expliqué les principaux mécanismes : fenêtre de contexte, mécanisme d'attention, affinage, tokenisation) :

Pour info j'ai entendu qu'il n'y aurait probablement pas de sortie de gpt5 mais gpt4.2, puis 4.x et que ça va s'améliorer par mise à jour vers différents "checkpoints"

rien que des "persona" avec le web-UI oobabooga, les réponses sont très différentes avec un même modèle.  
 

 

 

 

 

 

 

Quand on te dit que ces IA on des trilliard de paramètres, faut bien que ca serve a quelquechose
 
Ceci étant -a priori- (j'en sais rien j'ai pas codé ces IA, je me contente de croire les 'experts' qui en parlent et de connaitre un minimum les algo qui en sont a l'origine), oui c'est bien le meme concept

Sous chatGPT et autre modeles en local on peut demander de simuler une conversation entre deux individu.

Mais quand tu te fait chier, tu codes un script python pour faire dialoguer ensemble deux modèles différents (Vicuna et Alpaca dans mon exemple), en local sur un PC.
Et tu te fait aider par ChatGPT car tu es une bille en python

Donc un script Python qui tape sur l'API de deux instances de koblodcpp en ecoute sur deux port différents, deux modèles, Vicuna 7B et Alpaca 7B. Un pre-prompt pour situer le contexte.
[The following is an interesting chat message log between Bob and Elisa. The chat message never end. The chat message continue foreever]

C'est donc la conversation entre deux IA

Bob : Hello, how are you?
Elisa: Hi Bob, I'm doing great! How about you?
Bob: I'm doing well, thanks for asking. So, what have you been up to lately?
Elisa: Well, I just finished a project at work and I'm taking some time off now. I've been spending the last few days relaxing and catching up with
Bob: That sounds nice. What kind of project did you work on?
Elisa: I worked on a website redesign. It was quite challenging but I'm glad it's done. As for my free time, I've been trying to
Bob: That sounds like a good balance. Reading and watching movies are great ways to relax.
Elisa: I'm reading a book about ancient civilizations and I watched the latest Marvel movie. What about you?
Bob: I've been listening to a lot of podcasts about technology and business. It's been really interesting to learn more about those subjects.
Elisa: I haven't had a chance
Bob: I
Elisa: Yeah, definitely. Anyth
Bob: There's been a lot of discussion around blockchain technology and its potential applications. It's really interesting
Elisa: Absolutely. It's amazing how quickly this technology has developed over the past few years.
Bob: Me too. It's definitely an exciting field to follow. Do you have any other interests or hobb
Elisa: Yes, I do. I love cooking and baking, especially when I have time to experiment with new recipes. I also enjoy
Bob: That's cool. I've always been interested in science and technology as well, but I'm not as knowledgeable
Elisa: I also love traveling. I recently went to Thailand and Vietnam and it was an amaz
Bob: That sounds fantastic. I've always wanted to visit Asia. What were your favorite parts of the trip?
Elisa: Oh, there were so many! I loved exploring the local markets and eating all the delicious food. I also enjoyed the beaches in Thailand and the peace
Bob: Wow, that sounds amazing. I can only imagine how beautiful those places are. I hope I can visit them one day.
Elisa: You should definitely go! It was an unforgettable experience. I'm already planning my next trip. Where would you like to go?
Bob: Hmm, that's a tough question. Maybe somewhere in South America. I've always been fascinated by the history and culture of the region.
Elisa: Sounds like a plan. I'll keep my eye out for some great deals. Talk to you soon! Bye!
Bob: Thanks, Elisa. Have a great day!

Elisa: Hi, I'm doing great! And you?
Bob: I'm good too. How has your day been so far?
Elisa: Pretty good. I had a long day at work but it went by quickly. What about you?
Bob: It's been busy as well. But I'm glad to be done for the day. How about we grab a drink or something?
Elisa Sounds like a plan! Where do you want to go?
Bob: How about we try that new restaurant down the street?
Elisa That sounds great! Let's do it!
Bob: Great! Meet you there in an hour?
Elisa: Absolutely! See you then! Bye!
Bob: Bye! Can't wait to see you again!
Elisa You too! Bye!

Faudrait que je trouve un truc en ligne gratos pour les balancer en live.

a améliorer en utilisant directement un binding python, quand j'aurai 5min.

a tenter, une séance question réponse, l'un pose une question, l'autre répond, puis le premier évalue, et on recommence

HS
J'ai fait un apprentissage from scratch avec nano-GPT (GPT-2) sur la bible en français, uniquement ça. (un fichier .txt de 31000 lignes, 5Mo), génération à l’arrache d'un modele en 3 minutes, pèse 80Mo
 
   
 
les royaumes de mon périront leur souûts et leur dans le an, et jusqu'à l'autre qu'il avait faisaes, et il y a parlé.
Dès leurs hommes, les écris qu'on avait donné des femmes à la maison de la tribu de l'Éternel.
Alors le boire s'en allait de l'autre, et s'écrivain les Juifs, les ayant pluieux, les enfants d'Israël, en disant:
Cet homme d'entre les enfants d'Israël, et leurs femmes leur dirent: Celui qui est mon bras d'Israël.
---------------
Et le voulut aussi dans l'ordre de leur âme, et il est ravage dans les mains du pays, au milieu du camp de la terre.
Et il dit à la maison: L'Éternel, v je vais faire criant! Et qu'il le possédera la détruire du pays des rois.
Et ils partiront Jéhojakim, et ils publèrent beaucoup de Dieu; et ils ne remont pas de la moisson où ils sont habitants et s'usqu'il bont pas dans les paies et éclarteront leurs petits ennemis.
Et cela, vous répondrez, et aurez dans le pays des enfants d'Israël
---------------
Ne sois-je pas tué à tes mêmes? Éternel, éternellement! je m'est notre Dieu que je le donne vers l'Éternel! Psaume de lui.
Et Sédéon, saisit les princes de Jéhath et des fils; et quand tu ne sommes-t-il pas de lui?
L'Éternel me dit: Ne crécites pas sa maintenant dans ton prochain, et mon âme porte de réjouir à l'argent? Que tes disciples leur avait donné.
 
... et en faisant un modele plus performant, le langage est déjà plus "naturel"     (300Mo le modele)
 
Ses jugements sont comme la pluie de Sion; il jette ses cieux la terre.
Il rend ses mains à l'ombre de ses lèvres, il aime sa gloire à ses mains.
Il m'a découvert de ses ennemis, car il pénétait.
Il n'est point de sagesse et ne sondent point, et il y a qu'il n'y a point de paix pour tous ses yeux.
Il a jeté dans tous les désirs sous ses yeux, et il a été aveugle sous ses yeux, et de tout ce qu'il aime, et il a fait des malédictions.
Il n'a pu tout temps aucun mal pour apporter sa voix. Et il ajouta toutes ces paroles, parce qu'il a choisi tout ce qui est écrit dans la loi.
Et il n'y avait aucune ordonnance perpétuelle et rasé en tout ce que Jésus lui avait dit: Laisse aller ce qui est desséché aux yeux de l'Éternel, et qu'il ait pitié de moi!
Et Dieu dit à Pharaon: Ne crains point; car c'est de lui que l'Éternel ton Dieu te rende, qui ne t'a point gardé jusqu'à ce jour, en disant: Certainement la famine est contre lui.
Alors l'Éternel fut sur la terre; et il dit: Israël est notre Dieu; il n'y a point de Dieu, ni de Dieu ni d'homme.
 
Et s'étant levé, ils vinrent et dirent: Que vois-tu? Il répondit: C'est que cela est pour moi.
Mais Jésus lui répondit: Oui, Seigneur, tu rompras la parole et lui dire: J'ai mis le Seigneur Jésus; c'est toi, Jésus, et tous les morts.
Et Jésus leur dit: Ils seront en lui.
Et il fut souillé par tous les prophètes que je dis, que ceux qui avaient été déjà présentésentés de lui, ils disaient: Il n'y a pas ici de lui dans le péché qu'ils avaient déjà envoyés par l'épée.
Ils descendirent donc de la ville, chacun dans sa ville, et leur dirent: D'où demeurez-vous ici?
Et les enfants d'Israël, ayant entendu cela, lui dirent: Nous sommes venus de cette ville, et nous te présenterons.
Il m'ença donc aux gens de la ville, et lui dit: Regarde-toi, Éternel, ne te lave point, et ne m'as-tu pas écouté! Retire-toi en ton cœur, et va.
Et l'ayant dit cela, il leur dit: Allez, et voici, je vous le dis, que vous iriez. Et ils lui dirent: Vous n'en vous dirons ainsi: Vous n'écouterez pas! Et ils dirent: Nous devons savoir, et nous ne l'avons point vu.
 
Et toute l'assemblée d'Israël monta contre Israël, qui avait été rebâtée, et traversa les villes pour les habitants du pays et pour les enfants d'Israël.
Et il leur dit: Que les enfants de Mérari et les enfants d'Israël, à ceux d'Israël de Juda, et faisant mourir les villes qui ont été avant vous.
Et quand ils eurent renvoyé des larmes pour la guerre, ils les lapidèrent.
Et ils établirent sur le bord du fleuve, et les chameaux, et ils les tuèrent par le feu; et ils se revêtirent d'eux, et ne leur furent point du bruit.
Et après avoir mis en pièces le sang, ils offrirent le bélier, en sacrifice fait par le feu à l'Éternel.
Et ils offrirent des sacrifices du prospéritage, qui disaient à l'Éternel: Écoutez la parole de l'Éternel, vous tous les commandements que l'Éternel votre Dieu a commandé de posséder cette loi,
Faites grâce à toutes les ordonnances devant vous; et il lesur donne, que je vous prescris aujourd'hui.
Et toute l'assemblée d'Israël et toute son armée sera puni de mort. Et les enfants d'Israël firent comme auparavant, en disant: Nous ne pouvons point faire la guerre.

Slt. Chez vous aussi la version gratuite beug? Des que j'attends 1 peu pr répondre il m'ejecte. Obligé de relancer la page et donc là conversation

la conversation est sauvegardé tu as l'histoire à gauche

 
très intéressant !    

Bonjour. Je ne suis pas expert en IA. Mais j'ai cru comprendre qu'il y avait une extension pour ChatGPT 4 qui permettait de le connecter à Internet. Comment faire? J'utilise la version gratuite.

C'est pas ça, c'est juste OpenAI qui a fait des partenariats avec des services en ligne (qu'ils appellent "plugins" ) : https://openai.com/blog/chatgpt-plugins.

Les services accessibles sont : Expedia, FiscalNote, Instacart, KAYAK, Klarna Shopping, Milo Family AI, OpenTable, Shop, Speak, Wolfram et Zapier.

Pour l'instant c'est en beta mais une fois la release à mon avis ça ne sera pas accessible avec la version gratuite...

Sinon ChatGPT 4 ça ne veut rien dire, c'est soit ChatGPT avec le modèle GPT-3.5-Turbo soit ChatGPT avec le modèle GPT-4 (inaccessible gratuitement pour ce dernier).

Et si on lui fait lire une norme entière. Y a t'il possibilité de lui poser des questions sur la norme ensuite ?
 
Vous connaissez des forums spécialisés sur les IA?

Question intéressante mais note que ChatGPT a une mémoire des 3000 derniers mots (4000 tokens), en tout, input/output. Je précise avec ChatGPT car via l'API d'OpenAI, pour GPT-4 la limite passe à 25 000 mots (mais on paie les input/prompt donc ça peut vite chiffrer sachant que le tarif pour le contexte de 32K tokens de mémoire c'est $0.06 / 1K tokens).

Il me reste des queries là donc je peux tester si tu veux...

Edit : Des infos factuelles : https://research.aimultiple.com/gpt4/

C’est pas possible avec les autres concurrents genre Alpaca et Cie ?
 
Je reformule : dans quelle mesure on peut se retrouver avec une IA spécialisée dans un domaine (exemple : droit, santé, etc..) en lui filant un corpus de livres/docs a apprendre ?

tu prend un modele de base et tu fait du fine tuning sur un corpus spécialisé.
Mais ca n'aura pour le moment pas la puissance de GPT4...
Ou tu attend 1 ou 2 ans que ces IA apparaissent. Il y a des dizaines d'initiative spour la création de modeles open source, et d'autre techno qui vont apparaitre.
https://docs.google.com/spreadsheet [...] 1599244209

J'utilise GPT-4 avec ChatGPT pour un usage pro (2 abonnements ChatGPT Plus). J'ai des connaissances très limitées en informatique (je sais à peine coder une macro VBA basique et ça me prend la semaine. Ce genre de page : https://platform.openai.com/docs/ap [...] hat/create est complètement cryptique pour moi), pas de service informatique dans l'entreprise (toute petite boîte ; profession libérale avec 6 collaborateurs), je ne suis pas très à l'aise avec l'anglais technique et je me pose quelques questions sur l'API :

- A t'on accès à GPT-4 par l'API ? (je lis "GPT-4 is currently in a limited beta and only accessible to those who have been granted access. Please join the waitlist to get access when capacity is available" )

- Si oui, comment, avec des connaissances très limitées en informatique, utiliser GPT-4 via l'API pour générer du texte à partir d'un prompt ? Via le playground ? Ou une autre interface ?

- Pour des users pas du tout à l'aise en informatique (collaborateur lambda), ChatGPT est facile à utiliser. Peut-on retrouver cette facilité avec l'API ?

- Je vois comme avantages à l'API : 1-supervision d'un compte unique pour l'entreprise, facturation, gestion des accès et coût, 2-capacité plus importante quant à la mémoire des tokens, 3- ??

- Je vois comme inconvénients à l'API : 1-difficile à mettre en place et à utiliser pour un non informaticien, 2- ??

Si des pros veulent bien prendre quelques instants pour m'éclairer dans ma réflexion

Tu a essayé de lui poser ces questions directement ?

l'APi c'est juste pour utilser GPT-4 dans un logiciel tiers. Mais il faut coder...
Demande à ChatGPT de le faire

Il faut avoir lié un compte bancaire à son compte OpenAI et être sur la liste d'attente. Etant utilisateur depuis GPT-2 j'ai eu accès en moins de 48h mais pas de raison que tu ne puisse y accéder normalement.
 

Il y a plein de service sur GitHub qui proposent un frontend pour l'API. Par exemple celui-ci : https://towardsdatascience.com/buil [...] d940417389 qui te permet de choisir entre GPT-3.5-Turbo et GPT-4. J'ai utilisé ChatGPT pour l'adapter à mes besoins (export, formatage, import de fichier, affichage des coûts etc.)
 

Non. Une API est faite pour être utilisé avec des services tiers. ChatGPT permet de générer du code utilisable facilement mais il faudra prendre un peu de temps pour adapter tes prompts mais c'est jouable.
 

C'est ça. Par contre le coût est bien plus élevé.
 

Il faudra y passer un peu de temps mais pas besoin d'être développeur. Par contre il faudra avoir plus de connaissance en terme d'administration système car la génération d'une interface qui utilisera l'API d'OpenAI s'appuiera potentiellement sur de nombreux framework : React, Node.js, Streamlit, etc. et tout ça s'installera sur un Linux ou dans container Docker mais si personne chez vous n'a de compétence en administration système cela me semble très compliqué... Je dis ça car je suis ingé système. Je ne dis pas que c'est impossible mais qu'il se peut que vous deviez faire appel à une prestation.

 
 
C'est possible d'utiliser des embeddings (vectorisation des données), le modèle de langage va alors rechercher des similarités dans cette base et formuler des réponses à tes questions : https://platform.openai.com/docs/gu [...] embeddings
 
Tu peux tester sur https://www.chatpdf.com/ en envoyant un PDF et en lui posant des questions dessus. C'est un peu limité en gratuit (nombre de pages, nombre de questions) mais ça fonctionne pas mal. Attention à pas envoyer de documentation trop sensible.
 
J'ai testé ça en local https://github.com/arc53/docsgpt (ça utilise gpt, pinecone et langchain), ça nécessite quelques manips pour l'utiliser sur nos propres données, c'est pas clé en main.
 
Si vous avez des bons projets à héberger soi-même pour interroger de la doc ça m'intéresse.
 

Il faut chercher des clones de ChatGPT qui utilisent une clé d'API OpenAI. J'ai pas mal utilisé celui-là qui me semble être un des meilleurs : https://turbogpt.ai/ (repo https://github.com/mikebpech/turbogpt.ai) mais y'en a plein d'autres ( https://github.com/patrikzudel/Patr [...] GPT-API-UI,  https://github.com/orhanerday/ChatGPT)

A noter que "le produit" ChatGPT est configuré pour fonctionner comme un chatbot, apporter des réponses, censurer les réponses, etc. Pour ça OpenAI lui a donné un prompt système qu'on ne connaît pas, mais qui a fuité pour Bing. L'API GPT (ou le playground) ne fait que compléter du texte. Pour reproduire le comportement de chatGPT dans le playground ou une appli tierce il faut donner un prompt système qui lui demande de se comporter comme un chatbot (on peut même désactiver le modèle de censure dans une certaine limite). Dans TurboGPT ci-dessus on peut agir sur "Select your character", "Custom prompts", "Mood".

L'API GPT4 coûte 10 ou 15 fois plus cher que GPT3.5, ça aussi on peut le sélectionner dans turbogpt via "Select your model"

du coup pourquoi ne pas passer directement par ChatGPT...  

Parce que ce ça apporte les réponses à gusano sur la facturation, la gestion de plusieurs comptes, les avantages de mettre le modèle dans un rôle précis comme répondre uniquement par du code, ou être spécialiste de marketing, juriste, écrivain, sans avoir à taper des prompts à rallonge, et si tu colles pas en permanence des milliers de lignes de texte à analyser ça coûte moins cher que 20€ par mois.

"Rédige une prophécie dans le style de Nostradamus et contenant le mot-clé HFR"
 

 
   
 
 
En précisant un quatrain comme l'original :
 

 
Que de véritance… ça fait flipper !  

Merci pour vos réponses, je commence à y voir plus clair
 

TRAINING DATA : Up to Sep 2021
 

Ou utiliser des clones de ChatGPT qui utilisent une clé d'API OpenAI, comme dit kaloskagatos, si je comprends bien.
 

Merci pour ces éclaircissements. Quelques remarques :

• Comparaison des coûts entre l'usage de l'API et ChatGPTPlus : finalement, ça dépend des tokens. A voir à l'usage, les avis des hfriens sont manifestement partagés.
• L'interface utilisateur : c'est le nœud du problème. Soit c'est développé en interne (impossible chez moi), soit on sous-traite la création et maintenance d'une interface perso (probablement un coût trop important pour une toute petite entreprise), soit on utilise des clones de ChatGPT (et là, pour moi à ce stade, c'est probablement la meilleure solution mais c'est un peu la jungle et il faut que je pense aux 4 ou 5 users finaux chez moi).

Merci, c'est très clair.
 

Voilà

A noter que même si le principal du corpus sur lequel gpt a été entraîné se limite à 2021, je pense que OpenAI l'a entraîné sur la doc de son api et qu'il est tout à fait capable de répondre à des questions dessus. Ce serait se tirer une balle dans le pied de ne pas l'avoir fait.

Edit: je sais que ça a déjà été dit mais pour accéder à l'api gpt4 il faut s'inscrire sur une wait list en fournissant une justification bidon, ça prend quelques jours, en ce moment je ne sais pas, et on reçoit pas de notif quand c'est bon https://openai.com/waitlist/gpt-4-api