Reprise du message précédent :
Bon parfois c'est pas la joie le advanced python
https://i.imgur.com/vWb0n6F.png

Si on supprime totalement la latence‚ que l'on ajoute la possibilité de couper le chatbot ou la personne de façon naturelle pendant qu'il parle et que l'on augmente le nombre de tokens mémorisés à 100 000‚ on est dans HER

https://youtu.be/JYiRIVvf4yg?si=LerXEkhcKoQ-32-D

Ça fonctionne en français
J'avais raté ça
Je viens de tester, c'est excellent

Quoi ??!! C'est censé être encore en déploiement. Probablement un coup de chance ! Ça pourrait me motiver à réactiver mon compte ChatGPT+

Y a-t-il toujours cette fichue limitation en nombre de messages par heure avec GPT 4 ?

https://www.youtube.com/watch?v=e0KvdMvJwQY

Bon sang cette synthèse vocale  

Bon dans la démo y'a un drôle d'accent mais c'est sacrément impressionnant !

allé on y va là !  
 
qu'on voit ça avant la fin du monde

50 messages par tranche de 3 heures.

Le speech to speech ne semble pas décompté. Ca fonctionne avec l'appli sur mobile ; j'ai discuté pendant un quart d'heure, c'est à la fois fascinant et très dérangeant. J'anthropomorphise l'IA 10.000 fois plus qu'avec l'interface clavier/écran.

Ce n'est évidemment pas le même usage, mais une nouvelle étape est franchie.

EDIT : Par ailleurs, clairement, le bot conversationnel est programmé différemment en speech to speech, afin de tenir une conversation plutôt que juste apporter une réponse. Il finit de nombreux messages vocaux (la plupart ?) par une autre question ou une invitation à approfondir le sujet en cours, etc.

Je pense que les prochaines étapes sont :

- La fin échanges talkies-walkies (je parle, tu réponds, je parle, tu réponds etc)
- Du rire, des chants, de la tristesse, bref, tout le spectre des émotions pour rajouter encore plus de diablerie  
- Des onomatopées du style "hum hum" PENDANT que l'on parle pour expliquer un truc

Après réflexion je me dis que ça utilise peut-être GPT 3.5 vu le délai très court nécessaire pour générer la réponse non ?

Tristesse, j'ai pas encore l'option sur mon iPhone 13

Quand je lui pose la question, il me répond GPT4.

Pour ceux qui ont l'appli Android et ChatPT Plus :
 
Menu>Settings>Beta Features>Voice conversations

 
les 13B passent sur ma 12Go avec un peu de décharge sur la ram, mais ça marche très bien.
Pour une carte 24Go c'est 200€ environ, le truc casse couille c'est de la refroidir.
Pour ce qui est du francais, les autres modèles sont aussi entrainés sur d'autres langues, les datasets sont plus diverses que ça tout de même.
 
Mais bon s'interesser et tester c'est pas obligatoirement avoir un résultat identique. Je pensais que sur un forum qui avait une place pour la bidouille, je trouverais des bidouilleurs de ça, mais non, dommage. Perso j'avoue être court face aux modèles de chat, mais c'est pareil pour chatgpt 3.5 qui est super limité et part souvent en halu.
 

Tu veux faire un LoRa custo?
 
 

Tu penses a quelle carte pour 24go a 200 euros ?
Pour quelle performance par rapport à une récente ?

Pour dire ça tu dois être quelqu'un qui n'a qu'une seule passion à la fois pour être aussi réducteur... Pour ma part je monte des PoC toutes les semaines et ça ne se limite pas à l'IA générative et c'est pas parce que je n'en parle pas sur HFR que je ne fais rien c'est juste qu'on n'a pas forcément envie ou besoin de faire des retours d'expérience... Il y a ceux qui font et ceux qui veulent faire

Je pense qu'il fait référence aux vieilles Tesla P40/P100/M10/K80...

Je ne pense pas non, c'est plutôt dans l'optique qu'aucune info confidentielle ne sorte de l'infrastructure de ma boîte. Ce serait uniquement pour faire tourner des modèles existants avec différente techniques de prompts et de bases vectorielles.

Dans la doc d'OpenAI ils expliquent que le fine-tuning est rarement justifié face à un bon prompt engineering, donc je préfère essayer d'autres méthodes avant de passer à ce genre de chose (pas le temps, pas l'argent).  https://platform.openai.com/docs/gu [...] ine-tuning

 
Justement je me pose la question du meilleur rapport entre GB et prix.
Tu en penses quoi ?  (il faut un ventilateur sur la carte de préférence ^^ )
 
j'avais zieuté la 3090 mais qui est a 700+ pour 24gb, si on veut avoir plus de 40Gb sur 2 carte ça commence a vite chiffrer mais je n'ai aucune vision sur la différence de temps nécessaire pour la génération pour des anciennes cartes qui ont pas mal de mémoire.

J'avais testé GPT pour des conneries auparavant, là je me suis dit pourquoi pas pour une lettre de motivation (j'ai tjrs détesté ce truc de faux cul) avec quelques indications essentielles, c'est incroyable la qualité du résultat, j'ai plus qu'à ajuster / rajouter quelques trucs et c'est perfect    
 
Heureusement que ça existait pas pendant mes études  

J'ai explosé de rire en te lisant. Par contre je t'avais bien cerné en deux trois messages.  
 
Sinon je parle que des P40.
 

 
Je répond même si c'est pas à moi que tu demandes : le meilleur rapport gb prix c'est les P40 sans hésiter, mais ça vient avec pas mal de soucis : une alimentation spécifique, une obligation d'avoir recours à un refroidissement DIY ou WC. Le mieux à mon sens c'est celui là https://www.thingiverse.com/thing:6038375
Enfin si tu as de la place dans la tour tu peux mettre une version sans coude. C'est toujours mieux.
 
Et surtout tu as les perfs de l'époque, par rapport à une 3090 tu vas voir la différence de vitesse je pense, je ne connais pas les chiffres pour la 3090, pour la p40 c'est de l'ordre de 14t/s sur un 13B
 
Il faut aussi voir que c'est plus compliqué pour le support qu'une 3090.  
 
C'est pas parfait et c'est du domaine de la bidouille. Mais bon, la diff de prix est là. En plus 700+ pour une 3090 c'est un peu optimiste...

Quel dommage, plutôt ?

La question était pour toi aussi
 
Donc pour toi c'est la P40 le bon compromis, tu as une version avec ventilo intégré qui est un autre bon compromis malgré tout ?

 
Il n'y a pas de version avec ventilo intégré
 
Pour moi la P40 est très bien si on veut avoir le meilleur rapport prix GB possible, mais il faut retrousser ses manches c'est pour ça que j'énumérais les soucis. Pour pas se prendre la tête faut prendre du gpu classique.
 
3060 12 Go, 4060 16Go (bien que les 16Go soient pas un sweet spot) etc. Et la gamme amd, mais j'ai pas de retour sur les llm avec cette marque.
 
A noter que si tu as plusieurs gpu, la vitesse sera celle du plus lent.

La p40 n'a pas de ventilo je sais, la question c'était plutot quel est le mieux a trouvé en 24Gb avec de base un ventilateur en rapport prix/gb

y'a quand même des gains significatifs à aller chercher, cf par exemple ce papier: https://arxiv.org/pdf/2104.08691.pdf
mais je suis d'accord qu'il faut quand même commencer par essayer ça

Nan c'est un coup à s'atrophier le cerveau...j'étais déjà pas courageux, mais alors avec ce truc...

 
Deux 3060 12Go alors.
 
Après c'est à pondérer avec le fait que la 3090 sert aussi à jouer

pour ce que c'est utile les LDM

 
Ok faut que je regarde ça alors.
 
Je voulais privilégié une 24G car si on veut en rajouter une c'est plus simple que 4 pour la même chose ^^

Le problème de ces cartes de 2016 c'est que de base elles sont passives car destinées à être dans un rack 2U+ du coup la ventilation adaptée sera probablement très bruyante...

De plus, quand tu les compares à une 3090, sur la seule base de leur specs elles sont dépassées (sur le papier), consomme pas mal (forcément en 16/ ou 8 nm) du coup la perf par watt est pas dingue :

Tesla P40 (24 GB, 200e mais passive et doit donc être ventilée) : https://gadgetversus.com/graphics-c [...] tesla-p40/
Tesla M10 (32 GB, 400e mais passive et doit donc être ventilée) : https://gadgetversus.com/graphics-c [...] tesla-m10/
Tesla K80 (24 GB, 150e mais passive et doit donc être ventilée) : https://gadgetversus.com/graphics-c [...] tesla-k80/

Un mec avait posté des benchs sur Reddit avec ces cartes, faudrait que je le retrouve...

 
ha oui je veux bien si tu retrouve les bench, mais je crois l'avoir vu passé.
Oui les perfs par watt doivent pas être exceptionnelle j'avoue.

 
 
pour les watts c'est assez limité, déjà parce qu'une carte en ia tourne pas tout le temps, et en plus on parle de cartes à 250w de tdp. une 3090 c'est quasi l'équivalent de deux cartes.
 
prennez pas les m10 ou k80...
 
Pour les benchs https://github.com/oobabooga/text-g [...] 1528897556

est il capable de programmer des sortie extravéhiculaire pour des opérations de maintenance ?

C'est exactement ce que je cherchais, j'ai aussi trouvé un adaptateur pour un ventilateur 80 quand tu en colles deux côte a côte (a voir si ça passe)

Il n'y a pas de limitation particulière si on a une P40 plutôt qu'une autre sans parler de la quantité de mémoire.

Si me me souviens bien les autres cartes maxwell ne supporte pas certaines fonctions.
 
Ca m'interesse si tu trouves un autre systeme de refroidissement. J'ai 3 pcie full.
 
Ah oui, tu savais qu'il n'y a pas de sortie video?  

Exactement pour ça que j'ai sollicité GPT  
 
Plus envie de m'emmerder avec ces usages d'un autre âge, hypocrisie totale.

Oui je sais qu'il n'y a pas de sorti, c'est pour mettre sur mon serveur de génération de texte et d'image donc réservé à cette usage avec une carte bi Xeon qui supporte 1To de ram et qui a tous les PCIE qu'il faut  

Je parle de ce support qui a l'air bien
https://cults3d.com/fr/mod%C3%A8le- [...] l-fan-duct

Ça me tente bien aussi, j'imprimerai ça ce week-end...

Si tu fais ça je veux bien un retour sur la taille entre la carte et l'adaptateur ventilateur compris, histoire de voir si ça rentre dans le boîtier.
 
Et si c'est envisageable de modifier le fichier pour faire en sorte d'orienter un vers le haut et un vers le bas pour penser le cas éventuel où on en met 4  
Edit: sur ma CM il faut que j'emploi des risers si je veux faire ça (en mettre 4), donc juste la taille en longueur suffira pour deux cartes , ce qui sera déjà bien associé a mon A4000 pour la génération d'image.

Je préfère ne pas lui demander, c'est le genre de conversation à ne pas rentrer de sitôt.

Tant qu'il ne lit pas sur les lèvres ça va  

Hello, drapeau car j'essaye d'utiliser ollama et codellama avec l'extension Continue pour Visual Studio Code mais j'ai une erreur.
 
Quelqu'un utilise ce combo ?

Non désolé mais ça m'intéresse, je testerai un de ces jours. T'as testé de coller l'erreur dans perplexity.ai avec copilot (gpt4) activé (il faut être loggué)?