Reprise du message précédent :

Et comme une bonne nouvelle n'arrive jamais seule.
Add support for MiniMax H3 Ref2Vid training · ostris/ai-toolkit@6ea2819
 
https://rehost.diberie.com/Picture/Get/f/536002

Ils sont on fire eux

Et ça commence déjà à tomber  
 
lightx2v/Minimax-h3-Turbo at main
 

Ouais, et on peut dire qu'ils ont le sens du timing  
Je suis en train de tester, ça enterre tout ce qui se fait en matière de musique générée localement, en qualité mais aussi dans la façon de prompter.

Le truc est fou  
 

 
Tu t'es enregistré quand tu as coincé ta teub dans la fermeture éclair de ta braguette ?    

Ha, ils ont sorti les boomers de l'EHPAD ?

Mes premiers pas    
RTX 5060 8Go. j'y vais tranquille.  
 
J'ai des questions d'ailleurs.
 
Ici je suis parti des belles F1 de Gedemon
On voit que j'ai des artefact. Est ce que c'est du à la résolution de l'image entrante ?  
Par contre j'ai bien gardé le style (utilisation d'un entrant image)  
 

 
 
 
Ensuite un classique d'inspi Japonais ... C'est pour voir quel niveau de contrôle j'ai sur le style.  
 
Prompt de texte : une petite fille bouffe des nouilles

 
Prompt img

 
 
D'autres essais de style  

 
 
 
Et ici j'ai des questions.  
Comment maitriser ce genre de retouches ?  
 
Faut il utiliser des entrants image ? (mets le perso 1 avec le perso 2)  
Ou essayer avec Control (met la posture du perso machin)  
Puis une retouche : fais en sorte que les personnages nous regardent ?  
 
Comment faites vous pour traiter cette chaine de problème ?
- un personnage (entrant img)  
- avec un autre (entrant img)  
- dans une voiture (entrant img)  
- avec un autre décors (entrant img)  
et des postures custom (Contrl ou entrant img ? )  
 

 

Pour générer des prompts pour Minimax audio, y a ce nœud qui est pas mal : https://github.com/benjiyaya/ComfyU [...] ongPlanner

Minimax est dispo en Europe du coup ? j'avais cru comprendre que non

 
Pour la vidéo, j'ai pas testé.
 
Mais d'après ce que j'ai compris (notamment avec les explications dans cette vidéo : https://www.youtube.com/watch?v=3-JSqMHJDJc) :
 
- Rien ne t'empêche de télécharger les modèles utilisables en local.
 
- Les restrictions applicables notamment à l'Europe sont liées aux incertitudes réglementaires.
 
- Il y a un formulaire qui permet de demander l'autorisation d'utiliser le modèle, sous réserve de respecter les restrictions prévues dans la licence. C'est une précaution juridique qui n'est nécessaire que si tu as l'intention de diffuser les vidéos que tu as créées, tant qu'elles restent sur ton PC, tu peux faire ce que tu veux.
 
 
Et pour Minimax audio, il n'y a à ma connaissance aucune restriction.

Pour de la vidéo ?
 
Je fais:
Image 1: brève description
Image 2: brève descirption
 
<subject1> is the exact same person from [Image 1]
<subject2> is the exact same person from [Image 2]
 
et ensuite je construis mon srcipt.  
 
<subject1> and <subject2> are in a car. <subject1> is driving ect...
 
Il y a evidement d'autres façon de faire

Heu non  
Là je parlais juste de piloter une retouche image mais de façon un peu structurée.

la vidéo met mon PC par terre un peu

drapal

 
bon, finalement j'ai testé celui-là:
https://github.com/seitanism/ComfyU [...] t-MultiRef
 
on notera une particularité de Minimax : si on ne lui donne pas un script détaillé des actions à faire, il meuble avec des dialogue en charabia
 
la perte de qualité visuelle est je trouve moins violente qu'avec les solutions précédentes sur WAN ou LTX, mais bien présente, visible après  ~4 extensions.
 
je me demande si c'est cette dégradation qui entraîne des répétitions de l’image de référence (krea2, postée précédemment) vers la fin ici...
 

HD + son : https://streamable.com/icqynv

... ou le retournement + switch de la voiture vers la fin là
 

HD + son : https://streamable.com/dlwhl3

autres exemples:
 
1ère et 3ème: prompt simple, et démerde toi Minimax
2ème: prompt LLM déjà utilisé précédemment, mais x6    

Salut les pros,
 
Comme tout le monde, j'ai envie d'essayer Minimax H3
 
Mais contrairement à vous, je suis un total noob en la matière.
J'ai juste fait 2-3 tests il y a 1 ou 2 ans avec Stability Matrix + Fooocus.
 
Pour Minimax, je n'ai pas envie d'utiliser ComfyUI que je trouve complexe.
ChatGPT m'a proposé comme alternative Pinokio + Maestro + Minimax H3
 
Il me recommande First / Last Pruned 20B tout en me disant que si ma 4090 ferait parfaitement l'affaire, mes 32 Go de DDR5 pourraient être un peu justes.
Il me conseille de n'activer le mode turbo qu'après avoir fait un premier rendu.
 
Premier test, ça a en effet l'air de bouffer pas mal de ressources.    

 
En revanche, pour une première vidéo moisie de 14 secondes, il a mis 17 minutes.

Ah oui, rien à voir, en mode turbo, 7 minutes au lieu de 17 (sur un prompt différent).    
Il faudra que je refasse le test avec un même prompt pour voir s'il y a de grosses différences de qualité

 
 
Je ne trouve pas en FP un guide pour l'organisation de prompt pour la génération d'images. Sur le net je tombe sur des articles générés moyennement satisfaisants.
 
Avez-vous un lien ou un guide correct ?

les prompts sont très différents selon les modèles, tu devrais plus facilement trouver un guide si tu spécifies pour quel modèle.
 
ensuite tu le donnes à un LLM et tu lui demandes de te faire les prompts  

D'autant que l'organisation de prompt qui garantie que c'est bien pris en compte ?
Ca reste ultra random comme tout prompt quoi

Sinon ComfyfUI reste simple dès lors que tu DL des workflow en fait.

Oui et non, le modèle va halluciner pour combler les trous. Mais si tu es suffisamment précis, ça limite beaucoup le côté random, en tout cas avec les modèles récents.

voilà, par exemple tu files à Minimax un prompt simple, et y aura une part de random.
 
tu lui donnes un script détaillé avec des timestamps réalistes basés sur la duré de la vidéo à générer, et il le suivra à la lettre.

Après, il y a des petites astuces : par exemple, si on veut un homme sans barbe, il vaut mieux demander un homme rasé, le modèle le comprendra beaucoup mieux.
 
Pour l'organisation, je commence par décrire les personnages (ou le sujet principal), puis leurs vêtements, ensuite leurs actions/poses, le décor, et je finis par les instructions de caméra. Mais c'est plus par habitude, je ne crois pas que ça change grand-chose au final.

y'a des grokeries par la:
https://www.reddit.com/r/grok/
bordel
https://www.reddit.com/user/extrast [...] bedroom_4/
 
 
EDIT ; a oui j'avais pas tout vu sur le fil grok en fait

Grok ...  
 
Je préfère ce genre d'humour  
https://packaged-media.redd.it/ju92 [...] f90f877299

moyen mais j'ai bien aimé la fin

(non mais grok et le nsfw, c'était tout une histoire pour attraper du client , apres ils se sont assagis, c'est donc a titre documentaire   .. a merde c'est pas du grok en fait ... )

Celle la est sympa
https://www.reddit.com/r/aivideo/s/FNSBXVGwfS

Celle la elle vous termine tous
https://www.reddit.com/r/aivideo/co [...] 0_pro_max/

Chalut,
 
J'ai un problème avec Pinokio > Maestro > Minimax H3.
 
Je lui demande de faire un film de moi en train de jouer sur mon PC et je suis aspiré dans l'écran pour me retrouver dans le jeu vidéo.
 
Je joins donc pour référence 2 photos de moi (face et profil) et une de mon bureau.
 
J'ai beau lui dire que les photos ne servent que de référence et ne doivent à aucun prix apparaitre dans la vidéo, elles apparaissent à tous les coups.
 
J'ai fait rédiger mes prompts par Chatgpt et Copilot, qui eux comprennent très bien ce que je demande et le traduisent apparemment bien dans le prompt avec une interdiction formelle de faire apparaitre les photos, mais rien à faire, les photos apparaissent à tous les coups.
 
C'est ici que j'uploade les photos pour référence.
 
Quelqu'un a une idée de ce que je fais mal ?
 

Je n'utilise pas Pinokio, mais en bas à coté de générate, je vois First / Last (je suppose frames), ce que tu veux faire c'est du Ref2VA ou du Ref2Vid (reference to video).
 
C'est le mode que tu utilises qui le force à commencer et à finir par les images que tu lui donnes.

C'était ça, bien vu.
En prenant H3 Omni au lieu de First / Last, je n'ai plus le problème.
Un énorme merci.  

pas mal de solutions d'upscale sont sortis pour Minimax, j'ai testé celle-là, relativement rapide, inspirée de LTX (une sorte de highres fix, mais video, avec un latent upscale + 2ème passe à 3-5 steps)

https://github.com/LBH-123-AI/Comfy [...] t_Upscaler
https://www.youtube.com/watch?v=CEAdbjg8PqY&t=1s

son + HD: https://civitai.red/images/140519873?highlight=2331484

consomme pas mal de VRAM, mais j'ai aussi vu une version qui fonctionne par tuile/morceau.

Au passage, qualité ou vitesse, faut trouver un équilibre, sachant que les LoRA turbo détruisent le son, et certaines méthode d'accélération détruisent les détails (mains, visages) lors des mouvements

pour l'instant j'utilise le node Comfy "ModelAttentionBackend" avec  "Kitchen attention" (+ turbo Lora pour prévisualiser le résultat d'un prompt)

20 steps sans turbo est vraiment le minimum pour un bon rendu AMHA, et pour un bon son vaut mieux monter à 32 steps (sur le site officiel Minimax, le rendu est fait avec 50 steps)

pour mon exemple c'est 8 step + turbo à 0.4 MP puis 5 steps après latent upscale à 1.2 MP.

ah bah put... c'est tout bon ça !

 
Sauf pour le mec qui se fait couper en deux.    

Certes, mais il est bien rendu quand même  

nan mais ça c'était la version soft    
 
même pas a flesh wound quoi  
 
spoiler    

La canicule étant finie, je vous propose un petit bonus Krea 2.      
 
 
 

 
Il y a des soucis physiques... pense pas que le tranché de bras eût été possible à cet endroit  
Et il y a un truc qui me chiffonne dans le mouvement de sa tête avant/pendant/après sa décapitation.
 

Là par contre, pas de soucis de physique détecté

Hello

C'est quoi la référence en ce moment pour générer en local sur une RTX ?

C'est toujours Chroma1-HD  ?

Z-Image Turbo ou Krea2, comme évoqué (et illustré) plus haut.
 
Jamais entendu parler de Chrome1-HD de mon côté.