Reprise du message précédent :
... et lors de soirée diapo, de légers travellings automatiques sur les photos

Toujours pareil, parce que toi tu pars du principe que 9 couples capteur/lentille suffisent. Moi je n'en sais rien et je pense que tout dépend de l'usage que l'on veut en avoir. Lytro lui, c'est clair, veut faire une application photographique de MAP a posteriori sur des photos à faible PdC avec un bokeh correcte, et si j'en juge par le proto qu'il avait fait en 2005*, il a besoin de plusieurs dizaines de milliers de lentilles (en plus d'un objectif principal). Je suppose que c'est utile pour ce qu'il veut faire. Et là, impossible d'aligner plusieurs dizaines de capteurs de, disons 14x14 pixels chacun, ça ne le fait pas.

(*) Le papier qui explique le fonctionnement du proto qui préfigure l'appareil Lytro : http://graphics.stanford.edu/paper [...] 150dpi.pdf

 
Tiens, j'ai trouvé une autre caméra de cette famille, et celle-là est disponible à la vente (pour que des pros y développent des applis autour j'imagine, parce que le soft fourni reste très basique).
Il s’agit de la caméra ProFUSION 25 de la marque Point Grey :

Source : http://www.ptgrey.com/products/profusion25/index.asp
 
Ce boitier contient 5x5 = 25 caméras VGA (640x480) low cost, chacune muni d’une optique de 5.34mm de distance focale.
 
Cette page contient des images de démonstration à télécharger :
http://pc2.viewplus-unet.ocn.ne.jp [...] pleImages/
Et les manuels :
http://pc2.viewplus-unet.ocn.ne.jp [...] docs_e.zip
 
Sur cette page :
http://www.ptgrey.com/newsletters/jan2008.html
Edit : Il y a une vidéo à télécharger qui présente le produit proFUSION en action :
http://www.ptgrey.com/products/pro [...] efocus.mov
Extrait miniature :

 
Pour les applications, Vlad Tucakov de Point Grey dit : "The applications of light fields are still emerging. However, examples are the ability to select the depth-of-field of a photograph after it is taken, or the ability to render novel 3-D views of the scene without explicitly reconstructing a 3-D model of the image."
=> outre la MAP après coup, ça servirait aussi (aux graphistes j'imagine) pour rendre une vue 3D sans avoir à construire le modèle 3D correspondant.
 
cdlt,
GBo

Intéressant ! Mais bon VGA 8 bits noir & blanc...

Si seulement je savais trouver et monter moi-même ces trucs là  

Oui c'est de la définition VGA car c'est un appareil vidéo en fait : il transmet 25 fps pour chaque caméra, il y a 25 caméras comme ça, ce qui explique le débit de 200 Mbits/s, ce qui commence à faire ! En HD je te dis pas ce que ça ferait...

Sinon, la vidéo à télécharger sur l'application de refocusing montre bien que le "flou" est affreux avec 25 caméras écartées de 12 mm les unes des autres. Par exemple, une ligne horizontale du mur du fond apparait comme 5 lignes bien distinctes quand "la mise point synthétique" est faite sur un premier plan. Pareil pour une ligne verticale => 5 lignes verticales nettes plutot qu'un vague flou comme avec un objectif de grand diamètre. Ca c'est le bokeh ;-)
Ca pourrait s'arranger avec des algos qui fabriquent les points de vue manquants, je suis d'accord en théorie, mais ce n'est pas si simple et je demande à voir, franchement !
En tout cas pour ce qu'ils veulent faire, ça m'étonne de moins en moins que Lytro soit parti sur un échantillonnage angulaire (i.e. le nombre de points du vue différents) natif beaucoup plus dense...

cdlt,
GBo

Cependant dans ma "version" qui correspondrait bien au même écartement entre chaque camera... celles ci ouvriraient plus.
 
Ce qui évidemment exclu la mise au point en post-traitement mais permettrait un flou d'arrière plan plus naturelle directement sans calcul intermédiaire.

"Ce qui évidemment exclu la mise au point en post-traitement..."
Bref, tu parles d'autre chose que de l'application de mise au point après coup permise par la capture de light fields, c'est confirmé.
Pourquoi ne pas exposer ton projet en détail sur la filière des gens qui ont des idées à défaut d'avoir du pétrole ? Pour simuler l'appareil à capteur multiple de ses rêves, au lieu de se lamenter sur son incapacité à le fabriquer, rien n'est plus logique et simple que de commencer par déplacer un appareil mono-capteur mono-objectif dans l'espace entre chaque prise, en limitant le type de scène à des sujets statiques (et alors ?), puis à écrire le soft qui assemble les images comme on l'entend.

Exacte mais mon truc fonctionnerait sur la plupart des prototypes présentés ici et il n'interdirait nullement des fonctions supplémentaire comme le calcul de la profondeur de la scène ou encore l'extension (artificielle) du Bokeh.
 

Le détail de quoi ? Je propose seulement un appareil avec plusieurs objectifs-capteurs comme les modèles présenter ici.
 
Qu'est ce qu'il y a de compliquer à comprendre qui demanderait une simulation ?
 
Tout cela pour sortir une image avec un bokeh plus grand... faut forcement une image pour comprendre ce que c'est ?
 
Et puis même pour entendre dire après que j'ai utilisé la puissance d'un ordi impossible à reproduire avant un siècle sur un petit appareil. Et pour prouver que c'est faux, il me faudra sortir la complexité algorithmique du logiciel !?  
 
Et puis des explications j'en n'ai déjà donné plein sur ce type et l'intérêt d'un tel appareil.

Non, les appareils de la famille 2) présentés ici ont bien plusieurs objectifs-capteurs (25 pour ProFUSION par exemple), mais chaque capteur est très petit (ici par exemple capteur 1/3" ), donc chaque vue élémentaire a une très grande profondeur de champ. C'est l'assemblage des 25 vues (par stack & shift) qui produit le "flou" comme on l'a montré. Alors que toi, dans ta version, tu voulais avoir déjà du flou dès les vues élémentaires ! Le diable est dans les détails

Pour comprendre non, mais pour voir ce que ça donnerait il faut essayer, cf. comme je te le proposais sérieusement : manipe déjà avec un seul appareil à déplacer autour d'une cible fixe, et le post-traitement par tes soins. On en reparle ensuite (ou pas).

Bonsoir,  
 
Il est temps de passer à ce que j’ai appelé la 3ième famille d’appareils, celle de l'appareil plénoptique Lytro par exemple !
Pour rappel, le lien vers le site de Lytro Light Field Camera : http://www.lytro.com/picture_gallery (cliquer dans les photos pour en changer la mise au point).
 
On ne connait pas les specs exactes du Lytro (on ignore par exemple le nombre de pixels et le nombre de micro-lentilles), mais on sait que l’appareil qui va sortir est l’aboutissement grand public d’un projet de recherche commencé au sein de l’université de Stanford il y a 6 ou 7 ans, lequel a fait l’objet d’un prototype (basé sur un appareil Moyen Format modifié) et de publications académiques très fouillées. Les deux principales docs ont été écrites ou co-écrites par Ren Ng, maintenant PDG de Lytro, voir les liens [1] et [2] en fin de post.  
 
On va donc parler ici du prototype de Ng lorsqu’il était à Stanford, sachant qu’à force de fouiner j’ai trouvé une image-capteur qui va nous servir de démonstration pratique (pour les considérations mathématiques et théoriques , je vous renvoie sur les docs, même si je peux essayer de répondre aux questions).  
 
--  
 
Voici une image-capteur (dématricée) telle que sort le prototype Stanford/Ng de 2005 (ici dans une définition appauvrie  puisque l’original est à 4096 *4096 pixels) :  
 
 
L’image est en fait composée de 292x292 « pastilles », chaque pastille étant inscrite dans un carré vu par 14x14 pixels. Ces micro-images sont issues du réseau de 292x292 microlentilles positionné en lieu et place du capteur, le capteur étant, lui, déplacé juste derrière :  

source : [1]
 
NB : ne pas confondre ces micro-lentilles avec les micro-lentilles habituelles de nos capteurs (qui sont au nombre de une par photosite), car les micro-lentilles spéciales du proto sont plus grosses, elles sont vues par 14x14 pixels.
 
Voici trois crops à 100% sur l'image-capteur :  
 
source : [1]
 
On constate déjà que le contenu de chaque micro-image est net même quand la macro-image telle qu’issue de l’objectif principal est floue.  
A noter que l’objectif principal est ici réglé sur f/4 (pour matcher l’ouverture des microlentilles tel que justifié en [1]), ce qui explique la faible profondeur de champ de la macro-image. Voici ce que ça donnerait sur un appareil MF normal :  
 
source : [1]
 
=> c’est un super avantage de la technologie : on n’a pas besoin que la macro-image soit nette pour que les images que l’on en tire le soient (comme on va le voir), et puisqu’on est assez ouvert on capte normalement assez de lumière pour shooter à main levée.  
 
NB : Pour revenir sur les micro-images (les pastilles), il est intéressant de constater que le cas a) qui représente macroscopiquement une joue du premier plan, montre dans les pastilles des bouts de joues dans le même sens que la macro-image, alors que l'image b) montre des pastilles à bouts de joue à l'envers (= à droite au lieu d'être à gauche) car dans ce dernier cas les rayons se sont croisés (cf. [1] et [2] pour plus de détails).
 
--  
 
A ce stade, on se demande bien comment on utilise ces micro-images, et quel rapport avec les captures de light fields présentant plusieurs points de vue comme celles prises par un reflex que l’on déplace le long d'axes X et Y ?  
=> Les documents académiques expliquent qu'il suffit de ré-arranger les pixels de l'image-capteur d'une certaine façon que je vais détailler ci-dessous. Pour vérifier ma bonne compréhension de la méthode, je suis passé aux travaux pratiques avec un petit programme matlab qui part de l'image-capteur de 4096 *4096 pixels.
 
Prenons par exemple le pixel qui est pile poil au centre de chaque micro-image (je l'ai colorié en rouge) :  
 
 
En prenant chacun de ces pixels centraux dans l'ordre pour constituer une nouvelle image, attention magie, j'obtiens une imagette représentant tout le champ de l'image, et à grande PdC ( = entièrement nette), comme celle-ci :  

(image constituée de tous les pixels indiqués en rouge)
 
Notez que cette imagette fait fort logiquement 292x292 pixels, autant que de pastilles dans l'image-capteur de départ.  
 
En prenant maintenant une autre coordonnée de pixel dans les pastilles, par exemple tous ceux que j'ai indiqué en bleu, on obtient une autre imagette à grande PdC, et, attention magie encore plus forte, elle représente un point de vue légèrement différent :  
 
(image constituée de tous les pixels indiqués en bleu)
 
 
Bingo ! Et ainsi de suite. Avec des micro-images de 14x14 pixels comme ici, je peux construire 14x14 = 196 imagettes, donc 196 points de vue différents !  
Les voici mis bout à bout dans un gif animé :  
(sachez que j'ai enlevé les images noires ou trop sombres car les micro-images ne sont hélas pas carrées, et dans chaque carré de 14 x 14 les pixels des coins - plus de 10% - sont noirs et donc inexploitables)  
 
 
 
Ca ne vous rappelle rien ?  
 
 
C'est bien la même chose, à quelques détails près :  
 
- ces points de vue différents, le proto de type Lytro a pu les saisir dans le même instant (le temps d'une pose photographique classique à f/4), ce qui est un avantage certain par rapport au dispositif qui consistait à déplacer laborieusement un appareil photo classique sur deux axes, dès qu'il s'agit de capturer une scène où ça bouge…  
 
- ce sont des imagettes et non des images, alors que chaque image issue du reflex sur chariot motorisé était en pleine définition (idem pour les appareils multi-objectifs/multicapteurs) : ça c’est un gros point à améliorer pour ce système (par exemple grace à des micro lentilles beaucoup plus nombreuses et des capteurs 10 fois plus définis).  
A noter que des chercheurs comme Todor Georgiev d’Adobe indiquent qu’un gain important de résolution est quand même possible avec cette technologie moyennant un algo soft plus sophistiqué (applicable surtout avec une architecture optique légèrement différente comme expliqué en [3], mais valable aussi pour le proto 2005 de Ng).  
Lytro annonce dans son Q&A une définition de l'ordre de la vidéo HD, à voir !  
 
- les écarts de points de vue (donc l’ouverture synthétique) sont limités par les caractéristiques géométriques de l’appareil/optique, alors qu’un déplacement d’appareil peut aller aussi loin que l’on souhaite, et une matrice d’appareils aussi étendue qu’on peut se le permettre (couteux et encombrant cependant).  
C'est pour ça que tous les exemples de Lytro montrent un premier plan rapproché...  
 
--  
 
Continuons : à partir du moment où on a ces 196 imagettes à forte PdC réprésentant des points de vue différents, on se ramène au cas précédemment exposé dans ce post :  
http://forum.hardware.fr/hfr/Photo [...] m#t4330148
Le même petit programme de shift & stack (décalage et superposition) que j'avais utilisé marche tel quel ici pour construire des images à faible PdC synthétique avec choix du plan de mise au point après coup.  
 
 
En voici la preuve (sous forme de gif animé) :  
 
 
 
cdlt,  
GBo  
 
PS : NB : ne faites pas attention aux petits défauts des images, c'est ma faute car je n'ai pas su calibrer pile poil les coordonnées des pastilles entre elles, il y a un léger wander d'une pastille à l'autre sur l'image-capteur (qu'il doit être possible de compenser) et du coup je frôle parfois dangeureusement les bords de pastille (qui sont noirs).  
 
--  
 
Références  
 
[1] Light Field Photography with a Hand-held Plenoptic Camera :  
http://graphics.stanford.edu/paper [...] 150dpi.pdf  
Voir aussi une vidéo à télécharger :  
http://graphics.stanford.edu/paper [...] camera.avi  
 
[2] DIGITAL LIGHT FIELD PHOTOGRAPHY :  
http://www.lytro.com/renng-thesis.pdf  
 
[3] The Focused Plenoptic Camera :  
http://www.tgeorgiev.net/FocusedPlenoptic.pdf

Excellent article clair GBo  

Clair, chapeau bas  

Merci Gbo pour toutes tes explications !

Edit: Et c'est si dur que ca de retrouver l'image-capteur ?

Merci pour vos retours.

Elle n'est pas googable, je l'ai trouvé par hasard en tapant un nom d'image possible après l'URL du site d'un chercheur ! Il y a par ailleurs d'autres images-capteur plénoptiques dispos sur le web pour la recherche, mais c'est pas tout à fait la même architecture optique et il y a encore moins de micro lentilles, donc l'algo tout simple que j'ai suivi ici n'est plus vraiment applicable (ça donnerait des imagettes de la taille d'un timbre puisqu'en suivant ce principe les imagettes ont autant de pixels qu'il y a de micro-lentilles devant le capteur), et je n'ai rien pigé aux autres algos qui permettraient d'en tirer une bonne résolution.

Super ce topic
 
 

Un truc pas évident qui coule de source (ou presque) maintenant avec ces explications    
mici
Mais bon plutôt que de se prendre la tête pour faire la MAP après
faire une bonne MAP avant c'est quand même plus simple    
OK je sors  

Petit up puisque l'appareil de Lytro est maintenant montré et annoncé pour début 2012 :
http://www.macgeneration.com/news/ [...] -numerique
 
Une photo de l'engin prise par Drake Martinet lors de la conférence de presse d'hier :

 
 
Un article plus complet mais en anglais là :
http://www.dpreview.com/articles/7 [...] ith-ren-ng
 

 
Comme sur le proto de Stanford présenté plus haut, il y a une matrice spéciale de lentilles contre le capteur. Le capteur est de 11 Mpx, le Light Field capturé aura donc 11 millions d'informations élémentaires (11 "megarays" selon le néologisme de Ng), à se partager entre la résolution spatiale et la résolution angulaire (il sera donc intéressant de connaitre le nombre de lentilles pour savoir dans quelle proportion ces deux dimensions sont réparties).  
Les images reconstituées avec la MAP choisie après coup seront donc beaucoup moins définies que 11 MPx (toujours motus de la com Lytro sur cette question ), mais ça devrait suffire pour la "socialisation" de ses images intéractives sur le web pour lequel le produit et le soft associé sont visiblement conçus.
Un produit plus pro où l'on pourrait tirer ses images sur A4 ou plus nécessiterait à mon avis un appareil plénoptique à capteur de quelques centaines de Mpx, et de grande dimension (type Moyen Format) pour ne pas être limité par la diffraction. Pas pour tout de suite donc.
 
cdlt,
GBo
 
PS : merci de réserver ce fil pour la partie technique de la discussion éventuelle (pas marketing please)

Merci pour les explications super claires gbo, j'avais lu le doc sur le proto de stanford en 2005 mais c'est bcp plus clair comme cela
 
Il me reste quand meme une petite question: le premier modele annoncé par lytro ouvre a f2, comment cela influe-t'il sur la pdc minimale possible, y a t'il un interet a ouvrir ou fermer plus?

Merci

Je ne sais pas répondre théoriquement mais ça doit influer puisque les images que l'on voit dans le papier [1] en Figure 14 montrent (à taille égale d'affichage) une PdC similaire entre les images reconstituées et celle (en haut de la figure) qui correspond à ce que donnerait l'objectif principal dans un appareil classique. On peut alors supposer qu'un système à plus grande ouverture donnerait une PdC plus étroite sur les images reconstituées.

A ce titre, logiquement la taille du capteur doit aussi jouer, et je me demande du coup si la PdC du produit commercial Lytro sera aussi étroite que celle du proto, car malgré l'ouverture relative plus grande (f/2 au lieu de f/4), son capteur est beaucoup plus petit que celui du proto qui était basé sur du moyen format... On verra avec les prochaines images Lytro, s'il n'y a que des macros ou des plans très rapprochés on saura pourquoi :-)

A noter que si l'on veut augmenter la PdC par contre, rien n'empêche de faire du focus stacking à partir de plusieurs images refocusées consécutives.

Un autre point : f/2 correspond aussi à l'ouverture relative des lentilles du réseau, donc il sera impossible de changer l'ouverture de l'objectif sur cet appareil sans créer les problèmes indiqués en Figure 2 du papier [1].

cdlt,
GBo

 
je veux une lytro

Petit passage pour signaler qu'à HFR on est à la pointe de la technologie puisque en assistant à une conférence d'une pointure du MIT à San Francisco, j'ai pu voir exactement la même image que GBo sur le light field de stanford (les images refocusées étaient un peu plus propre mais les explications moins précises ) et à la session de démonstration j'ai vu la caméra de la boite allemande Raytrix !
 
Bref, j'aurais mieux fait de rester sur HFR j'aurais appris plus de truc  

quelle est la vitesse de l'AF sur des reflex bas et haut de gamme ? A peut près.  
C'est pour savoir s'il sont plus rapide que les meilleurs compacts

Tu peux regarder dans le face à face chez lesnumeriques le test de rapidité : http://www.lesnumeriques.com/appar [...] 11203.html

Y a aucun HFRien qui a reçu/commandé un Lytro ?

ouais je connais se site mais c'est relou je sais pas lequels son bas/haut de gamme
Bon j'ai regarder au hasar (pas trouver de reflex a plus de 1K euro) bah c'est pas fameux
Lent lent lent tout ça alors qu'on vente souvent la vitesse de l'AF des reflex mais mdr quoi, des compacts font mieux que certains reflexs.  
 
C'est quoi qui influe le plus dans la vitesse de l'AF; le boitier ou l'objo ?

generalement c'est le test des numeriques qui influe le plus sur la vitesse (attention mechant troll )

 
l'objectif evidement

étonné que personne ne l'ai encore posté : http://www.dpreview.com/reviews/lytro/

petit up, QoQa France devrait vendre des Lytro a prix compétitif à partir de ce soir minuit.

399€ le 8GB, avec 5€ de fdp... sachant que ce modele est affichéà 399$ chez lytro...
Le classique 1$ <-> 1€ quoi...
C'est surtout qu'on n'en trouve pas ailleurs en France
Pas si compétitif que ça... tout au plus c'est le prix "normal"
 
Surtout que ce genre de produit va très vite se dévaluer

Nouveau et heureux propriétaire ayant profité de la vente QoQa? Ou simple interet théorique?

GBo t'as fait un sacré ménage sur ton serveur ou quoi ? Ton magnifique post d'explication du light field est tout moche maintenant  

Un site qui vaut le détour : http://labs.teehanlax.com/

Notamment pour cette techno (vu sur le topic timelaps)

http://labs.teehanlax.com/project/hyperlapse
http://hyperlapse.tllabs.io/

(updelamortquitue)
 
M'intéressant au Lytro Illum j'ai découvert une section spécifique sur 500px https://500px.com/lytro
 
Bon la présentation du résultat me semble encore un peu grossière, mais ça donne une bonne idée des capacités de l''Illum et de sa technologie !
1600$ ce n'est finalement pas si délirant que ça pour une appareil comme celui ci  

Kesako ?
http://www.pentaxforums.com/articl [...] -view.html
Merci aux experts de la cat d'éclairer ma lanterne

De ce que je comprends, via la stabilisation du capteur, Pentax rend tout les objectifs "Tilt" en tiltant le capteur à la place d'avoir un objectif qui tilte. C'est malin, ça peut dépanner (car l'amplitude du tilt n'est pas énorme non plus), et ce n'est que de la modification soft (donc facile à implémenter sur les stabilisateur 5 axes)

Il me semble qu'ils proposaient un truc du même genre pour l'astrophoto avec un suivi par déplacement du capteur pour éviter les étoiles qui filent...

en même pas 2 ans, il est à 150e  
http://www.ebay.fr/itm/Lytro-Appar [...] 487427106c
 
vu que ça reste encore assez exclusif, à ce tarif yé suis tenté  
 
pour faire joujou quoi