oh la la, OpenGL ce n'est PAS pour le raytracing. Le raytracing ce n'est PAS pour le temps réel de toute manière (ça existe, mais en basse résolution avec des scène simples).
Le principe du raytracing est d'envoyer un rayon de l'oeil dans la scène pour chaque point de l'écran. on peut en envoyer plusieurs pour faire de l'antialiasing. On teste les intersections entre le rayon et les primitives de la scène, et à l'intersection la plus proche, en envoit un rayon pour chaque lumière pour voir si on est dans un ombre ou pas. On calcule le modèle d'éclairage au point, et en envoit éventuellement des rayons réfléchis ou réfractés. Pour voir ce que ça donne, rien de mieux que povray (http://www.povray.org les sources sont sur le site, mais sont balèzes), sinon il faut commencer à la main. Rassure toi avec des primitives comme des sphères ou des plan, c'est facile avec des bases d'algèbre linéaire et euclidienne.