Si tu te sers de ton ordi juste pour regarder des films, tu peux utiliser uniquement VLC qui utilise des filtre pour la decompression vidéo.
Par contre si tu veux te mettre à l'encodage vidéo un jour, là oui il te faudra des codecs. Evites de prendre des pack, c'est la misère. Choisis uniquement xvid 1.1.2 et divx standard (pas de version pro payante quoi).
Pour ta question; oui il est possible de voir un aperçu vidéo comme icone sans K-lite. Il faut juste mettre dans option des dossiers : miniatures