Après quelque temps, j'ai fini par trouver.
Je met la réponse ici ça peut servir à quelqu'un d'autre.
On peut ajouter l'option EXCLUDE_FROM_ALL quand on déclare l'executable ou la library.
PS : si un modo trouve que ce topic manque un peu d'intérêt finalement, n'hésitez pas à le supprimer.