Vangelis commence à composer à 4 ans et joue en public dès l'âge de 6 ans, c'est un autodidacte. Il a refusé d'apprendre le piano de manière traditionnelle et il a mené toute sa carrière sans jamais avoir eu de connaissance approfondie du solfège. Il a étudié la musique classique, la peinture ainsi que la réalisation de films à l'Académie des arts d'Athènes.
 
Début des années 1960, il intègre à quinze ans le groupe jazz The Forminx qui connut un grand succès en Grèce. Lors des soulèvements étudiants de mai 1968, il vient à Paris et monte le groupe de rock progressif Aphrodite's child avec Demis Roussos et Loukas Sideras. Leur plus gros tube en Europe reste sans conteste Rain and Tears. Le groupe se sépare en 1971 et Vangelis termine seul leur dernier album, intitulé 666, bien que Demis Roussos ait fait quelques apparitions sur les travaux suivants de Vangelis.
 
Vangelis a débuté sa carrière solo en composant la bande originale du film films Sex Power en 1970 réalisé par Henry Chapier puis celles du réalisateur français Frédéric Rossif en 1973.
 
Son premier album solo officiel, Earth, a été réalisé en 1974 sous le nom de Vangelis O. Papathanassiou. À peu près au même moment, il a répété durant deux semaines avec un autre groupe de rock progressif, Yes. Même s'il n'a jamais rejoint le groupe, il est devenu très ami avec le chanteur Jon Anderson avec qui il travaillera plus tard à plusieurs occasions. Sur l'album Heaven and Hell d'abord en 1975 où Jon Anderson chante le morceau So long ago, so clear ; puis pour la bande originale du documentaire Opéra sauvage en 1979 où il joue de la harpe sur le dernier morceau (Flamants roses). Par la suite, sous le nom de Jon and Vangelis, ils sortiront quatre albums qu'ils écrivent, composent et interprètent : Short stories en 1980, The friends of Mr. Cairo en 1981, Private collection en 1983 et enfin Page of life en 1991
 
Après avoir déménagé à Londres, Vangelis a signé un contrat avec RCA Records, monté son propre studio (Nemo Studios) et a commencé à enregistrer une série de disques de musique électronique qui ont reçu un excellent accueil. La musique du célèbre album sorti en 1975 Heaven and Hell fut utilisée en 1980 comme thème de la série télévisée de la BBC Cosmos (inédite en France).
 
En 1982, Vangelis gagna l'oscar de la meilleure musique de film pour Les Chariots de feu. Le thème principal a culminé en tête des palmarès américains et européens durant un an après avoir occupé la première place pendant une semaine.
 
C'est durant cette même année qu'il a commencé à travailler avec le réalisateur Ridley Scott ; Vangelis a écrit les musiques des films Blade Runner et 1492 : Christophe Colomb.
 
Il a également composé la musique de plusieurs documentaires sous-marins du commandant Jacques-Yves Cousteau.
 
Il reçoit, en 1989, le Max Steiner Award pour l'ensemble de ses bandes originales, et devient membre du Jury pour le Festival de Cannes en 1991.
 
En 1992, la France l'a fait Chevalier de l'Ordre des arts et lettres. Cette même année là il sort la musique du film 1492 : Christophe Colomb de Ridley Scott et compose la musique du film Lune de fiel de son ami Roman Polanski, en collaboration avec son ingénieur du son Frederick Rousseau.
 
Mythodea (orchestral plus qu'électronique), sorti en 2001, fut à l'origine écrit en 1993 et fut utilisé par la NASA comme thème des missions vers la planète Mars. En 2004, il revient à la musique de film après plusieurs années d'absence en composant la bande originale du film d'Oliver Stone, Alexandre. Vangelis obtient le WSA Public Choice Award pour la bande originale Alexandre en 2005.