Pour en faire quoi ? Normalement, ils sont associés automatiquement à Windows Media Player (mais devraient fonctionner avec VLC, par exemple).
Sinon, le premier éditeur de texte (Bloc-notes, Notepad++) devrait faire l'affaire : ce n'est qu'un fichier texte contenant les chemins d'accès aux fichiers d'une liste de lecture.