Tu ne peux pas remplacer directement dans le fichier. Même les quelques utilitaires qui te le proposent écrivent en fait dans un fichier temporaire, qu'ils utilisent ensuite pour remplacer l'ancien fichier.
Donc le plus simple, c'est de faire le sed > nouveau_fichier, suivi d'un move nouveau_fichier ancien_fichier.