Pour moi, l'optimisation est une mauvaise raison.
Par contre, la bonne raison pour ne jamais mettre d'étoile, c'est que quand ta classe utilise plein d'autres classes de plein d'endroits différents, c'est un cauchemar pour retrouver ces classes si elles sont importées avec une étoile.
Alors que si tu importes tes classes une à une, tu les retrouve très facilement.
Je sais, on va me dire, moi je n'ai que 3 classes et je n'utilise que 5 classes du JDK et c'est tout. Oui, mais ça fait partie de ce genre d'habitudes à prendre trè tôt et qui rendent des services monstres dès que tu dépasses la cinquantaine de classes dans un projet (et ça arrive très vite, crois-moi...)