L'idéal, a mon avis, si t'as les moyens c'est une appliance (fw/ips) d'un constructeur spécialisé ds ce type de produit.
(Juniper-Netscreen, netasq, checkpoint, Cisco et les d'autres).
Un produit qui fonctionne on va dire "out of the box" (notez les guillement !!), avec mise a jours des signatures d'attaques etc ...
C'est surement plus simple à installer et a maintenir, et avec, a mon avis un gage de qualité (materiel et soft) si tu choisi un constructeur reconnu.
Les firewall sous Linux ou BSD sont surement aussi trés performant mais je pense qu'il faut vraiment une forte compétence pour faire une install de qualité.
Ca devient d'autant plus pointu si tu veux faire un equivalent d'UTM.