En général un Ryzen "non X" tien sans problème les fréquence du X en OC (d'où l'achat d'un X pas toujours utile), avec un ventirad d'origine. Un 3600 ça monte déjà à 4,2 GHz en boost, et 3,6 GHz en normal, donc 3,7/3,8 GHz ça semble "fingers in the noze"... surtout en water (même si contrairement à un bon gros rad, le water ne refroidit que le proc, et moins les étages d'alim qui font défaut, parfois...).
Vu tes désirs ça semble tranquille.
Perso, j'ai un R5 2600 et avec un AIO 120 Antec c'est tranquille niveau températures. Mon ancien i5 avait un bon rad, mais c'était plus chaud (aussi parceque j'ai jamais pu installer convennablement l'AIO sur le socket Intel )... Après clairement si mon AIO montre le moindre signe de faiblesse je repasse sur aircooling (la pompe c'est une horreur), le silence était d'or, même en charge