Au départ, tu devrais utiliser des mémoires de même fréquence, sinon ton BIOS va s'aligner sur la plus faible et effectivement créer une bride. Dans ton cas ta PC3200 va s'aligner sur la fréquence de la PC2700, soit 166 MHz au lieu de 200 MHz.
Je n'ai pas d'explication certaine pour ta limite à 133 , essaye avec seulement la PC3200 pour vérifier qu'elle tourne bien à 200 MHz. Cette limite vient pour une bonne part du fait que tu utilises deux mémoires différentes en même temps. Lance CPU-Z (avec un seul type de barrette branché sur ta CM), et lis ta fréquence réelle et les tables SPD (onglets Memory et SPD), ça te fournira peut-être une réponse.
Tes problèmes de stabilité peuvent avoir des causes multiples : instabilité processeur, instabilité carte graphique, refroidissement insuffisant, voltages insuffisants. Il faudrait que tu testes chaque composant séparément et que tu valides tes OC un par un. Si tu OC tout en même temps sans être certain des tolérances, tu auras du mal à voir d'où vient le plantage, donc reprends tout au début.