Probablement à celui qui gère la mémoire. L'OS donc.
 
Car l'OS sait ce qu'il fait de toute la mémoire qu'il gère.
Une application n'a accès qu'à l'espace que l'OS lui a alloué via les appels système.
Un OS moderne n'autorise pas les accès directs sans élévation de privilèges, sachant qu'autoriser ça est suicidaire en termes de sécurité.
 
En gros, il vaut toujours mieux laisser l'OS gérer ça, il le fera très probablement mieux que n'importe qui.