Le swap, quoi qu'il arrive sera toujours nécessaire. Après, reste à savoir de combien il doit être. Le mieux est de commencer par 4 Go, et surveiller son utilisation afin de l'augmenter si nécessaire.
Après, tout dépend aussi de l'application ou du service hébergé sur ton serveur. Voir les préconisations de l'éditeur dans ce cas.