Il te suffit de configurer correctement tes partages : accès à tes comptes utilisateurs uniquement, pas de compte invité, etc.
Tu rajoutes éventuellement un paref-feu qui n'autoriserait que l'entrée par les postes que tu as déterminé, et ça devrait être bon.
Une petite mise en garde : si tes voisins font des conneries sur ta connexion internet (sites douteux, piratage, etc), c'est toi qui sera tenu responsable.