Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
3055 connectés 

  FORUM HardWare.fr
  Systèmes & Réseaux Pro
  Réseaux

  construire un serveur tout-en-un web-git-NAS-media-mail redondant

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

construire un serveur tout-en-un web-git-NAS-media-mail redondant

n°169031
serverbuil​der
Posté le 29-03-2020 à 23:26:48  profilanswer
 

Bonjour tout le monde,
 
ce poste est super long, je m'excuse d'avance, mais il devrait être intéressant à lire en tant que guide collaboratif ultime pour s'auto-héberger.

Je prévois de modifier ce post initial au fur et à mesure que des personnes commenteront des réponses/suggestions, en les mentionnant @ dans le post.
 
J'ai numéroté chaque besoin et question pour qu'on puisse faire des liens directs à des paragraphes.
 
Vous pouvez ne pas être capable ou n'avoir pas le temps de répondre à tout, mais j'apprécierais beaucoup même des réponses partielles ou même des liens vers du contenu externe (français ou anglais) svp.
 
En gros la question finale c'est : au vu de mes besoins, vous me conseillez quel OS, carte-mère, processeur, montant de RAM, GPU, paquets, choses à ne pas faire svp?
 
(J'ai en effet effectué quelques recherches préalables mais je ne trouve rien datant de 2020 qui traite du sujet dans sa globalité, désolé)
____________________________________________________________
 
Ma vitesse internet :
0) 500 Mbps en upload, robustesse fibre optique
 
Mes besoins:
1) Un serveur media (streaming musique et vidéo en local et à l'extérieur, avec potentiellement une trentaine d'appareils connectés sur le long terme, tirant sur un même fichier, mais ayant chacun son avancement qui lui est propre)
2) Un serveur web (10 sites/sous-domaines, incluant quelques sites marchands), redondant, c'est-à-dire que tout est incrémentallement cloné sur un serveur ayant autant d'espace de stockage et situé ailleurs, de sorte que quand un service crash ou que l'OS a besoin d'une mise-à-jour, le serveur clone prenne le relais temporairement afin que les sites restent accessibles.
3) Un NAS pour avoir mon Cloud possédé par aucun tiers, lui aussi redondant
4) Un emplacement Git, je ne veux pas que mes projets en cours soit stockés ailleurs que sur mes serveurs. Et je voulais savoir si c'était possible de mettre en place une page web qui ressemble en tout point à une page Github, pour d'éventuels collaborateurs autorisés à y accéder.
5) Un serveur mail, redondant, avec le moins de clients cross-plateforme/appareils différents possible (je cherche un truc qui puisse s'installer sur linux et android au moins, et optionnellement windows macOS iOS et android wear (pour les montres connectées))
6) Un serveur de prise de notes pour synchroniser mes post-its, redondant et accessible via appareils portatifs
7) Un serveur d'agenda, cross-appareils là aussi
8) Un dictionnaire de mot de passes, redondant et sécurisé
9) Un outil semblable aux comptes google et mozilla pour synchroniser les favoris, mais + puissant au sens où il soit capable de le faire pour différents navigateurs web (et toujours cross-appareils), avec en plus la possibilité de trier et indexer (par hashtags plutôt que dossier par exemple) les favoris.
10) Un serveur de SMS et d'appels (je ne sais pas si c'est possible, mais par exemple pouvoir envoyer des SMS (les grandes entreprises le font via des numéros à 4 chiffres type "36XX" ) à des gens ayant souscrit, et pouvoir faire rediriger les appels émis par mon portable vers mon fixe vers une boîte noire à numéro de téléphone variable vers le destinataire final (c'est possible??)
11) Un serveur caméra,redondant, pour suivre des impressions 3d depuis l'extérieur
12) Un serveur d'impression qui puisse wake-on-LAN l'imprimante papier pour imprimer.
13) Le tout dans un boîtier + compact que les standards pour unité centrale. J'aimerais qu'elle puisse être contenue elle et ses branchements dans un meuble ayant pour espace 32x56x37cm. Un boîtier tout fait à hotswap serait l'idéal. Sur le long terme je compte lui monter 4 HDD.
14) Des flux de données sécurisés (j'ai jamais su à quel point nos FAI voyaient tout ce qu'on downloadait/uploadait, et si ils voyaient même les flux locaux (par exemple de mon ordi à l'imprimante) qui transitaient par leur box faisant office de switch), du coup je pourrais vouloir avoir mon propre serveur DNS, et héberger des nodes Tor/Mastodon/etc...
 
Mes appareils utilisant le réseau:
15) Des PC câblés, des ordinateurs potentiellement connecté à l'extérieur via des réseaux publics, idem pour des smartphones, tablettes, ET montres connectées
 
Mon budget:
16) ~300€ pour le boîtier + carte + processeur + RAM + alim + ventilateur(s) silencieux + dedicated carte graphique + de quoi monter l'OS dessus. Je compte tout prendre d'occasion et je crois que je peux recycler un NVMe M.2 de 100Go pour l'OS.
~700€ en tout si j'ajoute les 4 HDD.
____________________________________________________________
 
Mes dilemmes à propos du sujet numéroté :
0)
0.1) Quand un opérateur me fournit 1Gbps en descendant et 500Mbps en montant, est-ce que ça veut dire que je peux remplir ces "deux canaux" simultanément? Ou je dois séquentiellement d'abord charger mes 1Gbps puis uploader mes 500Mbps?
-> << l'upload et le download sont indépendants >> @Ivy gu

0.2.1) Est-ce que ça serait une sage décision de sur-dimensionner les performances de mes composants (par exemple un processeur dernier cri, et 4Go de RAM en plus du nécessaire) pour fournir des résultats en temps-réel de calculs trop complexes à d'autres appareils? (exemple traitement d'image sur les frames d'une caméra renvoyé à 100 Hz, calcul matriciel de grande dimension ~30x30)
0.2.2) Comment savoir à quel point ma connexion internet est fiable et peut délivrer ce genre de résultat toutes les milisecondes sur un appareil externe?
0.3) J'ai entendu parler du fait de cabler son PC à son NAS via 2 câbles gigabit, ça sert à quoi? Doubler la vitesse de transfert? Mais faut fonctionner en SSD partout pour ça nan? Car les HDD SATAIII débitent du 600Mbps=~100Mo/s max c'est bien ça? En gros de combien de ports ethernet ai-je besoin?
 
1(+0))
1.1) Plex est connu pour être un netflix+spotify/deezer maison et de pouvoir en plus caster des chaînes TV en temps réel, mais de ce que j'ai trouvé sur leur site faut leur payer 5€/mois pour avoir la possibilité de télécharger le contenu en hors-ligne sur les appareils portables. Ce détail a déjà son importance pour les smicards comme moi.
Mais ce qui pourrait véritablement tous nous inquiéter, c'est la vitesse et la sécurité des streams : si je comprends bien, outre le fait d'appliquer leur IA pour organiser nos fichiers et compléter leur métadonnées, ils doivent synchroniser notre bibliothèque dans leur serveur pour pouvoir nous fournir des streams moins saccadés grâce à leur fournisseur internet + puissants que les nôtres.
Donc finalement ma question c'est : vous connaîtriez un paquet qui fournit ce genre de service sans passer par un serveur tiers?
J'ai trouvé :

  • Audio+VideoStations et Moments, 3 applis de Synology, mais du coup utilisables que sur leur OS DSM, c'est ça?
  • Emby
  • Jellyfyn

Mais je sais pas si l'un d'eux remplit tous ces besoins, et si le stream de musique marche sur smartwatches (je n'avais trouvé que Wearify pour l'OS android wear, qui avait besoin d'un compte Spotify Premium, pouvait pas stocker en offline, et passait les sons en mode aléatoire)
1.2) Est-ce qu'une vitesse de 500Mbps en montant ça parait assez pour ces besoins en media (disons 10 streams de 1080p) et web (des visiteurs visionnant des vidéos 4k60fps que je ne compte pas mettre sur youtube) ? Ou vaut mieux attendre encore avant de construire un serveur? (Free fournit du 8Gbps en descendant sur leur offre à 60€/mois et obligent à débourser plusieurs centaines d'euros à la livraison de leur matos mais je crois qu'ils cantonnent quand même leurs clients privilégiés à du 1Gbps max en up)
1.3) Ai-je besoin d'une carte graphique dédiée? Les lignes de commandes en SSH ça me dérange pas, mais ce gars https://www.youtube.com/watch?v=HSZ27iBAKgc semble dire que c'est super utile pour transcoder à la volée des fichiers 4K en .mkv vers un téléphone qui prend du .mp4 1080p.
 
2) A propos du serveur web,
2.1) Quel OS vous recommandez ? J'ai trouvé un tuto génial de grafikart pour setup du web sur Debian, mais rien sur centOS, qui est le meilleur OS pour un serveur d'après ce qui se dit sur internet...
Ya aussi le youtubeur Philippe Allaire qui a fini par se tourner vers WindowsServer2019 qui prend en charge la redondance, mais est-ce que ça répondrait à tous mes besoins ci-dessus?
2.2) Nginx ou Apache2 pour ~10sites brassant au total 1000 visiteurs max avec un chat public et des vidéos 4k60fps self-hosted ?
2.3) Est-ce que c'est safe de stocker :

  • databases avec codes de cartes de crédit et adresses IP
  • sites web accessibles par tout le monde donc
  • emails
  • NAS avec fichiers persos
  • code où seuls ceux ayant un mot de passe peuvent collaber dessus

Sur un même serveur? Ca se fait de faire tourner un serveur sur Qubes OS ? Vous connaîtriez des tutos?
 
3) A propos du NAS, j'ai lu quelques trucs sur:
3.1) rSync linux tool, c'est pas galère de setup ça entre 10 appareils différents, dont du android?
3.2) nextCloud, ça m'a bien l'air cross-plateformes et appareils, donc cool pour des membres de ma famille qui voudrait aller chez apple et ont windows sur leur ordi, mais est-ce que les flux de données passent par leurs serveurs? Ils ont l'air entièrement gratuits mais je me méfie...
 
4) Git
4.1) Je connais que les bases et jusque là j'utilisais bitbucket pour du privé et github pour du public.
Maintenant si je décide de faire mes commits en local pendant des années, le jour ou je mets le repository en ligne sur github, ça affichera bien tous mes commits? J'imagine que oui,
mais est-ce que ya un système pour que ça affiche les issues pointées par mes potentiels collaborateurs autorisés durant toutes ces années?
4.2) En gros est-ce que je peux avoir une page github accessible par mots de passe (sans payer de compte PRO à microsoft) qui montre les issues ouvertes et les lignes de code ajoutées/deleted d'un commit à l'autre, tout en étant hébergée sur mon propre serveur?
 
5) J'ai lu que thunderbird existait pas pour android. Vous auriez un outil similaire cross-plateformes et cross-appareils?
 
6) Idem pour les post-its, j'avais trouvé un truc utilisant webDAV mais je retrouve plus le nom mais surtout pas de tuto pour setup ça
 
7) Idem pour l'agenda je cherche encore un client sécurisé et assez élaboré pour pas exemple importer un historique google agenda et potentiellement envoyer des requêtes sur des google agendas de gens qui n'ont que ça.
 
8) J'ai lu qu'il existait KeePass X pour android, mais pas trouvé de tutos. Ca fonctionne comme une table de mots de passe dans laquelle fouiller? Ou ça permet de proposer les id dans les champs de différents naviguateurs android?
 
9) Je sais qu'on peut d'un côté sync tous ses favs chrome ou mozilla, et de l'autre organiser ses favs via des add-ons, mais j'imagine que ça le fait que sur un instance de mozilla, et que ça fonctionne pas de pair avec le compte synchronisateur. Donc connaîtriez un outil qui synchronise et organise ça, accessible sur n'importe quel naviguateur de n'importe quel appareil, et qui stocke la table sur mon réseau local?
 
10) Est-ce possible cette histoire d'envoyer les SMS plutôt des emails, et d'émettre des appels sans que soit visible le numéro associé à ma SIM ?
 
11) Est-ce que la fonction camera recording a besoin (même temporairement) de gigas de RAM ? Ou tout va direct dans les HDD ?
 
12) Un outil pour wake-on-lan une imprimante papier? Dois-je inclure une raspberry dans le budget?
 
13) A propos des dimensions
13.1) Ca m'oblige à prendre une carte mère type mini-ITX ? Ou des boîtiers plus petits que les "standards" existent qui permettent de loger une carte de taille standard? Vos références les moins chères? (Avec hotswap ça serait cool)
13.2) Dois-je mettre l'OS sur un disque séparé ou dans une partition de l'un des 4 HDD ? Si séparé, même en supposant que je ne délèguerai pas de calculs complexes à faire sur ce serveur, faut-il quand même une unité de stockage rapide? SSD SataIII ? NVMe M.2 ?
 
14) Héberger des nodes de systèmes décentralisés, ça requiert l'approbations de quelconques autorités? Vous avez des bons tutos pour le DNS et Tor? Ou pour en apprendre plus sur la transmissions d'informations par internet?
 
18) A propos de la consommation d'electricité,
18.1) Faudra une GPU vous pensez? Si oui, auriez-vous un modèle à conseiller? Des ventilateurs sont-ils nécessaires? Si oui, ça existe des copies de Noctua pour beaucoup moins cher?
18.2) Comment estimer la consommation des HDDs ? des barrettes de RAM ?
18.3) Qu'est-ce que veut dire "64Mo de cache" sur un HDD ?
18.4) Est-ce que l'adjectif "red" sur la gamme de HDD western digital n'est que du marketting?
18.5) Ca change quoi en terme de performances/conso/bruit que le HDD fasse 5400 ou 7XXX tours par minute?
18.6) Avec tout ça il me faudrait une alim de combien de watts vous pensez?
 
17) le budget
17.1) C'est safe de prendre des pièces d'occasion pour un serveur qui tourne h24? Combien de temps vivent un processeur/GPU/RAM/alim/NVme unit? Y a-t-il un moyen de savoir quelle quantité de données a été écrite sur un HDD d'occasion?
17.2) Vu que je risque d'être short niveau budget, je pense d'abord peupler 2 baies en RAID1 et ajouter 2 disques plus tard pour du raid5/6. Tous les OS prennent-ils ça en charge ? (de plugger des disques à chaud)
17.3) Est-ce que ça doit être au final 4 mêmes HDD en terme de modèles et espace? J'ai lu que l'OS unRAID permettait une hétérogénéité, mais je sais pas pour Debian ou centOS...
17.4) ZFS ou EXT4 pour le système de fichiers dans lequel formatter les HDD ?

Message cité 1 fois
Message édité par serverbuilder le 30-03-2020 à 00:03:40
mood
Publicité
Posté le 29-03-2020 à 23:26:48  profilanswer
 

n°169032
Ivy gu
3 blobcats dans un trenchcoat
Posté le 29-03-2020 à 23:56:44  profilanswer
 

serverbuilder a écrit :


0.1) Quand un opérateur me fournit 1Gbps en descendant et 500Mbps en montant, est-ce que ça veut dire que je peux remplir ces "deux canaux" simultanément? Ou je dois séquentiellement d'abord charger mes 1Gbps puis uploader mes 500Mbps?


 
l'upload et le download sont indépendants
 

serverbuilder a écrit :


0.2.1) Est-ce que ça serait une sage décision de sur-dimensionner les performances de mes composants (par exemple un processeur dernier cri, et 4Go de RAM en plus du nécessaire) pour fournir des résultats en temps-réel de calculs trop complexes à d'autres appareils? (exemple traitement d'image sur les frames d'une caméra renvoyé à 100 Hz, calcul matriciel de grande dimension ~30x30)


 
il faut avant tout déterminer quel est le besoin hardware pour chaque usage. C'est la première étape du dimmensionnement.
 

serverbuilder a écrit :


0.3) J'ai entendu parler du fait de cabler son PC à son NAS via 2 câbles gigabit, ça sert à quoi? Doubler la vitesse de transfert? Mais faut fonctionner en SSD partout pour ça nan? Car les HDD SATAIII débitent du 600Mbps=~100Mo/s max c'est bien ça? En gros de combien de ports ethernet ai-je besoin?


 
1
 
 

serverbuilder a écrit :


1.2) Est-ce qu'une vitesse de 500Mbps en montant ça parait assez pour ces besoins en media (disons 10 streams de 1080p) et web (des visiteurs visionnant des vidéos 4k60fps que je ne compte pas mettre sur youtube) ?


 
Il n'y a pas de relation directe entre la résolution/framerate et le débit nécessaire. Fais un test avec un flux, vois combien ça consomme, multiplie par le nombre d'utilisateurs cible.
 

serverbuilder a écrit :


2) Un serveur web (10 sites/sous-domaines, incluant quelques sites marchands), redondant, c'est-à-dire que tout est incrémentallement cloné sur un serveur ayant autant d'espace de stockage et situé ailleurs, de sorte que quand un service crash ou que l'OS a besoin d'une mise-à-jour, le serveur clone prenne le relais temporairement afin que les sites restent accessibles.


 
Réfléchis bien à ce que tu comptes faire vis-a-vis de tes données persistantes (BDD), en général ce n'est pas aussi simple que ça, surtout quand derrière c'est un service commercial avec des clients et de l'argent qui circule (et donc les attentes qui vont avec).
 

serverbuilder a écrit :


2.1) Quel OS vous recommandez ? J'ai trouvé un tuto génial de grafikart pour setup du web sur Debian, mais rien sur centOS, qui est le meilleur OS pour un serveur d'après ce qui se dit sur internet...


 
Il n'existe pas de meilleur OS pour serveur. Il y a plein d'OS appropriés à cet usage, la limite c'est surtout les capacités de la personne qui les administre.
 
 

serverbuilder a écrit :


2.3) Est-ce que c'est safe de stocker :

  • databases avec codes de cartes de crédit et adresses IP
  • sites web accessibles par tout le monde donc
  • emails
  • NAS avec fichiers persos
  • code où seuls ceux ayant un mot de passe peuvent collaber dessus



 
Ce n'est jamais safe de stocker des codes de cartes de crédit en tant qu'amateur, tu ne devrais vraiment pas.
 
 

serverbuilder a écrit :


3.2) nextCloud, ça m'a bien l'air cross-plateformes et appareils, donc cool pour des membres de ma famille qui voudrait aller chez apple et ont windows sur leur ordi, mais est-ce que les flux de données passent par leurs serveurs? Ils ont l'air entièrement gratuits mais je me méfie...


 
ben c'est de l'open source...


---------------
All words are made-up.
n°169033
serverbuil​der
Posté le 30-03-2020 à 00:22:52  profilanswer
 

Ivy gu a écrit :

il faut avant tout déterminer quel est le besoin hardware pour chaque usage. C'est la première étape du dimmensionnement.


Connaîtriez-vous svp un moyen autre que

  • mettre en place le serveur et prendre des mesures après coup,
  • espérer des retours d'un sysAdmin qui fasse tourner les services que je vise, dans les mêmes proportions

?
 

Ivy gu a écrit :

Réfléchis bien à ce que tu comptes faire vis-a-vis de tes données persistantes (BDD), en général ce n'est pas aussi simple que ça, surtout quand derrière c'est un service commercial avec des clients et de l'argent qui circule (et donc les attentes qui vont avec).


Ivy gu a écrit :

Ce n'est jamais safe de stocker des codes de cartes de crédit en tant qu'amateur, tu ne devrais vraiment pas.


Sauriez-vous où les experts d'aujourd'hui se sont formés à ce fonctionnement svp? Je dois voir ça en personne avec la banque du marchand? Ou chaque banque fournit une API dans laquelle on renseigne le RIB du compte dans lequel iront les payements?
 

Ivy gu a écrit :

Il n'existe pas de meilleur OS pour serveur. Il y a plein d'OS appropriés à cet usage, la limite c'est surtout les capacités de la personne qui les administre.


Ici je compte choisir mon OS en fonction des paquets disponibles avec. CentOS et Debian n'ont pas les mêmes dépots, je me trompe ??
 

Ivy gu a écrit :

ben c'est de l'open source...


Github était opensource aussi jusqu'à leur rachat par microsoft non? Pourtant il me semble que lors d'un push, nos repositories étaient quand même envoyés sur les serveurs de github. Après certes n'importe qui peut cloner des repos sur un github décentralisé, mais si microsoft voulait cloner l'intégralité du web ça leur rendrait la tâche + difficile que de tout centraliser

n°169034
clockover
That's the life
Posté le 30-03-2020 à 07:53:58  profilanswer
 

En général ce genre d'infrastructure (répondant aux besoins énoncés) ne se fera déjà pas sur un seul serveur.
 
De plus vu qu'il y a de l'attente professionnelle (argent + stockage de données confidentielles) dessus, il ne faudra pas faire ça en amateur mais faire appel à un professionnel.
Il faut la savoir faire pour la redondance, la sauvegarde, la maintenance, la montée en charge, ...
 
"guide collaboratif ultime pour s'auto-héberger."
Pas du tout, tu énonces des besoins tout de même spécifique sinon un SYno suffirait :)


Message édité par clockover le 30-03-2020 à 07:54:36
n°169036
Modération
Posté le 30-03-2020 à 08:50:02  answer
 

rien de pro, voir topic dédié en cat gd public


Aller à :
  FORUM HardWare.fr
  Systèmes & Réseaux Pro
  Réseaux

  construire un serveur tout-en-un web-git-NAS-media-mail redondant

 

Sujets relatifs
Bonne pratique d'Office 365, Teams et questions associéesQuel solution serveur pour un bureau avec 3 postes clients
probleme de connection Pc au serveur vpn client openVPNProblème écriture NAS Synology
Aide pour RAID1 serveur HPConfiguration serveur Sftp sous Windows Server 2012 r2
Logiciel ne voit pas la bonne carte réseau serveur windows 2016Serveur a 2 cartes reseau-la communication scada se deconnecte
Quelle config pour un serveur 
Plus de sujets relatifs à : construire un serveur tout-en-un web-git-NAS-media-mail redondant


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR