Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1420 connectés 

  FORUM HardWare.fr
  Linux et OS Alternatifs
  Logiciels

  [Cluster] Aide à l'instalation de Hadoop

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

[Cluster] Aide à l'instalation de Hadoop

n°1387721
Kyjja
Liquefaction imminente
Posté le 06-03-2016 à 01:47:23  profilanswer
 

:hello:

 

Souhaitant mettre en place un petit cluster (à base de SBC), j'ai lu deux-trois trucs sur le net et il semblerait que la solution la plus simple soit d'utiliser Hadoop.

 

Un petit coup de Qwant plus tard, me voici en train de lire ce tutoriel, mais évidemment comme tout nouveau venu dans l'univers manchot je bloque sur une étape :o

 

C'est celle de la configuration de hadoop-env.sh : je n'arrive pas à trouver le fichier, ni à utiliser les commandes pour le localiser.  [:etahos:1]

 

Infos utiles :

 

Hardware : Orange Pi PC (SoC Allwinner H3 (CPU quad-core ARMv7), 1GB RAM)
OS : Dietpi (basée sur Debian Jessie)
Version de java : 1.7.0_95
Version de Hadoop : 2.7.2

 


HALP :(


Message édité par Kyjja le 06-03-2016 à 01:53:07

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
mood
Publicité
Posté le 06-03-2016 à 01:47:23  profilanswer
 

n°1387758
Profil sup​primé
Posté le 07-03-2016 à 09:26:03  answer
 

Hello!
 
Pour trouver un fichier, tu as la commande find:
 
find <chemin> -name <nom_du_fichier>
 
Par exemple, si tu supposes que ton fichier est dans /usr:
 
find /usr -name hadoop-env.sh
 
Ou si tu ne sais pas du tout ou il est:  
find / -name hadoop-env.sh -local
 

n°1387769
Kyjja
Liquefaction imminente
Posté le 07-03-2016 à 13:46:35  profilanswer
 

La dernière ligne ne marche pas, j'obtiens un

Code :
  1. find: unknown predicate `-local'


 
Par contre j'ai trouvé ce fichier (et d'autres que je cherchais) grâce à la première ligne. :jap:
 
Là j'en suis à chercher /conf/mapred-site.xml ... qui n'est donc pas dans /usr a priori.


---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
n°1387770
Profil sup​primé
Posté le 07-03-2016 à 14:30:00  answer
 

Kyjja a écrit :

La dernière ligne ne marche pas, j'obtiens un

Code :
  1. find: unknown predicate `-local'


 
Par contre j'ai trouvé ce fichier (et d'autres que je cherchais) grâce à la première ligne. :jap:
 
Là j'en suis à chercher /conf/mapred-site.xml ... qui n'est donc pas dans /usr a priori.


 
Oui apres ca depends de ton os, certains find ont plus d'options que d'autres  ;)  le -local limite la recherche aux disques locaux sur un SunOS (Solaris). J'ai pas de Linux sous la main...

n°1387902
djalex
Ancien Modérateur
Posté le 10-03-2016 à 18:10:37  profilanswer
 

hello
 
sinon tu as locate <nom de ton fichier ou repertoire>
 


---------------
------------------------------------------
n°1387971
Kyjja
Liquefaction imminente
Posté le 11-03-2016 à 18:54:51  profilanswer
 

Dietpi (qui est basé sur debian) connait pas locate :o
 
(au passage je suis de nouveau bloqué à hadoop-env.sh [:dawa].
 
Faut vraiment que je déniche un script qui m'auto-install cette merde.  [:dakans]

Message cité 1 fois
Message édité par Kyjja le 11-03-2016 à 18:58:11

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
n°1388029
djalex
Ancien Modérateur
Posté le 12-03-2016 à 17:44:47  profilanswer
 

Kyjja a écrit :

Dietpi (qui est basé sur debian) connait pas locate :o
 
(au passage je suis de nouveau bloqué à hadoop-env.sh [:dawa].
 
Faut vraiment que je déniche un script qui m'auto-install cette merde.  [:dakans]


 
 
 
apt-get install locate :d


---------------
------------------------------------------
n°1388031
Kyjja
Liquefaction imminente
Posté le 12-03-2016 à 17:52:07  profilanswer
 

Mais lolz, pourquoi c'est pas d'office dans les distros ça ? :o
 
Bon, de toute je tente d'utiliser un script de fainéant pour faire l'installation à ma place parce que j'en ai marre => https://github.com/zubayr/single_node_hadoop_cluster
 
Et là il me balance du permission denied en root, sisi.
 

Code :
  1. root@DietPi:~# ./single_node_hadoop_cluster.sh --help
  2. -bash: ./single_node_hadoop_cluster.sh: Permission denied
  3. root@DietPi:~# sudo ./single_node_hadoop_cluster.sh -i
  4. sudo: ./single_node_hadoop_cluster.sh: command not found


 
 [:dakans]


Message édité par Kyjja le 12-03-2016 à 17:52:54

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
n°1388033
djalex
Ancien Modérateur
Posté le 12-03-2016 à 18:18:27  profilanswer
 

c'est normal, faut changer le mode du fichier, il ne doit pas etre executable :o


---------------
------------------------------------------
n°1388037
Kyjja
Liquefaction imminente
Posté le 12-03-2016 à 18:48:37  profilanswer
 

Fichtre, et comment on "change un mode" de fichier ? :o
 
(ouais ouais, moi j'ai été élevé au biberon point'n click Windows, ok ? :o)


---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
mood
Publicité
Posté le 12-03-2016 à 18:48:37  profilanswer
 

n°1388040
djalex
Ancien Modérateur
Posté le 12-03-2016 à 21:23:28  profilanswer
 

chmod 755 ton fichier :o


---------------
------------------------------------------
n°1388041
Kyjja
Liquefaction imminente
Posté le 12-03-2016 à 22:49:53  profilanswer
 

Haaaaaa ok :o

 

Bon, ça marche (au passage j’apprends qu'il faut prendre le fichier sur raw.github... et pas sur github.com, sinon on se tape le code html :o), mais le script déconne (problème pour installer java apparemment).

 

Je note les étapes ici pour pas oublier  [:theorie des lavabos]

 
Code :
  1. root@DietPi:~# wget https://raw.githubusercontent.com/z [...] cluster.sh
  2. root@DietPi:~# chmod 755 single_node_hadoop_cluster.sh
  3. root@DietPi:~# sudo ./single_node_hadoop_cluster.sh -i


Message édité par Kyjja le 12-03-2016 à 22:59:46

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
n°1388099
djalex
Ancien Modérateur
Posté le 14-03-2016 à 11:35:11  profilanswer
 

avant l'installation d'hadoop, il faut vérifier que tu es open-jdk (java quoi) d'installé sur ton serveur et aussi savoir ou il se trouve :)


---------------
------------------------------------------
n°1388100
Kyjja
Liquefaction imminente
Posté le 14-03-2016 à 12:30:29  profilanswer
 

Le script tente d'installer sun-java, mais tourne que sur x86 il me semble, or je suis en ARM.
 
Faut que je le modifie pour qu'il aille automatiquement chercher open-jdk à la place.


---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint

Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Linux et OS Alternatifs
  Logiciels

  [Cluster] Aide à l'instalation de Hadoop

 

Sujets relatifs
besoin d'aide pour gsamba sur ubuntuAide script modification HTML bash
instalation mysql server impossibleAide pour ASTERISK sur Qnap
Aide pour le choix d'un serveur linux (Materiel et Distribution)Aide pour cacti
besoin d'aide pour les commandes shell[SOLARIS 11] Aide pour export NFS
aide utiliser port infrarouge comme telecommandeInstalation Debian, problème Secure Boot
Plus de sujets relatifs à : [Cluster] Aide à l'instalation de Hadoop


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR