Salut à tous,
Je suis en train de geeker avec hadoop. J'ai installer les rpm et creer un utilisateur. Cependant j'ai une erreur bizarre avec les datanodes, aucun n'est visible malgré ce que jps raporte :
Merci
Je suis en train de geeker avec hadoop. J'ai installer les rpm et creer un utilisateur. Cependant j'ai une erreur bizarre avec les datanodes, aucun n'est visible malgré ce que jps raporte :
[nolaan@******* ]$ sudo /usr/java/jdk1.6.0_45/bin/jps
21596 NodeManager
22224 Jps
21601 ResourceManager
21605 NameNode
21591 DataNode
J'ai simplement suivi ce tuto (http://fedoraproject.org/wiki/Changes/Hadoop) :How To Test
Install the hadoop rpms with:
yum install hadoop-common hadoop-common-native hadoop-hdfs hadoop-mapreduce hadoop-mapreduce-examples hadoop-yarn
Initialize the HDFS directories:
hdfs-create-dirs
Start the cluster by issuing:
systemctl start hadoop-namenode hadoop-datanode hadoop-nodemanager hadoop-resourcemanager
Create a directory for the user running the tests:
runuser hdfs -s /bin/bash /bin/bash -c "hadoop fs -mkdir /user/<name>"
runuser hdfs -s /bin/bash /bin/bash -c "hadoop fs -chown <name> /user/<name>"
The user from the previous step can run jobs like the following mapreduce examples:
hadoop jar /usr/share/java/hadoop/hadoop-mapreduce-examples.jar pi 10 1000000
hadoop jar /usr/share/java/hadoop/hadoop-mapreduce-examples.jar randomwriter out
These three have an order they need to be run in:
hadoop jar /usr/share/java/hadoop/hadoop-mapreduce-examples.jar teragen 100 gendata
hadoop jar /usr/share/java/hadoop/hadoop-mapreduce-examples.jar terasort gendata 100
hadoop jar /usr/share/java/hadoop/hadoop-mapreduce-examples.jar teravalidate gendata reportdata
Il y a t il quelqu'un avec une install fedora en single node dans la place?Merci