无法 运行 转储到猪中
Not able to run dump in pig
我正在尝试转储关系但出现以下错误。
我已经尝试 start-all.sh 并尝试使用 hadoop namenode -format 格式化名称节点。
但我不明白哪里出了问题。
Error:-
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
我首先要确保我能够从边缘节点上的 hdfs 客户端连接到名称节点。如果不是一些 problem/inconsistency 在 core-site.xml 文件中带有端口或主机名的名称节点配置。
一旦您能够 运行 下面没有任何问题，并确保 namenode 在 url http://namenode_host:50070 上不处于安全模式（这会阻止任何写入）
hadoop fs -ls /
那我继续说猪。看起来基于您的错误 hdfs 客户端由于某种原因无法到达名称节点，这可能是防火墙或配置问题。
开始 JobHistoryServer
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
Pig when 运行 在 mapreduce 模式下期望 JobHistoryServer 可用。
要配置 JobHistoryServer，将这些属性添加到 mapred-site.xml 将主机名替换为启动进程的主机的实际名称
<property>
<name>mapreduce.jobhistory.address</name>
<value>hostname:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hostname:19888</value>
</property>
我正在尝试转储关系但出现以下错误。
我已经尝试 start-all.sh 并尝试使用 hadoop namenode -format 格式化名称节点。
但我不明白哪里出了问题。
Error:-
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
我首先要确保我能够从边缘节点上的 hdfs 客户端连接到名称节点。如果不是一些 problem/inconsistency 在 core-site.xml 文件中带有端口或主机名的名称节点配置。
一旦您能够 运行 下面没有任何问题，并确保 namenode 在 url http://namenode_host:50070 上不处于安全模式（这会阻止任何写入）
hadoop fs -ls /
那我继续说猪。看起来基于您的错误 hdfs 客户端由于某种原因无法到达名称节点，这可能是防火墙或配置问题。
开始 JobHistoryServer
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
Pig when 运行 在 mapreduce 模式下期望 JobHistoryServer 可用。
要配置 JobHistoryServer，将这些属性添加到 mapred-site.xml 将主机名替换为启动进程的主机的实际名称
<property>
<name>mapreduce.jobhistory.address</name>
<value>hostname:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hostname:19888</value>
</property>