从 mysql 导入数据传输到 hadoop

Question

我在系统中安装了hadoop 2.7.1 和sqoop 1.4.6。我正在尝试将 table 从 MySQL 导入到 hdfs。我收到以下错误：

at org.apache.hadoop.util.Shell.runCommand(Shell.java:545) at org.apache.hadoop.util.Shell.run(Shell.java:456) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745)

容器以非零退出代码 127 退出此尝试失败。申请失败。信息 mapreduce.Job：计数器：0 警告 mapreduce.Counters：组 FileSystemCounters 已弃用。使用 org.apache.hadoop.mapreduce.FileSystemCounter 代替 INFO mapreduce.ImportJobBase：在 17,7175 秒内传输了 0 个字节 (0 bytes/sec) 警告 mapreduce.Counters：组 org.apache.hadoop.mapred.Task$Counter 已弃用。使用 org.apache.hadoop.mapreduce.TaskCounter 代替信息 mapreduce.ImportJobBase：检索到 0 条记录。错误 tool.ImportTool：导入期间出错：导入作业失败！

在这种情况下我能做什么？

Answer 1

我解决了这个问题 problem.maybe 对你有用 ;)

mapred-site.xml

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>bd01.19888</value>
</property>

从 mysql 导入数据传输到 hadoop

import data transfer from mysql to hadoop

mysql

hadoop

bigdata