将制表符分隔格式的 txt 文件加载到 Hbase 中

Question

我正在尝试将制表符分隔的文件加载到 hbase 中。我收到屏幕截图中提到的错误，请指教。

文件内容：

2   1/1/16 0:29 1/1/16 0:39
2   1/1/16 0:19 1/1/16 0:39
2   1/1/16 0:19 1/1/16 0:39
2   1/1/16 0:22 1/1/16 0:38
2   1/1/16 0:24 1/1/16 0:39
2   1/1/16 0:32 1/1/16 0:39

查询：

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns= HBASE_ROW_KEY,id,date:c1,date:c2 sample1 hdfs://localhost:9000/FinalProject/Hbase/samplehbase.txt

Answer 1

您不应该在 hbase shell.

中执行 Importsv 语句

hbase(main)> create 'sample1', 'date'

-Dimporttsv.columns="HBASE_ROW_KEY,id,date:c1,date:c2"

sample1table只有一个列族date。 id 不是列族，将其从 columns 中删除。

试试，

~$ hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns="HBASE_ROW_KEY,date:c1,date:c2" sample1 hdfs://localhost:9000/FinalProject/Hbase/samplehbase.txt

并且在您的示例数据中，所有记录都具有相同的行键。导入时，默认情况下，只有最后一行将作为列族的 VERSIONS => 1 保留在 table 中。考虑在运行导入之前增加 VERSIONS。

hbase(main)> alter 'sample1',{NAME=>'date',VERSIONS=>6}

将制表符分隔格式的 txt 文件加载到 Hbase 中

Load Tab seperated Format txt file into Hbase

hadoop

hbase