在 hortonworks 上配置 storm 拓扑和 kafka 的属性文件

Question

我正在 hortonworks 上使用 Storm 在 Hbase 和 Hive 中进行实时数据摄取，我开发了风暴拓扑以从 kafka 代理接收数据拓扑已提交我可以看到我的 kafkaspout 和我的两个螺栓，但是，我不知道为什么我的 kafkaSpout 不使用来自 Kafka Brokers 的消息，但是当我可视化拓扑时：0% 数据已被使用！！

我的 hdfsbolt 也有错误：

java.lang.RuntimeException: Error preparing HdfsBolt: Permission denied: user=storm, access=WRITE, inode="/infos-cliens-v4/staging/infosClientshdfsBolt-4-0-1462472414665.txt":hdfs:hdfs:drwxr-xr-x at

我的@ip 是192.168.1.78

我想我必须修复属性文件，但我不知道如何：

#Broker host
  kafka.zookeeper.host.port=localhost
    #Kafka topic to consume.
    kafka.topic=TOPICINFORMATIONSCLIENTS
    #Location in ZK for the Kafka spout to store state.
    kafka.zkRoot=/infos_clients_sprout
    #Kafka Spout Executors.
    spout.thread.count=1

    #hdfs bolt settings
    hdfs.path=/infos-cliens-v4
    hdfs.url=hdfs://sandbox.hortonworks.com:8020
    hdfs.file.prefix=infosClients
    #data will be moved from hdfs to the hive partition
    #on the first write after the 1st minute.
    hdfs.file.rotation.time.minutes=1

    #hbase bolt settings
    hbase.persist.all.events=false


    PLZ Help me

Answer 1

您的用户是

storm

但是用于写入的目录归 HDFS 所有。因此，更改该目录的用户权限并使用

作为用户创建 storm

chown

命令。

首先使用 java 代码检查您是否能够连接到 Hbase。然后在 Storm 拓扑中测试相同的逻辑。

Answer 2

@Property zk.connect is not valid                                                                  
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".                                                                                     
SLF4J: Defaulting to no-operation (NOP) logger implementation                                                                                        
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.                                                                   
16/05/07 10:27:09 WARN common.AppInfo$: Can't read Kafka version from MANIFEST.MF. Possible cause: java.lang.NullPointerException              

  enter code here

在 hortonworks 上配置 storm 拓扑和 kafka 的属性文件

properties file to configurate storm topology and kafka on hortonworks

java

hbase

hive

apache-kafka

apache-storm