ec2 上的 spark-cassandra thrift 服务器在从直线查询时抛出 SparkException
spark-cassandra thrift server on ec2 throws SparkException on query from beeline
我在 3 个 ec2 节点上安装了 cassandra spark-hadoop 集群。昨天，我能够在 node0 上启动 spark thrift 服务器，并且实际上在直线中执行了一个简单的 sql 语句。今天，在架构更改后，我重新启动了 thrift 服务器，现在我得到了
SparkException java.lang.IllegalArgumentException: ip-172-30-4-140
在 org.apache.hadoop.hive.cassandra.cql3.input.HiveCqlInputFormat.getRecordReader(HiveCqlInputFormat.java:212)
ip-172-30-4-140 只是该节点的私有 ip
我尝试了 运行 来自其他两个 cassandra 节点的相同序列，对于那些，sql 语句卡住了并且永远不会 returns.
这是什么错误？有人知道吗？
这不是 ip 。您必须输入私有 ip 或 public dns .
好的，我找到问题了
host参数的默认值指向ec2的内部ip DNS，导致异常。需要明确声明
sudo dse spark-sql-thriftserver 启动配置单元。server2.thrift.bind.host=your-ec2-private-ip
我在 3 个 ec2 节点上安装了 cassandra spark-hadoop 集群。昨天，我能够在 node0 上启动 spark thrift 服务器，并且实际上在直线中执行了一个简单的 sql 语句。今天，在架构更改后，我重新启动了 thrift 服务器，现在我得到了 SparkException java.lang.IllegalArgumentException: ip-172-30-4-140 在 org.apache.hadoop.hive.cassandra.cql3.input.HiveCqlInputFormat.getRecordReader(HiveCqlInputFormat.java:212)
ip-172-30-4-140 只是该节点的私有 ip
我尝试了 运行 来自其他两个 cassandra 节点的相同序列，对于那些，sql 语句卡住了并且永远不会 returns.
这是什么错误？有人知道吗？
这不是 ip 。您必须输入私有 ip 或 public dns .
好的，我找到问题了
host参数的默认值指向ec2的内部ip DNS，导致异常。需要明确声明
sudo dse spark-sql-thriftserver 启动配置单元。server2.thrift.bind.host=your-ec2-private-ip