Impala 无法阅读全文 table
Impala not able to read full table
我使用 spark-sql (v 1.6.0) 在 hive 中刷新了一个 table,之后 impala 无法读取 [=25= 的完整内容].
select * 来自 tablename limit 10;给出了一些结果,其中 as select count(*) from tablename 给出了以下错误
Error seeking to 1073561824 in file: hdfs://server/products/path/db/tablename/part-00017 Error(255): Unknown error 255
如果我也使用 where 子句执行查询,也会出现同样的错误,并且所有这些查询在通过 Hive 访问时都工作正常。
尝试运行
invalidate metadata yourtable.
也许这可以澄清使用时的区别 refresh or invalidate metadata
确保不要同时读写文件
例如:读取 parquet 文件 f1,与其他文件合并,然后将其写入 f1 -> failed
我使用 spark-sql (v 1.6.0) 在 hive 中刷新了一个 table,之后 impala 无法读取 [=25= 的完整内容].
select * 来自 tablename limit 10;给出了一些结果,其中 as select count(*) from tablename 给出了以下错误
Error seeking to 1073561824 in file: hdfs://server/products/path/db/tablename/part-00017 Error(255): Unknown error 255
如果我也使用 where 子句执行查询,也会出现同样的错误,并且所有这些查询在通过 Hive 访问时都工作正常。
尝试运行
invalidate metadata yourtable.
也许这可以澄清使用时的区别 refresh or invalidate metadata
确保不要同时读写文件 例如:读取 parquet 文件 f1,与其他文件合并,然后将其写入 f1 -> failed