Power Bi 中的 Hive table

Hive table in Power Bi

我想创建一个配置单元 table,它将以 orc 格式和 snappy 压缩存储数据。 power bi 能读取那个 table 吗?另外,你有没有为我的 table 推荐任何其他 format/compression?

ORC 是一种特殊的文件格式,只能与 hive 一起使用,并且针对 HDFS 读取操作进行了高度优化。并且 Power BI 可以使用 hive odbc 数据连接连接到 hive。所以,我认为如果你必须一直使用配置单元,你可以使用这种格式来存储数据。但是如果你想要hive和impala的灵活性,并且使用cludera提供的impala ODBC驱动,你可以考虑使用parquet。

现在,orc和parquet各有优缺点。主要决定因素可能是 访问数据的工具、数据的嵌套方式以及有多少列 .

如果您有许多包含嵌套数据的列,并且您想同时使用配置单元和 impala 来访问数据,请使用镶木地板。而且,如果您的数据结构扁平且数据量大,那么请使用 orc。