Hive 中是否有字符串数据类型的最大大小?

Is there maximum size of string data type in Hive?

Google 一大堆,但还没找到。或者这是否意味着只要允许集群,Hive 就可以支持任意大字符串数据类型?如果是这样,我在哪里可以找到我的集群可以支持的最大字符串数据类型?

提前致谢!

Hive 的当前文档将 STRING 列为有效数据类型,不同于 VARCHARCHAR 请在此处查看官方 apache 文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types#LanguageManualTypes-Strings

我并没有立即看出 STRING 确实是它自己的类型,但如果您向下滚动,您会看到一些情况,其中它的使用与其他情况截然不同。

虽然可能不权威,但此页面表明 STRING 的最大长度为 2GB。 http://www.folkstalk.com/2011/11/data-types-in-hive.html

默认情况下,Hive 的列元数据不指定 STRING 列的最大数据长度。

驱动有参数DefaultStringColumnLength,默认为255最大值。

此参数设置为最大大小的连接字符串如下所示:jdbc:hive2://localhost:10000;DefaultStringColumnLength=32767;

(https://github.com/exasol/virtual-schemas/issues/118)

在 Hive 生活的“宽松”世界中,它可能不拥有数据文件并且必须在文件格式上灵活,Hive依赖于分隔符的存在来分隔字段。另外,Hadoop 和 Hive 强调优化磁盘读写性能,其中 固定列值的长度相对不重要。”来自

https://learning.oreilly.com/library/view/programming-hive/9781449326944/ch03.html#Collection-Data-Types