Hive 中是否有字符串数据类型的最大大小?
Is there maximum size of string data type in Hive?
Google 一大堆,但还没找到。或者这是否意味着只要允许集群,Hive 就可以支持任意大字符串数据类型?如果是这样,我在哪里可以找到我的集群可以支持的最大字符串数据类型?
提前致谢!
Hive 的当前文档将 STRING
列为有效数据类型,不同于 VARCHAR
和 CHAR
请在此处查看官方 apache 文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types#LanguageManualTypes-Strings
我并没有立即看出 STRING
确实是它自己的类型,但如果您向下滚动,您会看到一些情况,其中它的使用与其他情况截然不同。
虽然可能不权威,但此页面表明 STRING
的最大长度为 2GB。 http://www.folkstalk.com/2011/11/data-types-in-hive.html
默认情况下,Hive 的列元数据不指定 STRING 列的最大数据长度。
驱动有参数DefaultStringColumnLength,默认为255最大值。
此参数设置为最大大小的连接字符串如下所示:jdbc:hive2://localhost:10000;DefaultStringColumnLength=32767;
(https://github.com/exasol/virtual-schemas/issues/118)
在 Hive 生活的“宽松”世界中,它可能不拥有数据文件并且必须在文件格式上灵活,Hive依赖于分隔符的存在来分隔字段。另外,Hadoop 和 Hive 强调优化磁盘读写性能,其中 固定列值的长度相对不重要。”来自
Google 一大堆,但还没找到。或者这是否意味着只要允许集群,Hive 就可以支持任意大字符串数据类型?如果是这样,我在哪里可以找到我的集群可以支持的最大字符串数据类型?
提前致谢!
Hive 的当前文档将 STRING
列为有效数据类型,不同于 VARCHAR
和 CHAR
请在此处查看官方 apache 文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types#LanguageManualTypes-Strings
我并没有立即看出 STRING
确实是它自己的类型,但如果您向下滚动,您会看到一些情况,其中它的使用与其他情况截然不同。
虽然可能不权威,但此页面表明 STRING
的最大长度为 2GB。 http://www.folkstalk.com/2011/11/data-types-in-hive.html
默认情况下,Hive 的列元数据不指定 STRING 列的最大数据长度。
驱动有参数DefaultStringColumnLength,默认为255最大值。
此参数设置为最大大小的连接字符串如下所示:jdbc:hive2://localhost:10000;DefaultStringColumnLength=32767;
(https://github.com/exasol/virtual-schemas/issues/118)
在 Hive 生活的“宽松”世界中,它可能不拥有数据文件并且必须在文件格式上灵活,Hive依赖于分隔符的存在来分隔字段。另外,Hadoop 和 Hive 强调优化磁盘读写性能,其中 固定列值的长度相对不重要。”来自