HBase 是否对每行施加了最大大小?
Does HBase impose a maximum size per row?
高级问题:
HBase 是否对每行施加了一个最大大小,这对所有发行版都是通用的(因此不是实现的产物),无论是 bytes-stored 还是细胞数量?
如果是:
限制是多少?
限制存在的原因是什么?
记录的限制在哪里?
如果不是:
是否有证明 HBase 处理超过 2GB 行的能力的文档(或测试结果)? 4GB?
是否存在 HBase API 用户应保持行大小以避免严重性能下降的实用或 "best practice" 最大值?如果是这样,如果放弃该指南,会发生什么样的性能下降?
无论哪种情况:
- 答案是否取决于所讨论的 HBase 版本?
背景:
- HBase 的至少一个实现 API 似乎确实施加了限制; MapR Tables,它使用 MapR 专有的 MapR-FS 作为表的存储层,似乎 impose a hard limit of 2GB per row and a configurable soft limit which defaults to 32MB。 HBase 的其他流行实现 API 是否也施加了这样的限制?
- 这Quora response from HBase committer Todd Lipcon in 2011表明在单元格数量方面没有限制。但是,它也表示"the unit of load balancing and distribution is the region, and a row will never be split across regions"。 行存在于单个区域内的要求是否对行大小强加了硬性限制或实际限制,超过该限制性能会严重下降?
一行必须适合一个区域文件才能分配给区域服务器并进行复制。区域文件大小可由 "hbase.hregion.max.filesize"
配置
本页说它将是 10gb default/max http://hortonworks.com/blog/apache-hbase-region-splitting-and-merging/
这个页面说可以设置为100gb
To disable automatic splitting, set hbase.hregion.max.filesize to a
very large value, such as 100 GB It is not recommended to set it to
its absolute maximum value of Long.MAX_VALUE.
http://hbase.apache.org/book.html#important_configurations
高级问题:
HBase 是否对每行施加了一个最大大小,这对所有发行版都是通用的(因此不是实现的产物),无论是 bytes-stored 还是细胞数量?
如果是:
限制是多少?
限制存在的原因是什么?
记录的限制在哪里?
如果不是:
是否有证明 HBase 处理超过 2GB 行的能力的文档(或测试结果)? 4GB?
是否存在 HBase API 用户应保持行大小以避免严重性能下降的实用或 "best practice" 最大值?如果是这样,如果放弃该指南,会发生什么样的性能下降?
无论哪种情况:
- 答案是否取决于所讨论的 HBase 版本?
背景:
- HBase 的至少一个实现 API 似乎确实施加了限制; MapR Tables,它使用 MapR 专有的 MapR-FS 作为表的存储层,似乎 impose a hard limit of 2GB per row and a configurable soft limit which defaults to 32MB。 HBase 的其他流行实现 API 是否也施加了这样的限制?
- 这Quora response from HBase committer Todd Lipcon in 2011表明在单元格数量方面没有限制。但是,它也表示"the unit of load balancing and distribution is the region, and a row will never be split across regions"。 行存在于单个区域内的要求是否对行大小强加了硬性限制或实际限制,超过该限制性能会严重下降?
一行必须适合一个区域文件才能分配给区域服务器并进行复制。区域文件大小可由 "hbase.hregion.max.filesize"
配置本页说它将是 10gb default/max http://hortonworks.com/blog/apache-hbase-region-splitting-and-merging/
这个页面说可以设置为100gb
To disable automatic splitting, set hbase.hregion.max.filesize to a very large value, such as 100 GB It is not recommended to set it to its absolute maximum value of Long.MAX_VALUE. http://hbase.apache.org/book.html#important_configurations