具有大数据集和多维度的DC js
DC js with large dataset and many dimensions
我从一年开始就一直在使用 DC js 通过数据表插件进行分析。
现在的需求是海量数据（>2,00,000 行）和大量维度（20-30），它会挂起浏览器并花费大量时间并且过滤也需要很长时间。
关于改进响应时间的任何建议。
我已经在使用 gzip 压缩并且我的 json 变量长度很小。
欢迎提出任何架构级别的建议。
提前致谢。
每当您在浏览器中谈论具有多个维度的 2,000,000 多行时，您需要开始考虑平台的限制。具体来说，由于浏览器不对 Javascript 对象使用压缩数据结构，因此基本问题是："Will the data object fit in the browser memory?" Chrome，至少在我大约一年前检查时，正坐在一个1GB 内存限制。有 200 万行和 20 个维度，您将推送它只是为了将数据加载到浏览器。
鉴于此，我认为您需要从架构上考虑如何限制浏览器中的数据量，同时仍保持交互性。开始问这样的问题："How many dimensions of what cardinality will I actually be displaying at any given time?"
目标是确定应用程序的实际功能是否是浏览器可以支持的。如果您确定浏览器可以支持该功能（它可能可以，但不是给定的），然后开始考虑协调的 browser/server 系统如何提供您想要的交互类型。
实现此目的的一种方法是根据用户在任何给定时间显示的维度动态重新聚合。几周前，我将 http://lcadata.info 放在一起作为一种在前端使用 dc.js 的方法（它是开源的）的组合示例。但还有其他方法，具体方法可能因应用程序而异。
祝你好运。
我从一年开始就一直在使用 DC js 通过数据表插件进行分析。
现在的需求是海量数据（>2,00,000 行）和大量维度（20-30），它会挂起浏览器并花费大量时间并且过滤也需要很长时间。
关于改进响应时间的任何建议。
我已经在使用 gzip 压缩并且我的 json 变量长度很小。
欢迎提出任何架构级别的建议。
提前致谢。
每当您在浏览器中谈论具有多个维度的 2,000,000 多行时，您需要开始考虑平台的限制。具体来说，由于浏览器不对 Javascript 对象使用压缩数据结构，因此基本问题是："Will the data object fit in the browser memory?" Chrome，至少在我大约一年前检查时，正坐在一个1GB 内存限制。有 200 万行和 20 个维度，您将推送它只是为了将数据加载到浏览器。
鉴于此，我认为您需要从架构上考虑如何限制浏览器中的数据量，同时仍保持交互性。开始问这样的问题："How many dimensions of what cardinality will I actually be displaying at any given time?"
目标是确定应用程序的实际功能是否是浏览器可以支持的。如果您确定浏览器可以支持该功能（它可能可以，但不是给定的），然后开始考虑协调的 browser/server 系统如何提供您想要的交互类型。
实现此目的的一种方法是根据用户在任何给定时间显示的维度动态重新聚合。几周前，我将 http://lcadata.info 放在一起作为一种在前端使用 dc.js 的方法（它是开源的）的组合示例。但还有其他方法，具体方法可能因应用程序而异。
祝你好运。