在应用程序中更快 运行 Python 或导入 CSV
Faster to run Python in app or import CSV
我有一个网站使用 Plotly / Dash（所以 Flask 网络框架）从各种来源导入 CSV 文件并将结果显示为图表/数据。
看这里：https://app.qiinsights.com/apps/payments
什么是更快/更高效/更具可扩展性的方法：
- 导入原始 CSV 文件并在应用程序中进行所有 python 处理（以生成多个数据帧以用于图表和表格）（在应用程序中进行更多处理）
或
- 离线完成所有 python 处理并导入多个准备就绪的 csv 文件（在应用程序中下载更多）
我认为做更多的离线处理更好，使用更多的 csv 更好。否则，您每次都必须在服务器上为每个查看器进行计算。但我认为更好的方法是拥有一个小型内置数据库。您可以将那些处理过的 csv 值存储到数据库中。在您的应用程序上可以直接从数据库中提取数据。还有一些数据库专门用于存储那些'one time'和快速更新的数据。
我建议使用 apache druid。
我有一个网站使用 Plotly / Dash（所以 Flask 网络框架）从各种来源导入 CSV 文件并将结果显示为图表/数据。
看这里：https://app.qiinsights.com/apps/payments
什么是更快/更高效/更具可扩展性的方法：
- 导入原始 CSV 文件并在应用程序中进行所有 python 处理（以生成多个数据帧以用于图表和表格）（在应用程序中进行更多处理）
或
- 离线完成所有 python 处理并导入多个准备就绪的 csv 文件（在应用程序中下载更多）
我认为做更多的离线处理更好，使用更多的 csv 更好。否则，您每次都必须在服务器上为每个查看器进行计算。但我认为更好的方法是拥有一个小型内置数据库。您可以将那些处理过的 csv 值存储到数据库中。在您的应用程序上可以直接从数据库中提取数据。还有一些数据库专门用于存储那些'one time'和快速更新的数据。
我建议使用 apache druid。