Azure Table 存储 - 数据湖文件 - 触发通过 USQL 获取单行 Select 语句时响应时间慢
Azure Table Storage - Data Lake File - SLOW response time when fired for fetching single row Select Statement through USQL
来自事务数据库 table 的数据被拉入数据湖，大约 50 万条记录，大约 20 列，在数据湖中它是 JSON 格式。
通过 Logic Apps，通过 Python -> U-SQL 函数，触发 U-SQL 语句来读取特定行，响应缓慢，寻求提高性能。
与本地执行相比，速度慢有几个原因
1、集群环境和本地不一样。在集群上，您只有 2 个内核和 6GB 内存。我们还限制每个操作员使用不超过 512MB 的 RAM。 None 这个问题发生在世界的本地。
2. 当从 usql 运算符转到 python 扩展时会产生编组开销，然后在完成 python 执行后通过反之亦然
3. 我们还需要在将执行 python 代码的容器上创建一个环境，其中包括复制 python 运行 time
我们将在 2018 年 1 月即将发布的版本中解决第 2 和第 3 个限制。
来自事务数据库 table 的数据被拉入数据湖，大约 50 万条记录，大约 20 列，在数据湖中它是 JSON 格式。
通过 Logic Apps，通过 Python -> U-SQL 函数，触发 U-SQL 语句来读取特定行，响应缓慢，寻求提高性能。
与本地执行相比，速度慢有几个原因 1、集群环境和本地不一样。在集群上，您只有 2 个内核和 6GB 内存。我们还限制每个操作员使用不超过 512MB 的 RAM。 None 这个问题发生在世界的本地。 2. 当从 usql 运算符转到 python 扩展时会产生编组开销，然后在完成 python 执行后通过反之亦然 3. 我们还需要在将执行 python 代码的容器上创建一个环境，其中包括复制 python 运行 time
我们将在 2018 年 1 月即将发布的版本中解决第 2 和第 3 个限制。