我需要使用 Web API 和 JSON 通过互联网传输 100 万行数据

I need to transfer 1 million rows over the internet using Web API and JSON

我正在做一个项目，我需要将大约一百万行从我们的第三方服务器传输到我们的服务器。

标准是

  1. 我无法直接访问数据库。
  2. 数据应该是按需可用的，不想把数据长期存放在本地
  3. 不允许我传输文件。

我正在考虑使用 Web API 来完成这项工作并使用 JSON 传输数据。与此同时，我打算让服务异步。我还查看了 Signal R，看看是否可行。但是，这会导致我将数据存储在本地，这违反了其中一项标准。

问题是，Web API 是我问题的答案还是有更好的方法来实现最终结果。

将一百万行从一台服务器传输（谈论复制）到另一台服务器似乎不正确（我对这部分问题有点困惑）。

SignalR 用于实时通信，每次数据更改时服务器都会更新客户端，使用此组件进行通信按需更改而不是按需。

Web API（使用 REST）您可以 按需请求数据 不仅是所有数据，而且是该数据的一小部分，并且仅将引用存储在目标服务器，如果需要的话。

例如，如果您有一百万名员工，您可以：

获取所有员工：

http://example.com/employees

获取状态为活跃的员工：

http://example.com/employees?active=true

获取有关寄存器 9 的员工的数据：

http://example.com/employees/9

OData分页、排序、查询： https://blogs.msdn.microsoft.com/youssefm/2013/02/19/paging-with-asp-net-web-api-odata/

对REST的简要说明：http://www.looah.com/source/view/2284

用 ASP 构建网络 api： https://docs.microsoft.com/en-us/aspnet/core/tutorials/first-web-api

信号R： https://www.asp.net/signalr/overview/guide-to-the-api/hubs-api-guide-net-client