批量上传数据到 Parse.com
Bulk uploading data to Parse.com
我有大约 10GB 的数据要导入到 Parse。数据当前为 JSON 格式,非常适合使用 parse importer.
导入数据
但是我没有这些对象的唯一标识符。当然,它们具有独特的属性,例如a url,指向特定对象的ids需要保持不变。
在他们的服务器上批量编辑大量数据而不 运行 解决请求问题(因为我目前处于免费定价模式)并且不采取更改数据的时间太多了。
选项 1
导入一次数据,并使用新分配的objectIds导出JSON中的数据。然后在本地编辑它们以匹配 url,然后用新编辑的数据替换 class。任何新版本都将通过 Parse 接收新的 objectId。
导入和导出之间会有多少停机时间,因为我需要删除 class 并重新创建它?这种方法还有其他问题吗?
选项 2
查询 URL 或 URL 数组,然后编辑数据,然后重新保存。这意味着数据将无限期保留,但由于编辑将包含数十万个对象,这很可能会超过 运行 请求限制吗?
选项 3
我还缺少更好的选择吗?
最好的选择是上传到 Parse,然后通过他们的正常渠道进行编辑。使用各种 hack 可以保持低于作为免费层的一部分提供的 30 pings/秒。您可以使用 background jobs(写在 Javascript 中)迭代数据——您可能需要放慢处理速度,以免达到极限。超级 hacky 的方法是从 table 下载到客户端 (iOS/Android) 应用程序,然后推送回 Parse。如果您批量执行此操作(顺便说一下,不是 同步 for 循环),那么仅延迟就会使您保持在 30ping/秒限制之下。
我不确定您为什么担心停机时间。如果数据还没有上传到 Parse,你不能上传它,把它拉下来编辑它,然后重新上传——想花多长时间就花多长时间?在与您在生产中使用的任何东西分开的 table 中执行此操作,您应该没问题。
我有大约 10GB 的数据要导入到 Parse。数据当前为 JSON 格式,非常适合使用 parse importer.
导入数据但是我没有这些对象的唯一标识符。当然,它们具有独特的属性,例如a url,指向特定对象的ids需要保持不变。
在他们的服务器上批量编辑大量数据而不 运行 解决请求问题(因为我目前处于免费定价模式)并且不采取更改数据的时间太多了。
选项 1
导入一次数据,并使用新分配的objectIds导出JSON中的数据。然后在本地编辑它们以匹配 url,然后用新编辑的数据替换 class。任何新版本都将通过 Parse 接收新的 objectId。
导入和导出之间会有多少停机时间,因为我需要删除 class 并重新创建它?这种方法还有其他问题吗?
选项 2
查询 URL 或 URL 数组,然后编辑数据,然后重新保存。这意味着数据将无限期保留,但由于编辑将包含数十万个对象,这很可能会超过 运行 请求限制吗?
选项 3
我还缺少更好的选择吗?
最好的选择是上传到 Parse,然后通过他们的正常渠道进行编辑。使用各种 hack 可以保持低于作为免费层的一部分提供的 30 pings/秒。您可以使用 background jobs(写在 Javascript 中)迭代数据——您可能需要放慢处理速度,以免达到极限。超级 hacky 的方法是从 table 下载到客户端 (iOS/Android) 应用程序,然后推送回 Parse。如果您批量执行此操作(顺便说一下,不是 同步 for 循环),那么仅延迟就会使您保持在 30ping/秒限制之下。
我不确定您为什么担心停机时间。如果数据还没有上传到 Parse,你不能上传它,把它拉下来编辑它,然后重新上传——想花多长时间就花多长时间?在与您在生产中使用的任何东西分开的 table 中执行此操作,您应该没问题。