为 git lfs 使用 azure blob 存储

Use azure blob storage for git lfs

我正在使用 git-lfs 在我的工作中存储某些大型数据集。但是,git-lfs 的免费套餐有 1GB/月的带宽限制,超过此限制用户将被封锁一个月。 我碰巧有一些 azure 积分,想使用 blob 存储作为 git-lfs 的存储,而我使用 git.

对我的项目进行版本控制

我 运行 使用 aws-s3 存储进入此存储库:git-lfs-s3.

但是对于如何设置整个系统没有足够的说明,也被用户存档了。这个问题还有其他(解释清楚的)解决方案吗?

为此我最终使用了 DVC。虽然它与 git-lfs 并不完全相同,因为它需要安装 DVC,但它的工作方式与 git-lfs 非常相似。除此之外,它还适用于 google-drive、azure blob 存储等云应用程序。

正在设置 DVC

Post installation,在版本库里面,初始化dvc:

dvc init 
dvc add path-to-large-file

DVC 会要求您 运行 一个 git 命令来添加指针文件并忽略您提交的大文件。例如

git add path-to-large-file.dvc .gitignore
git commit -m "Add data file"

Post 您需要设置一个遥控器来保存您的大文件。 Detailed Documentation 关于使用各种远程源(google 驱动器、blob、aws s3 等等...)

dvc remote add -d myremote azure://mycontainer/path

使用以下方法将您的大文件保存到远程:

dvc push

使用 DVC

您以后只需为修改后的大文件添加 .dvc 文件(假设您至少为该文件做了一次 dvc add)。其他一切都会正常工作 git.

This video 是关于开始使用 dvc 绕过 git-lfs 限制的详细解释教程。