为 git lfs 使用 azure blob 存储
Use azure blob storage for git lfs
我正在使用 git-lfs 在我的工作中存储某些大型数据集。但是,git-lfs 的免费套餐有 1GB/月的带宽限制,超过此限制用户将被封锁一个月。
我碰巧有一些 azure 积分,想使用 blob 存储作为 git-lfs 的存储,而我使用 git.
对我的项目进行版本控制
我 运行 使用 aws-s3 存储进入此存储库:git-lfs-s3.
但是对于如何设置整个系统没有足够的说明,也被用户存档了。这个问题还有其他(解释清楚的)解决方案吗?
为此我最终使用了 DVC。虽然它与 git-lfs
并不完全相同,因为它需要安装 DVC,但它的工作方式与 git-lfs
非常相似。除此之外,它还适用于 google-drive、azure blob 存储等云应用程序。
正在设置 DVC
Post installation,在版本库里面,初始化dvc:
dvc init
dvc add path-to-large-file
DVC 会要求您 运行 一个 git 命令来添加指针文件并忽略您提交的大文件。例如
git add path-to-large-file.dvc .gitignore
git commit -m "Add data file"
Post 您需要设置一个遥控器来保存您的大文件。 Detailed Documentation 关于使用各种远程源(google 驱动器、blob、aws s3 等等...)
dvc remote add -d myremote azure://mycontainer/path
使用以下方法将您的大文件保存到远程:
dvc push
使用 DVC
您以后只需为修改后的大文件添加 .dvc
文件(假设您至少为该文件做了一次 dvc add
)。其他一切都会正常工作 git.
This video 是关于开始使用 dvc 绕过 git-lfs 限制的详细解释教程。
我正在使用 git-lfs 在我的工作中存储某些大型数据集。但是,git-lfs 的免费套餐有 1GB/月的带宽限制,超过此限制用户将被封锁一个月。 我碰巧有一些 azure 积分,想使用 blob 存储作为 git-lfs 的存储,而我使用 git.
对我的项目进行版本控制我 运行 使用 aws-s3 存储进入此存储库:git-lfs-s3.
但是对于如何设置整个系统没有足够的说明,也被用户存档了。这个问题还有其他(解释清楚的)解决方案吗?
为此我最终使用了 DVC。虽然它与 git-lfs
并不完全相同,因为它需要安装 DVC,但它的工作方式与 git-lfs
非常相似。除此之外,它还适用于 google-drive、azure blob 存储等云应用程序。
正在设置 DVC
Post installation,在版本库里面,初始化dvc:
dvc init
dvc add path-to-large-file
DVC 会要求您 运行 一个 git 命令来添加指针文件并忽略您提交的大文件。例如
git add path-to-large-file.dvc .gitignore
git commit -m "Add data file"
Post 您需要设置一个遥控器来保存您的大文件。 Detailed Documentation 关于使用各种远程源(google 驱动器、blob、aws s3 等等...)
dvc remote add -d myremote azure://mycontainer/path
使用以下方法将您的大文件保存到远程:
dvc push
使用 DVC
您以后只需为修改后的大文件添加 .dvc
文件(假设您至少为该文件做了一次 dvc add
)。其他一切都会正常工作 git.
This video 是关于开始使用 dvc 绕过 git-lfs 限制的详细解释教程。