在 Google Cloud 上为 ML 推送和 运行 python 脚本
Push and run python script on Google Cloud for ML
我最近开始学习 Python 和 ML 使用旧的 Kaggle 空中客车船舶检测竞赛。
我写了一个代码,现在包含两个文件:Decode.py
和 Train.py
以及一些外部模块,用于训练 resnet.py
、data_generator.py
等
第一个在我的电脑上运行良好,但对于训练我没有足够的资源(没有好的显卡)。我以为我可以使用 Kaggle 脚本云,但我不能同时使用多个文件(我需要将大量代码从模块复制到主 python 文件,这将开始在该编辑器中真的不可读)。
我决定寻找一个 Google 云平台,但我在那里可以做的事情的可能性实在是太多了,我今天在那里挖了最后几个小时,但我做不到找个地方我可以 运行 我的代码。
你知道我需要带去哪个tutorials/steps吗:
- 将我的 repo 推送到 Google Cloud
- 从 Kaggle 复制数据集(或者我需要上传它的地方)
- 运行
python3 train.py -path "foo"
- 检查输出
我可以在 Google 云上做的事情的可能性太多了,我根本不知道从哪里开始。
从步骤来看,我已经采取的是创建付款配置文件、创建回购并将代码推送到 Google 源存储库(我不知道这是否是个好地方 - 我想我不小心创建了一个新网站)并上传了带有训练和测试数据的 zip 文件(我仍然不知道如何解压它,但它正在进行中)。
任何帮助将不胜感激
我发现那里描述的不错的功能:
https://towardsdatascience.com/how-to-use-jupyter-on-a-google-cloud-vm-5ba1b473f4c2
与 Google Colab 相比有点不同,但此快速教程显示了您可以将来自 Google Colab 的笔记本文件放在哪里。
您只需将 Colab 中的 /content/
路径更改为 Google Cloud
中的 /home/jupyter
我最近开始学习 Python 和 ML 使用旧的 Kaggle 空中客车船舶检测竞赛。
我写了一个代码,现在包含两个文件:Decode.py
和 Train.py
以及一些外部模块,用于训练 resnet.py
、data_generator.py
等
第一个在我的电脑上运行良好,但对于训练我没有足够的资源(没有好的显卡)。我以为我可以使用 Kaggle 脚本云,但我不能同时使用多个文件(我需要将大量代码从模块复制到主 python 文件,这将开始在该编辑器中真的不可读)。
我决定寻找一个 Google 云平台,但我在那里可以做的事情的可能性实在是太多了,我今天在那里挖了最后几个小时,但我做不到找个地方我可以 运行 我的代码。
你知道我需要带去哪个tutorials/steps吗:
- 将我的 repo 推送到 Google Cloud
- 从 Kaggle 复制数据集(或者我需要上传它的地方)
- 运行
python3 train.py -path "foo"
- 检查输出
我可以在 Google 云上做的事情的可能性太多了,我根本不知道从哪里开始。
从步骤来看,我已经采取的是创建付款配置文件、创建回购并将代码推送到 Google 源存储库(我不知道这是否是个好地方 - 我想我不小心创建了一个新网站)并上传了带有训练和测试数据的 zip 文件(我仍然不知道如何解压它,但它正在进行中)。
任何帮助将不胜感激
我发现那里描述的不错的功能: https://towardsdatascience.com/how-to-use-jupyter-on-a-google-cloud-vm-5ba1b473f4c2 与 Google Colab 相比有点不同,但此快速教程显示了您可以将来自 Google Colab 的笔记本文件放在哪里。
您只需将 Colab 中的 /content/
路径更改为 Google Cloud
/home/jupyter