如何在 Google 驱动器上为 Google Colab 安装 conda？

Question

! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.8.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.8.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.8.2-Linux-x86_64.sh -b -f -p /usr/local
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

此代码单元为我的 Google Colab 安装 conda。 Colab 对其会话有时间限制，它会在 8 或 9 小时的活动计算后重置环境状态和数据，因此我需要一次又一次地重新启动此单元。

有没有办法在 Google 驱动器上安装 conda 和我需要的所有软件包？

Answer 1

这不是一个完美的解决方案，但它可能比每次都下载并构建一个新的 conda 安装要快。步骤概述：

将 conda 安装到 Colab 的本地目录中，压缩该目录并将其存储在 Google 驱动器上。
当您启动一个新的 Colab 笔记本或重新启动一个现有笔记本时，运行一个代码块从 Google 驱动器获取 conda 安装并重新设置环境。

1。创建 conda 和所需软件包的安装（仅一次）

下载并安装 miniconda 到 /content/miniconda3 目录：

%env PYTHONPATH=
! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.9.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.9.2-Linux-x86_64.sh -b -f -p /content/miniconda3

将miniconda加入系统PATH:

import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path

安装你需要的 conda 包（例如 packagexyz）：

!conda install -c conda-forge packagexyz -y

可选代码块：检查 packagexyz 是否正常工作。这应该打印 packagexyz 的版本及其在 conda 目录中的位置：

import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")
import packagexyz
print(packagexyz.__version__, packagexyz.__file__)

将所有内容复制到 Google 驱动器（单击 link 获取验证码，然后将其粘贴到框中）：

from google.colab import drive 
drive.mount('/content/drive')
!tar -zcf conda_colab.tar.gz /content/miniconda3
!cp conda_colab.tar.gz /content/drive/My\ Drive/

2。将 conda 复制回 Colab（运行每当您重新启动笔记本时）

挂载Google驱动（需要重新输入auth code），复制conda安装，重新设置环境：

from google.colab import drive 
drive.mount('/content/drive')

!tar -xf /content/drive/My\ Drive/conda_colab.tar.gz -C ../

import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path
%env PYTHONPATH=
import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")

备注

此解决方案仅经过轻微测试。您可能需要根据安装的软件包设置其他环境变量。
通过调整 tar 压缩设置，第 2 步可能会更快。如果你有一个非常大的 conda 安装，考虑在步骤 1 和步骤 2 的开始使用 apt-get 安装 pigz，然后将 --use-compress-program=pigz 添加到 !tar... 命令以并行压缩和解压缩步骤。

Answer 2

在每个会话中安装 Conda：

代码单元格 1：

%%bash
filepath=/tmp/miniconda.sh
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ${filepath}
bash ${filepath} -b -p /opt/conda
rm -f ${filepath}

代码单元格 2：

path=%env PATH
%env PATH=/opt/conda/bin:{path}

如何在 Google 驱动器上为 Google Colab 安装 conda？

How to install conda on Google Drive for Google Colab?

anaconda

google-colaboratory

1。创建 conda 和所需软件包的安装（仅一次）

2。将 conda 复制回 Colab（运行每当您重新启动笔记本时）

备注

如何在 Google 驱动器上为 Google Colab 安装 conda？

How to install conda on Google Drive for Google Colab?

anaconda

google-colaboratory

1。创建 conda 和所需软件包的安装（仅一次）

2。将 conda 复制回 Colab（运行 每当您重新启动笔记本时）

备注

2。将 conda 复制回 Colab（运行每当您重新启动笔记本时）