将 jar 文件传输到远程 EC2 服务器
Transferring a jar file to a remote EC2 server
我在 AWS EC2 服务器中使用 Apache Spark。当我向 Spark 提交作业时,我将代码制作为 jar 文件。
因为我的代码很少被修改,所以我 'git clone' 我的代码来自 Github 并在创建 EC2 服务器时创建 jar 文件。
不过听说直接在服务器clone代码不好,在Google里找不到'why'。所以我的问题是,在将 jar 文件传输到远程 EC2 服务器时,下面哪个最好?
- 我现在的做法。
- 在本地开发服务器上创建一个 jar 文件,将其上传到 AWS s3,然后使用它(我在谷歌搜索时最常看到这种方式)。
- 正在本地创建一个jar文件并直接传输到远程服务器。
对我来说,第二个选项是三个选项中最好的。只是对其稍作修改。您可以将 jar 从构建管道推送到 s3,而不是从本地上传 jar。这样你也可以控制 jar 上传。您可以为此使用 IAM 角色。另外,您可以使用 IAM 角色从 S3 中提取 jar。
在第一个选项中,您需要在 EC2 实例中存储 GitHub 用户名和密码,您还需要为此打开端口。不推荐。
在第三个选项中,您需要在 Ec2 实例中保持端口打开,这也是不推荐的。同样对于 scp,您需要共享集群用户名和密码。
我在 AWS EC2 服务器中使用 Apache Spark。当我向 Spark 提交作业时,我将代码制作为 jar 文件。
因为我的代码很少被修改,所以我 'git clone' 我的代码来自 Github 并在创建 EC2 服务器时创建 jar 文件。
不过听说直接在服务器clone代码不好,在Google里找不到'why'。所以我的问题是,在将 jar 文件传输到远程 EC2 服务器时,下面哪个最好?
- 我现在的做法。
- 在本地开发服务器上创建一个 jar 文件,将其上传到 AWS s3,然后使用它(我在谷歌搜索时最常看到这种方式)。
- 正在本地创建一个jar文件并直接传输到远程服务器。
对我来说,第二个选项是三个选项中最好的。只是对其稍作修改。您可以将 jar 从构建管道推送到 s3,而不是从本地上传 jar。这样你也可以控制 jar 上传。您可以为此使用 IAM 角色。另外,您可以使用 IAM 角色从 S3 中提取 jar。
在第一个选项中,您需要在 EC2 实例中存储 GitHub 用户名和密码,您还需要为此打开端口。不推荐。
在第三个选项中,您需要在 Ec2 实例中保持端口打开,这也是不推荐的。同样对于 scp,您需要共享集群用户名和密码。