为什么我在 sagemaker notebook 中导入 SparkContext 库时出错?
Why am I getting error while importing SparkContext library in sagemaker notebook?
我在 AWS Glue 中使用 SageMaker Notebook 进行 ETL 开发。
在导入 SparkContext 库时出现以下错误。我试图重新启动内核但没有成功。谁能给我解释一下"a"。
The code failed because of a fatal error: Error sending http request
and maximum retry encountered..*
Some things to try:
a. Make sure Spark has enough available resources for Jupyter to
create a Spark context.
b. Contact your Jupyter administrator to make sure the Spark magics
library is configured correctly.
c. Restart the kernel.
需要注意以下几点:
我正在从 AWS 控制台 > AWS Glue > 开发端点 > Notebooks 创建 sagemaker notebook。
创建的开发端点的 VPC、子网和安全组与连接到的 RDS 相同
应该做的。在创建开发端点时,在网络中
页面我从连接列表中选择一个现有连接
在下拉列表中可用,以便 VPC、子网和安全组
自动选择。
- 我将 DPU 从 5 增加到 10
但仍然收到此错误。
- 无法到达我能到达的那一步
创建与 RDS 的连接,因为在调用
图书馆。
- 如果我在创建开发端时跳过网络信息
点我能够成功地调用所有相关的库
(附截图)。 (连接到时不建议
RDS,因为它不起作用)。
因此,此错误 ("The code failed because...") 仅在提供连接时出现。
如果有人能帮助解决这个问题,那将会很有帮助。
想知道您的 Livy 端点配置是否有效? Livy 运行在 8998 端口。您应该检查该端口是否在安全组中打开。
此外,如果这没有帮助,您应该尝试停止并重新启动笔记本电脑一次。这在过去有所帮助。
我在 AWS Glue 中使用 SageMaker Notebook 进行 ETL 开发。
在导入 SparkContext 库时出现以下错误。我试图重新启动内核但没有成功。谁能给我解释一下"a"。
The code failed because of a fatal error: Error sending http request and maximum retry encountered..*
Some things to try:
a. Make sure Spark has enough available resources for Jupyter to create a Spark context.
b. Contact your Jupyter administrator to make sure the Spark magics library is configured correctly.
c. Restart the kernel.
需要注意以下几点:
我正在从 AWS 控制台 > AWS Glue > 开发端点 > Notebooks 创建 sagemaker notebook。
创建的开发端点的 VPC、子网和安全组与连接到的 RDS 相同 应该做的。在创建开发端点时,在网络中 页面我从连接列表中选择一个现有连接 在下拉列表中可用,以便 VPC、子网和安全组 自动选择。
- 我将 DPU 从 5 增加到 10 但仍然收到此错误。
- 无法到达我能到达的那一步 创建与 RDS 的连接,因为在调用 图书馆。
- 如果我在创建开发端时跳过网络信息 点我能够成功地调用所有相关的库 (附截图)。 (连接到时不建议 RDS,因为它不起作用)。
因此,此错误 ("The code failed because...") 仅在提供连接时出现。
如果有人能帮助解决这个问题,那将会很有帮助。
想知道您的 Livy 端点配置是否有效? Livy 运行在 8998 端口。您应该检查该端口是否在安全组中打开。
此外,如果这没有帮助,您应该尝试停止并重新启动笔记本电脑一次。这在过去有所帮助。