为什么我在 sagemaker notebook 中导入 SparkContext 库时出错?

Why am I getting error while importing SparkContext library in sagemaker notebook?

我在 AWS Glue 中使用 SageMaker Notebook 进行 ETL 开发。

在导入 SparkContext 库时出现以下错误。我试图重新启动内核但没有成功。谁能给我解释一下"a"。

The code failed because of a fatal error: Error sending http request and maximum retry encountered..*

Some things to try:

a. Make sure Spark has enough available resources for Jupyter to create a Spark context.

b. Contact your Jupyter administrator to make sure the Spark magics library is configured correctly.

c. Restart the kernel.

需要注意以下几点:

  1. 我正在从 AWS 控制台 > AWS Glue > 开发端点 > Notebooks 创建 sagemaker notebook。

  2. 创建的开发端点的 VPC、子网和安全组与连接到的 RDS 相同 应该做的。在创建开发端点时,在网络中 页面我从连接列表中选择一个现有连接 在下拉列表中可用,以便 VPC、子网和安全组 自动选择。

  3. 我将 DPU 从 5 增加到 10 但仍然收到此错误。
  4. 无法到达我能到达的那一步 创建与 RDS 的连接,因为在调用 图书馆。
  5. 如果我在创建开发端时跳过网络信息 点我能够成功地调用所有相关的库 (附截图)。 (连接到时不建议 RDS,因为它不起作用)。

因此,此错误 ("The code failed because...") 仅在提供连接时出现。

如果有人能帮助解决这个问题,那将会很有帮助。

想知道您的 Livy 端点配置是否有效? Livy 运行在 8998 端口。您应该检查该端口是否在安全组中打开。

这可能有用:https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/

此外,如果这没有帮助,您应该尝试停止并重新启动笔记本电脑一次。这在过去有所帮助。