Google Cloud Dataproc 预览图像的 Spark 版本是否已更改?
Has the Google Cloud Dataproc preview image's Spark version changed?
我最近使用 'preview' 映像在 Google Cloud Dataproc 上启动了一个 Spark 集群。根据文档,预览图像的 Spark 版本是“2.1.0”,但是 运行 spark-shell --version
显示集群实际上是 运行 Spark 2.2.0。这对我们来说是一个问题,因为我们的 spark-avro
版本与 Spark 2.2.0 不兼容。还有其他人遇到这个问题吗?我没能从 Google 找到关于版本升级的官方公告的任何痕迹。
很抱歉,最近 preview
图像更新的次要发行说明似乎丢失了;文件有望在明天更新。事实上,您是对的,当前的 Dataproc preview
版本现在是 Spark 2.2.0。如果您需要固定到已知可用的旧预览图像,您可以尝试:
gcloud dataproc clusters create --image https://www.googleapis.com/compute/v1/projects/cloud-dataproc/global/images/dataproc-1-2-20170227-145329
那应该包含 Spark 2.1.0。也就是说,请记住,一般来说,新的预览图像总是有可能做出不兼容的更改,并且不能保证固定到旧的预览图像可以长期继续工作。
在你的情况下,你是否碰巧知道你是在点击这个 issue filed on spark-avro 还是它是你的版本所特有的?理想情况下,我们应该让您更新到 Spark 2.2,因为官方(非预览版)映像版本即将推出 Spark 2.2。
我最近使用 'preview' 映像在 Google Cloud Dataproc 上启动了一个 Spark 集群。根据文档,预览图像的 Spark 版本是“2.1.0”,但是 运行 spark-shell --version
显示集群实际上是 运行 Spark 2.2.0。这对我们来说是一个问题,因为我们的 spark-avro
版本与 Spark 2.2.0 不兼容。还有其他人遇到这个问题吗?我没能从 Google 找到关于版本升级的官方公告的任何痕迹。
很抱歉,最近 preview
图像更新的次要发行说明似乎丢失了;文件有望在明天更新。事实上,您是对的,当前的 Dataproc preview
版本现在是 Spark 2.2.0。如果您需要固定到已知可用的旧预览图像,您可以尝试:
gcloud dataproc clusters create --image https://www.googleapis.com/compute/v1/projects/cloud-dataproc/global/images/dataproc-1-2-20170227-145329
那应该包含 Spark 2.1.0。也就是说,请记住,一般来说,新的预览图像总是有可能做出不兼容的更改,并且不能保证固定到旧的预览图像可以长期继续工作。
在你的情况下,你是否碰巧知道你是在点击这个 issue filed on spark-avro 还是它是你的版本所特有的?理想情况下,我们应该让您更新到 Spark 2.2,因为官方(非预览版)映像版本即将推出 Spark 2.2。