为什么我的 Dataflow 流水线不显示步骤?

Why is my Dataflow pipeline not showing steps?

当我 运行 示例时,我得到了一张显示流程的漂亮图片,我可以在它执行时进行监控。对于我的应用程序,它不显示图表,如果我单击 "Step",它什么也不显示。

添加作业日志的屏幕截图。没有警告或错误。顺便说一句,我假设日志条目上带有 "i" 的图标代表信息级别,但是当我将级别从 BASIC 更改为 ALL 时,添加了更多条目并且它们都具有相同的图标。这令人困惑。 IMO,图标应该更清晰并且应该有悬停提示。

我在 Dataflow 团队。很抱歉您遇到了这个问题。

我认为这是因为您在代码中使用的自定义步骤名称所致。 从作业日志的屏幕截图来看,其中一些步骤似乎已被赋予代表 GCS 存储路径位置的名称。 我从日志中的这条消息中注意到了这一点:

正在执行操作"gs://datalake/landing/...."

这无法在监控中呈现 UI 并且可能命中断言,因为斜线是不允许的字符。

为了解决此问题,请尝试删除代码中使用的自定义步骤名称。这似乎设置为 gs:// 样式路径。您也可以尝试为每个步骤指定名称,而不使用特殊字符。 请在更改后再次尝试 运行 该作业,并查看图形是否在数据流中正确呈现 UI。

我已经创建了一个 github issue 来跟踪这个错误并防止这些斜杠字符将来在数据流 SDK 代码中发送。

如果您遇到任何问题,请告诉我。