Cloud Dataflow BQ 输出挂起作业，用于 TLS 握手错误

Question

我的 Cloud Dataflow 作业挂起。

管道：

Pipeline p = Pipeline.create(options);
p.apply(TextIO.Read.named("ReadFiles").from(options.getInputFile()).withCompressionType(CompressionType.GZIP))
.apply(new ProcessRecords(eventType))
.apply(BigQueryIO.Write.to(options.getOutput()).withSchema(options.getBigQuerySchema())
        .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE));
p.run();

从工作日志中我能看到的是

Kubelet is healthy?: true
TLS handshake error from 172.17.0.2:41759: EOF
shutdown[7231]: shutting down for system halt

同样的工作，当我输出到 GCS 文件时它工作正常。

职位编号：2016-12-28_15_23_54-4009520083656203603

我试过很多次了，但每次都是同样的问题。

Answer 1

管道构造代码或数据流没有任何问题。 TextIO 写操作比 BigQueryIO 写操作快。

如果您每次都注意到您的所有步骤只是简单地移动到 "Running" 状态而不显示处理速率或其他任何内容，则没有任何问题.

深入研究工作日志可能会显示 TLS 握手错误或关闭或系统暂停。那是绝对正常的。把工作运行再进一步，应该没问题。

Cloud Dataflow BQ 输出挂起作业，用于 TLS 握手错误

Cloud Dataflow BQ output hung job for TLS handshake error from

java

google-bigquery

google-cloud-dataflow