结构化流能否控制数据到达的速度？

Question

比如我有一个100MB的文件，我用structured streaming来处理。我想每次读入10MB，然后输出结果，再读入10MB，然后处理。但是structured streaming好像是直接读取100MB进入处理，等待新数据处理。

Answer 1

Structured streaming现在支持Rate Source，使用rowsPerSecond可以得到你想要的一定数量的数据。