pyspark 每行打印一个项目

Question

在 Pyspark 中，当我尝试打印列表时，我在同一行中打印了所有元素：

>>> wordslist = words.collect();
>>> wordslist
[(u'crazy', 1), (u'fox', 1), (u'jumped', 1)]

有什么方法可以让输出每行打印一个项目，如下所示：

>>> wordslist
[
(u'crazy', 1),
(u'fox', 1),
(u'jumped', 1)
]

Answer 1

这是基本的 python。当您从 RDD 收集结果时。您将获得一个列表，您可以对其进行迭代并以您希望的格式打印每个元素。

我认为关于如何打印列表的问题已经在 SO 中得到了很多次回答。

和here就是一个例子。

$> mylist = myrdd.collect()
$> for elem in mylist:
$>     print elem

您还想检查 pyspark documentation 。

Answer 2

在 Scala 中使用 foreach 也可以实现同样的效果

mylist.foreach(println)

pyspark print one item in each line