在 Bluemix spark 中评估性能

Evaluating performance in Bluemix spark

我运行查询并想评估性能(执行时间) 我尝试了什么:

t0 = time.time()
df =sqlContext.sql(query)
df.count()
t1 = time.time()

我可以确定查询完成并且t1-t0是查询运行时间吗?

在 IBM Analytics for Apache Spark 上,在您的笔记本中转到 "Palette" 并选择 "Environment"。在那里,您可以看到一个 link 到 Spark History Server,您可以在其中调查您的 spark 作业。

列出了每个 Spark 作业的计算时间。