在 Bluemix spark 中评估性能
Evaluating performance in Bluemix spark
我运行查询并想评估性能(执行时间)
我尝试了什么:
t0 = time.time()
df =sqlContext.sql(query)
df.count()
t1 = time.time()
我可以确定查询完成并且t1-t0是查询运行时间吗?
在 IBM Analytics for Apache Spark 上,在您的笔记本中转到 "Palette" 并选择 "Environment"。在那里,您可以看到一个 link 到 Spark History Server,您可以在其中调查您的 spark 作业。
列出了每个 Spark 作业的计算时间。
我运行查询并想评估性能(执行时间) 我尝试了什么:
t0 = time.time()
df =sqlContext.sql(query)
df.count()
t1 = time.time()
我可以确定查询完成并且t1-t0是查询运行时间吗?
在 IBM Analytics for Apache Spark 上,在您的笔记本中转到 "Palette" 并选择 "Environment"。在那里,您可以看到一个 link 到 Spark History Server,您可以在其中调查您的 spark 作业。
列出了每个 Spark 作业的计算时间。