Python 使用 Bluemix 上的 spark 库的脚本

Question

我正在尝试编写 python 脚本来调用 Bluemix 平台上的 spark 库。你介意建议流程吗？

我在 Bluemix 创建了 Apache Spark 分析服务，并打开了一个 iPython Notebook。但是，我无法使用 !pip install <package>

安装新的 python 包

假设我已经解决了这个问题，我希望它像一个应用程序一样工作，我可以在后台持续运行它。可能吗？

Answer 1

默认情况下，pip 安装到系统目录中。您无权这样做。相反，您需要包含 --user pip 选项，以便仅为您的 apache spark 服务租户安装它。为了将来参考，请查看 documentation for 3rd-party libraries。

回复："an application that I can make it continuously at background"。好吧，在 IPython 笔记本中，您可以编写运行任意时间的代码。事实上，您可以关闭此类笔记本的浏览器页面，笔记本内核将继续在服务器端保持活动状态；如果需要，您可以稍后显式关闭内核或重新打开笔记本页面。

Answer 2

另外，你可以换个方式：

首先找到主目录： print os.environ["HOME"] 然后将模块安装到此目录：!pip install <package> -t 'your home directory'

附加目录路径：

 import sys, os      
sys.path.append("".join([os.environ["HOME"]]))

最后导入模块：import <package>

Python 使用 Bluemix 上的 spark 库的脚本

Python script using spark library at Bluemix

python

ipython-notebook

apache-spark

ibm-cloud