如何在 HDInsight 中安装自定义 Jar

Question

我是 Hadoop/HDInsight 的新手。

我已经按照here的步骤制作了SerDe的jar包。创建包 json-serde-1.1.9.9-Hive13-jar-with-dependencies.jar 后，post 表示我需要将其上传到头节点。

这是否意味着我必须通过 RDP 连接到 HDInsight VM，然后手动上传文件？

如果我没有启用到该 VM 的远程连接，我还能做什么？

PS: HDInsight 群集已配置。

Answer 1

您不必将它添加到 HDInsight 的头节点。如果将 jar 上传到与集群关联的存储帐户，则可以使用示例中使用的 add jar 命令访问它。

add jar wasb://<storageaccount>@<containername>/<jarfolder>/json-serde-1.1.9.9-Hive13-jar-with-dependencies.jar;

例如：

add jar wasb://andrewsstorage@datacontainer/myjars/json-serde-1.1.9.9-Hive13-jar-with-dependencies.jar

这是一种更具可扩展性的方法，因为 jar 资产将在 HDI 集群被销毁后保留。

How do I install Custom Jar in HDInsight