Spark Scala API：将 PairDStream 映射到另一个 PairDStream
Spark Scala API: Map PairDStream to another PairDStream
我正在使用 Spark 的 Java API。现在我需要将我的 "translate" 我的 Java 应用程序转换为 Scala 代码，因为我想试用 Apache Zeppelin。
我有一个 PairDStream (1.1.1.123,(1,1,1,1)) 并且需要将其对映射到 (1.1.1, (1,1,1,1))（剪掉第一对钥匙中的“123”）。有人可以提供线索如何执行此操作或如何在 Scala 中将一对映射到另一对吗？我使用 map 函数创建了第一对。谢谢！
试试这个（假设您的 IP 地址是一个字符串）：
val newPairs = oldPairs.map { case (ipAddress, values) => (ipAddress.substring(0, ipAddress.lastIndexOf(".")) , values) }
我正在使用 Spark 的 Java API。现在我需要将我的 "translate" 我的 Java 应用程序转换为 Scala 代码，因为我想试用 Apache Zeppelin。 我有一个 PairDStream (1.1.1.123,(1,1,1,1)) 并且需要将其对映射到 (1.1.1, (1,1,1,1))（剪掉第一对钥匙中的“123”）。有人可以提供线索如何执行此操作或如何在 Scala 中将一对映射到另一对吗？我使用 map 函数创建了第一对。谢谢！
试试这个（假设您的 IP 地址是一个字符串）：
val newPairs = oldPairs.map { case (ipAddress, values) => (ipAddress.substring(0, ipAddress.lastIndexOf(".")) , values) }