scala spark - 从文件中计算偶数

Question

我是大数据新手World.need你的帮助real.here是我的问题 我正在从 txt 文件中读取数据(1,2,3,4,4,4,4)

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(","))
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()

java.lang.NumberFormatException: For input string: ""

由于数组的最后一个元素无法转换为 Int 而出现错误

请帮助解决这个问题 提前致谢。

此致， 学习火花

Answer 1

您在转换为整数之前过滤了空字符串。

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(",")).filter(num => num != "")
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()