Pyspark：如果列包含来自另一列的字符串（SQL LIKE 语句），则过滤数据框

Question

我正在尝试通过以下方式过滤我的 pyspark 数据框：我有一列包含 long_text 和一列包含数字。如果长文本包含 number 我想保留该列。我正在尝试使用 SQL LIKE 语句，但似乎无法将其应用于另一列（此处为 number）我的代码如下：

from pyspark.sql.functions import regexp_extract, col, concat, lit
from pyspark.sql.types import *
PN_in_NC = (df
        .filter(df.long_text.like(concat(lit("%"), df.number, lit("%"))))))

我收到以下错误： Method like([class org.apache.spark.sql.Column]) does not exist.

我尝试了多种方法来修复它（例如在过滤器之前创建 '%number%' 字符串作为列，而不是使用 lit、using '%' + number + '%'）但没有任何效果。如果 LIKE 不能应用于另一列，是否有另一种方法可以做到这一点？

Answer 1

您可以使用contains函数。

from pyspark.sql.functions import *
df1 = spark.createDataFrame([("hahaha the 3 is good",3),("i dont know about 3",2),("what is 5 doing?",5),\
("ajajaj 123",2),("7 dwarfs",1)], ["long_text","number"]) 
df1.filter(col("long_text").contains(col("number"))).show()

long_text 列应包含数字列中的数字。

输出：

+--------------------+------+
|           long_text|number|
+--------------------+------+
|hahaha the 3 is good|     3|
|    what is 5 doing?|     5|
|          ajajaj 123|     2|
+--------------------+------+

Pyspark：如果列包含来自另一列的字符串（SQL LIKE 语句），则过滤数据框

Pyspark: Filter data frame if column contains string from another column (SQL LIKE statement)

python

sql-like

apache-spark

pyspark