我正在尝试使用PySpark从列中提取正则表达式模式.我有一个包含正则表达式模式的数据框,然后有一个包含我要匹配的字符串的表.
columns = ['id','text']vals = [(1,'here is a Match1'),(2,'Do not match'),(3,'Match2 is another example'),(4,(5,'here is a Match1')]df_to_extract = sql.createDataFrame(vals,columns)columns = ['id','Regex','Replacement']vals = [(1,'Match1','Found1'),'Match2','Found2'),]df_regex = sql.createDataFrame(vals,columns)
我想匹配“ df_to_extract”的“文本”列中的“正则表达式”列.我想针对每个ID提取术语,并在结果表中包含ID和与“ Regex”相对应的“替换”.例如：
+---+------------+| id| replacement|+---+------------+| 1| Found1|| 3| Found2|| 5| Found1|+---+------------+
谢谢！
最佳答案
一种方法是在加入条件下使用
pyspark.sql.functions.expr,它允许您将use a column value as a parameter设置为0.
例如：
from pyspark.sql.functions import exprdf_to_extract.alias("e")\.join(df_regex.alias("r"),on=expr(r"e.text LIKE concat('%',r.Regex,'%')"),how="inner")\.select("e.id","r.Replacement")\.show()#+---+-----------+#| id|Replacement|#+---+-----------+#| 1| Found1|#| 3| Found2|#| 5| Found1|#+---+-----------+
在这里,我使用了sql表达式：
e.text LIKE concat('%','%')