如何基于其他pyspark数据帧中的日期值过滤第二个pyspark数据帧?

我有一个Dataframe,其中填充了load_date_time。我想使用其他一些DataFrame中的max(date_value)过滤该数据框。

我尝试执行以下操作。

var placeholder = "<span class='fas-icon'>&#xf45f</span> Select...";
    $("#mysel").select2({
        theme: 'bootstrap4',dataAdapter: CustomData,placeholder: placeholder,width: null,escapeMarkup: function(m) { 
           return m; 
        }
    });

然后尝试根据该日期过滤第一个数据框。它有一个称为load_date_time的时间戳列。

df2_max_create_date = df2.select("create_date").agg(F.max(df_dsa["create_date"]))
df2_max_create_date.show()
+----------------+
|max(create_date)|
+----------------+
|      2019-11-10|
+----------------+

但是我遇到了错误。

df_delta = df1.where(F.col('load_date_time') > (F.lit(df2_max_create_date)))
yin088 回答:如何基于其他pyspark数据帧中的日期值过滤第二个pyspark数据帧?

您可以通过调用max_date来获取collect变量:

max_create_date = df2.select(F.max(df_dsa["create_date"])).collect()[0][0]
df_delta = df1.where(F.col('load_date_time') > max_create_date)
本文链接:https://www.f2er.com/3118547.html

大家都在问