pyspark从星期四开始获取月的周数

我需要一个月的工作日。然而，一周的开始日应该是星期四

数据如下所示

目前，我的代码将开始日期定为星期天

df = df.withColumn("Week_Number",date_format(to_date("inv_dt", "yyyy-MM-dd"), "W"))

---

但是，我希望本周从周四开始，考虑创建一个用户定义函数（UDF）来处理特殊情况

例如，以下UDF处理除星期日以外的一周开始时的特殊情况

参数

start\u day\u of_week

取整数，其中周一为1，周日为7：

from pyspark.sql.functions import udf

def week_number(date_str, start_day_of_week=7):
    @udf("long")
    def _week_number(date_str):
        from datetime import datetime, date
        d = datetime.strptime(date_str, '%Y-%m-%d')     # compatible with Python2
        wd_d1 = date(d.year, d.month, 1).isoweekday()
        offset = (wd_d1 - start_day_of_week + 7 ) % 7
        return (d.day - 1 + offset) // 7 + 1
    return _week_number(date_str)

注意：上面的代码是在PySpark（2.4.4）中用Python3（3.7.3）和Python（2.7.15）测试的。默认情况下，PySpark以Python（2.7.15）开始。要使用Python3，请使用

PySpark\u PYTHON=Python3 PySpark

启动PySpark，或将

export PySpark\u PYTHON=Python3

添加到启动脚本中

如果UDF只在Python3中使用，那么可以简单地使用

d=date.fromsoformat（date\u str）

并只导入

date

from

datetime

演示

考虑输入数据，如：

from pyspark.sql.functions import *

inv_dt = [ '2018-09-{:02d}'.format(x) for x in range(1, 31) ]

# if with Pandas installed
import pandas as pd
df_pd = pd.DataFrame({'inv_dt':inv_dt})
df = spark.createDataFrame(df_pd)

# if without Pandas
from pyspark.sql.types import StringType
df = spark.createDataFrame(inv_dt, StringType()).withColumnRenamed('value', 'inv_dt')

df.show()

# +----------+
# |    inv_dt|
# +----------+
# |2018-09-01|
# |2018-09-02|
# |2018-09-03|
# |2018-09-04|
# |2018-09-05|
# |2018-09-06|
# |2018-09-07|
# |2018-09-08|
# |2018-09-09|
# |2018-09-10|
# |2018-09-11|
# |2018-09-12|
# |2018-09-13|
# |2018-09-14|
# |2018-09-15|
# |2018-09-16|
# |2018-09-17|
# |2018-09-18|
# |2018-09-19|
# |2018-09-20|
# +----------+
# only showing top 20 rows

并调用我们的UDF

week\u number

，就像其他Spark SQL函数一样，如

date\u format

。 我们可以将我们的UDF输出

周数（“inv\u dt”，7）

与Spark内置

日期格式（到日期（“inv\u dt”，“yyyy-MM-dd”），“W”）

进行比较

“纯”Pypark方法如下

从pyspark.sql导入函数为F
def周数（日期、周开始日=7）：
月中日=月中日（日期）
第一天=F.sub日期（日期、月份的第1天）
每周第一天=每周第一天（第一天）
偏移量=（每周第一天-每周第一天+7）%7
周数=F.楼层（（月日-1+偏移）/7）+1
返回周数
从星期四开始的星期数=df.with列（'week_num_from_thurs'，week_number（'inv_dt'，4））

---

现在是凌晨2点，我没有一个本地的星火星团或任何东西，所以这可能是有车的。解决方案应归功于@Quar。我只是在这里将Python转换为Pyspark SQL API。变量名故意冗长。

你能提供数据集吗？@PrathikKini我已经编辑了问题以显示数据集。对于内置的Pyspark函数也可以这样做。@完全被破坏了也许你的意思是只使用模块

Pyspark.sql.functions

中的函数？对于中间列，我们可以这样做，但它不如UDF优雅。PySpark本身旨在鼓励与Python内置函数甚至Python包混合，并通过UDF桥接。可以将该过程封装在类似于UDF的函数中。不需要写出中间列。它也应该快一点。@彻底崩溃了也许你在想

map

或

flatMap

？按照这种方法，必须确保函数pickle能够广播给工作人员，这只会让事情变得更混乱。如果你有一个更快、更干净的解决方案，我很想看看，并欢迎补充答案：D然而，IMHO，为了声称“更快”，需要进行基准测试以证明它…不，你可以简单地一直使用方法

pyspark.sql.functions

，而且应该更快，因为它们是“本机”函数。。

( df    
    .withColumn("Day_of_Week", date_format(to_date("inv_dt", "yyyy-MM-dd"), "u"))
    .withColumn("Week_Number_Sun_ref", date_format(to_date("inv_dt", "yyyy-MM-dd"), "W"))
    .withColumn("Week_Number_Sun", week_number("inv_dt", 7))
    .withColumn("Day_of_Week_Thu", week_number("inv_dt", 4))
    .withColumn("Day_of_Week_Mon", week_number("inv_dt", 1))
).show()

# +----------+-----------+-------------------+---------------+---------------+---------------+
# |    inv_dt|Day_of_Week|Week_Number_Sun_ref|Week_Number_Sun|Day_of_Week_Thu|Day_of_Week_Mon|
# +----------+-----------+-------------------+---------------+---------------+---------------+
# |2018-09-01|          6|                  1|              1|              1|              1|
# |2018-09-02|          7|                  2|              2|              1|              1|
# |2018-09-03|          1|                  2|              2|              1|              2|
# |2018-09-04|          2|                  2|              2|              1|              2|
# |2018-09-05|          3|                  2|              2|              1|              2|
# |2018-09-06|          4|                  2|              2|              2|              2|
# |2018-09-07|          5|                  2|              2|              2|              2|
# |2018-09-08|          6|                  2|              2|              2|              2|
# |2018-09-09|          7|                  3|              3|              2|              2|
# |2018-09-10|          1|                  3|              3|              2|              3|
# |2018-09-11|          2|                  3|              3|              2|              3|
# |2018-09-12|          3|                  3|              3|              2|              3|
# |2018-09-13|          4|                  3|              3|              3|              3|
# |2018-09-14|          5|                  3|              3|              3|              3|
# |2018-09-15|          6|                  3|              3|              3|              3|
# |2018-09-16|          7|                  4|              4|              3|              3|
# |2018-09-17|          1|                  4|              4|              3|              4|
# |2018-09-18|          2|                  4|              4|              3|              4|
# |2018-09-19|          3|                  4|              4|              3|              4|
# |2018-09-20|          4|                  4|              4|              4|              4|
# +----------+-----------+-------------------+---------------+---------------+---------------+
# only showing top 20 rows
#