Pyspark 如何在spark sql中用type1实现scd类型2

我需要在azure databricks笔记本中捕获旧记录和新更改。 例：

|----------------------------------------------------------------------
|EMPNO行有效期状态代码城市名称行有效期
|----------------------------------------------------------------------|
|1550 19-10-2020塔弗特沃斯20-10-2020|
|-----------------------------------------------------------------------|
|1550 20-10-2020德克萨斯州RONOLE 21-1-2020|
|-----------------------------------------------------------------------|
|1550 21-1-2020 TX葡萄藤无效|
|------------------------------------------------------------------------|
我希望得到有用的信息，如果需要更多信息，请随时询问。
上述场景的任何输入都将非常有用。

您能添加更多信息以便其他人能更好地帮助您吗？您想要类型1或类型2吗？@Steven，我正在寻找与当前行一起维护历史记录的方法，如上表所示。