如何使用awk计算开始和结束日期差

我需要在新字段上打印每个唯一ID（$5）的记录开始日期和结束日期之间的差异（以天为单位），单位为（$6）。
数据如下所示

7  65  2    5   32070  2010-12-14    13:25:30    
7  82  2    10  41920  2010-12-14    11:30:45  
7  83  1    67  29446  2010-12-14    04:15:25      
7  81  1    47  32070  2011-5-11     08:14:20  
7  83  1    67  29446  2011-6-22     07:13:24
7  82  2    10  41920  2011-5-14     06:15:25  

我需要看到以下几点：

7  65  2    5   32070  2010-12-14    13:25:30   147  
7  82  2    10  41920  2010-12-14    11:30:45   150  
7  83  1    67  29446  2010-12-14    04:15:25   189  
7  81  1    47  32070  2011-5-11     08:14:20   147  
7  83  1    67  29446  2011-6-22     07:13:24   189  
7  82  2    10  41920  2011-5-14     06:15:25   150 

我使用了以下代码，但给出了错误消息。如果你还有别的选择，你能帮我吗

awk '{  
       split($6,arr,"-")  
      a=sprintf("%s %s %s 0 0 0",arr[1], arr[2], arr[3])  
      d=mktime(a)    
      delta[$5]=delta[$5] " " d  
     }   
   END {for(i in delta) {print i, delta[i]}  }'  filename > tmp.dat  

awk '{  
     if (FILENAME=="tmp.dat" )  
     {   
       delta[$1]=$0;   
       next  
     }  
     if (FILENAME=="filename")  
     {   
       a="-1"  
       if($5 in delta)  
      {  
        cnt=split(delta[$5],arr)  
       if(cnt==3)  
       {  
         a=arr[3] - arr[2]  
         a/=86400  
         a=int(a)  
       }  
       }  
      print $0, a        
      next  
       }  
        }' tmp.dat filename     

---

在awk中。源文件被读入两次。第一次执行时计算时间差，第二次执行时输出附加的时间差

$ awk 'NR==FNR {
           c = "date -d \""$6 "\" +%s";   # use system date for epoch time seconds
           c | getline d;                 # execute command in c var, output to d 
           a[$5] = (($5 in a) ? d-a[$5] : d); # set or subtract from array
           next                           # skip to next record
       } {                                # for the second go:
           # $1=$1;                       # uncomment to clean trailing space
           print $0, int(a[$5]/86400)     # print record and time  difference
       }' file file
7  65  2    5   32070  2010-12-14    13:25:30     147
7  82  2    10  41920  2010-12-14    11:30:45   150
7  83  1    67  29446  2010-12-14    04:15:25       189
7  81  1    47  32070  2011-5-11     08:14:20   147
7  83  1    67  29446  2011-6-22     07:13:24 189
7  82  2    10  41920  2011-5-14     06:15:25   150

时差前的间距不同，因为数据在

$NF

之后有尾随空格。例如，您可以使用

$1=$1打印之前执行code>

编辑：字段
$5
中的每个唯一ID应该只有2个。当发现ID的第一次出现时，字段
$6
中的日期（仅日期部分）将转换为秒，并存储到数组
a[$5]
。当找到下一个时，存储到
a[$5]
的时间将从后面找到的时间中减去，并存储到
a[$5]
。如果在
中出现两次以上的唯一ID
$5
时间，则从最后找到的时间中减去[$5]
，从而导致混乱
awk '{ $1 = $1; $0 = $0; print }' OFS=, tmp.dat > tmp1.dat

然后用熊猫

import pandas as pd                                                                                                                                                                            
import numpy as np                                                                                                                                                                                   


df=pd.read_csv("/tmp/tmp1.dat",names=[0,1,2,3,4,5,6],dtype={1:str,
                                                            2:str,
                                                            3:str,
                                                            4:str,
                                                            5:str,
                                                            6:str})                                                                                                                                          
df[5]=pd.to_datetime((df[5].astype(str)+" "+df[6].astype(str))); del df[6] 

for i,j in df.groupby(4):
    df.ix[df[4]==i,'days']=j[5].diff().fillna(method='bfill')

df['days']=(df['days']/np.timedelta64(1,'D')).astype(int)

df.to_csv("/tmp/ans)

看起来像这样

7,65,2,5,32070,2010-12-14 13:25:30,147
7,82,2,10,41920,2010-12-14 11:30:45,150
7,83,1,67,29446,2010-12-14 04:15:25,190
7,81,1,47,32070,2011-05-11 08:14:20,147
7,83,1,67,29446,2011-06-22 07:13:24,190
7,82,2,10,41920,2011-05-14 06:15:25,150

似乎其他地方也问过同样的问题：干得好。我不认为这是琐碎的。如果OP有更好的文件格式，我当然会选择使用Python来解决这个问题issue@James布朗当我对给定的样本数据尝试该命令时，我得到了一个与您不同的输出。此外，该命令是否考虑记录开始日期和结束日期之间的其他日期？我的数据集在每个唯一ID的开始日期和结束日期之间有许多日期记录。这是我在打印命令时遇到的问题，它与您的要求不完全相同found@James布朗我有两次以上的身份证，这是应该进入需求和数据示例的内容，特别是需要如何处理多个日期的规则。