使用python计算AVRO文件中的行数
因此,目前我可以使用以下方法打开avro文件:使用python计算AVRO文件中的行数,python,avro,Python,Avro,因此,目前我可以使用以下方法打开avro文件: import avro.schema from avro.datafile import DataFileReader, DataFileWriter from avro.io import DatumReader, DatumWriter reader = DataFileReader(open("myfile.avro", "r"), DatumReader()) for user in reader: print (user) read
import avro.schema
from avro.datafile import DataFileReader, DataFileWriter
from avro.io import DatumReader, DatumWriter
reader = DataFileReader(open("myfile.avro", "r"), DatumReader())
for user in reader:
print (user)
reader.close()
在此过程之后,我希望能够使用python代码计算此文件中的行数。
我目前通过Spyder使用Python2.7
感谢您的帮助。试试这个
num_lines = sum(1 for line in reader)
您确定要计算行数吗?avro文件是二进制文件,二进制文件中没有“行”这样的东西。一个选项是将avro文件转换为类似JSON的格式[1],然后计算记录数(或者行数,如果确实需要的话)。[1]