python中的索引合并

python中的索引合并,python,merge,indexing,Python,Merge,Indexing,我的任务是使用spimi从一个大文件创建小索引 我已经成功地将索引拆分为小文件。 现在我想合并索引,这样索引值就不会覆盖键。 字典键是术语,值是文档id。 如果我使用以下方法,那么它将覆盖具有相同键的值。 我真的希望有人能建议一些好方法,通过一次打开多个文件来进行外部合并排序 example: color[1:1,2,5] color[1:,3,4,5] after merging color[1:1,2,3,4,5] 这是我的密码: def InvertedIndex(): inputb

我的任务是使用
spimi
从一个大文件创建小索引

我已经成功地将索引拆分为小文件。 现在我想合并索引,这样索引值就不会覆盖键。 字典键是术语,值是文档id。 如果我使用以下方法,那么它将覆盖具有相同键的值。 我真的希望有人能建议一些好方法,通过一次打开多个文件来进行外部合并排序

example:
color[1:1,2,5]
color[1:,3,4,5]
after merging
color[1:1,2,3,4,5]
这是我的密码:

def InvertedIndex():
  inputbuffer=dict()
  path="C:/Users/a_chav/Downloads/reuters21578.tar/reuters21578"
  count=0
  for filename in os.listdir(path):
    if filename.endswith(".p"):
      inputbuffer=pickle.load(open(filename,"rb"))
      keys=inputbuffer.keys()

      pickle.dump(outputbuffer,open("mainindex.p","a"))
      count=count+1
      print(count)

请格式化代码并在文本中加标点符号。这是不可读的,很快就会被否决。示例输入通常比文件路径更有用。这里的一些人可能熟悉路透社的收藏,但大多数人可能都不熟悉。我知道我可以在memeory中进行合并,但任务是获取小索引并在移动中合并它们,这很有挑战性,并跟踪排序顺序,覆盖并添加新的值
1:1
意味着什么?那
1:
呢?这些在python中是如何表示的?1是字典键,在列表中有值