如何创建超过Python中最大大小的列表
根据,32位系统上Python列表的最大大小为536870912个元素 有没有任何可能的方法来初始化一个比这个更大的列表 比如说:如何创建超过Python中最大大小的列表,python,list,Python,List,根据,32位系统上Python列表的最大大小为536870912个元素 有没有任何可能的方法来初始化一个比这个更大的列表 比如说: list1 = [None]*1000000000 如此大的列表将占用大量空间,因为列表中的每个元素将至少占用4个字节,因此只有一个具有最大允许元素的列表将占用最少2GB的RAM1。这甚至没有考虑64位系统2 4*5.4e+8=2.1e+9,2.1 GB 8*1.2e+18=9.2e+18,9.2eb(是,EB) 然而,为了回答这个问题,让我们假设您有很多RAM
list1 = [None]*1000000000
如此大的列表将占用大量空间,因为列表中的每个元素将至少占用4个字节,因此只有一个具有最大允许元素的列表将占用最少2GB的RAM1。这甚至没有考虑64位系统2
4*5.4e+8=2.1e+9
,2.1 GB8*1.2e+18=9.2e+18
,9.2eb(是,EB)最简单的选择之一是创建自己的对象来保存和处理大量列表。它基本上会将大量的列表拆分为较小的列表,然后在需要时相应地访问它们。这是因为您无论如何都必须重写所有的方法,所以最好只对
object
进行子类化,然后从那里开始。这里唯一重要的事情是永远不要合并或复制子列表(因为它们是大量的),所以在必要时使用循环列表
下面是最简单的列表方法的示例append
,extend
,get/setitem
工作:
import sys
from itertools import chain
class largeList(object):
def __init__(self, mylist=[]):
self.maxSize = sys.maxsize/4
self.src = [[]]
self.extend(mylist)
def __iter__(self):
return chain(*self.src)
def __getitem__(self, idx):
return self.src[int(idx/self.maxSize)][idx%self.maxSize]
def __setitem__(self, idx, item):
self.src[int(idx/self.maxSize)][idx%self.maxSize] = item
# expand set/getitem to support negative indexing.
def append(self, item):
if len(self.src[-1]) < self.maxSize:
self.src[-1].append(item)
else:
self.src.append([item])
def extend(self, items):
remainder = self.maxSize - len(self.src[-1])
self.src[-1].extend(items[:remainder])
for i in xrange(0, len(items[remainder:]), self.maxSize):
self.src.append(items[remainder:][i:i+self.maxSize])
def __len__(self):
return sum(len(l) for l in self.src)
def __str__(self):
size = self.__len__()
if size >= 8:
first, last = [], []
for i, ele in enumerate(self.__iter__()):
if i < 3:
first.append(ele)
if i >= size - 3:
last.append(ele)
return str(first)[:-1] + ', ..., ' + str(last)[1:]
return str(list(self.__iter__()))
结果是:在内部,这些列表被拆分为多个列表,而在使用它们时,它们似乎只是一个列表。通过添加更多方法,可以轻松添加更多的列表
功能。例如,弹出
,删除
,插入
,以及索引
:
(...)
def pop(self, idx):
listidx = int(idx/self.maxSize)
itempopped = self.src[listidx].pop(idx%self.maxSize)
for i in xrange(listidx, len(self.src)-1):
self.src[i].append(self.src[i+1].pop(0))
if not self.src[-1]:
del self.src[-1]
return itempopped
def remove(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
self.pop(i)
break
def insert(self, idx, item):
listidx = int(idx/self.maxSize)
itemtoshift = self.src[listidx].pop(-1)
self.src[listidx].insert(idx%self.maxSize, item)
for i in xrange(listidx+1, len(self.src)-1):
itemremoved = self.src[i].pop(-1)
self.src[i].insert(0, itemtoshift)
itemtoshift = itemremoved
if len(self.src[-1]) < self.maxSize:
self.src[-1].insert(0, itemtoshift)
else:
self.src.append([self.src[-1].pop(-1)])
self.src[-2].insert(0, itemtoshift)
def index(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
return i
return -1
不,这就是“最大尺寸”的意思。你可以
itertools.chain
如果你有内存的话,我想你可以把一堆块连在一起。你是否考虑到列表中的每个元素至少占用4个字节,因此4*536870912=2147483648
。现在这是2GB的内存,仅用于列表。如果元素不完全相同,我敢肯定,在达到这个大小之前,你会得到一个记忆错误的方法。@bakuriu谢谢你指出这一点。我确实收到了一封回忆录(
(...)
def pop(self, idx):
listidx = int(idx/self.maxSize)
itempopped = self.src[listidx].pop(idx%self.maxSize)
for i in xrange(listidx, len(self.src)-1):
self.src[i].append(self.src[i+1].pop(0))
if not self.src[-1]:
del self.src[-1]
return itempopped
def remove(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
self.pop(i)
break
def insert(self, idx, item):
listidx = int(idx/self.maxSize)
itemtoshift = self.src[listidx].pop(-1)
self.src[listidx].insert(idx%self.maxSize, item)
for i in xrange(listidx+1, len(self.src)-1):
itemremoved = self.src[i].pop(-1)
self.src[i].insert(0, itemtoshift)
itemtoshift = itemremoved
if len(self.src[-1]) < self.maxSize:
self.src[-1].insert(0, itemtoshift)
else:
self.src.append([self.src[-1].pop(-1)])
self.src[-2].insert(0, itemtoshift)
def index(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
return i
return -1
#sys.maxsize = 1000
list1 = largeList(xrange(sys.maxsize/4 + 2))
list1.insert(0, 'a')
print list1
#['a', 0, 1, ..., 536870910, 536870911, 536870912]
list1.pop(2)
#1
list1.remove(536870910)
print list1.index('a')
#0
print len(list1)
#536870911
print list1
#['a', 0, 2, ..., 536870909, 536870911, 536870912]
print list.src
#[['a', 0, 2, ..., 536870909, 536870911], [536870912]]