Python 熊猫:在excel文件中查找工作表列表

Python 熊猫:在excel文件中查找工作表列表,python,excel,pandas,openpyxl,xlrd,Python,Excel,Pandas,Openpyxl,Xlrd,Pandas的新版本用于加载Excel文件: read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA']) 但是如果我不知道有哪些床单呢 例如,我正在使用excel文件,这些文件包含以下表格 数据1,数据2…,数据N,foo,bar 但是我不知道什么是先验的 有没有办法从Pandas中的excel文档中获取工作表列表?您仍然可以使用该类(以及工作表名称属性): 有关更多选项,请参见…您应该将第二个参数(sh

Pandas的新版本用于加载Excel文件:

read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])
但是如果我不知道有哪些床单呢

例如,我正在使用excel文件,这些文件包含以下表格

数据1,数据2…,数据N,foo,bar

但是我不知道什么是先验的

有没有办法从Pandas中的excel文档中获取工作表列表?

您仍然可以使用该类(以及
工作表名称属性):


有关更多选项,请参见…

您应该将第二个参数(sheetname)明确指定为无。像这样:

 df = pandas.read_excel("/yourPath/FileName.xlsx", None);
[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']
“df”是数据帧字典中的所有工作表,您可以通过运行以下命令进行验证:

df.keys()
结果如下:

 df = pandas.read_excel("/yourPath/FileName.xlsx", None);
[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']

请参阅pandas doc了解更多详细信息:

我尝试了xlrd、pandas、openpyxl和其他类似的库,所有这些库在读取整个文件时似乎都需要指数级的时间,因为文件大小会增加。上面提到的其他解决方案,他们使用“随需应变”对我不起作用。如果您只想最初获取图纸名称,则以下函数适用于xlsx文件

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(file_path, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['@sheetId'],
                'name': sheet['@name']
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets
由于所有xlsx基本上都是压缩文件,因此我们提取底层xml数据并直接从工作簿读取工作表名称,这与库函数相比只需几秒钟

基准测试:(在一个6mb xlsx文件上,共4页)
熊猫,xlrd:12秒
openpyxl:24秒
建议的方法:0.4秒


由于我的要求只是读取工作表名称,因此整个过程中不必要的阅读开销困扰着我,因此我选择了这条路线。

基于@dhwanil_shah的答案,您不需要提取整个文件。使用
zf.open
可以直接读取压缩文件

import xml.etree.ElementTree as ET
import zipfile

def xlsxSheets(f):
    zf = zipfile.ZipFile(f)

    f = zf.open(r'xl/workbook.xml')

    l = f.readline()
    l = f.readline()
    root = ET.fromstring(l)
    sheets=[]
    for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
        sheets.append(c.attrib['name'])
    return sheets
两个连续的
readline
s很难看,但内容仅在文本的第二行。不需要解析整个文件


这个解决方案似乎比
read_excel
版本快得多,很可能也比完整的摘录版本快。

这是我发现的最快的方法,灵感来自@divingTobi的答案。所有基于xlrd、openpyxl或pandas的答案对我来说都很慢,因为它们都先加载整个文件

from zipfile import ZipFile
from bs4 import BeautifulSoup  # you also need to install "lxml" for the XML parser

with ZipFile(file) as zipped_file:
    summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]

从openpyxl导入加载\u工作簿
工作表=加载工作簿(excel文件,只读=True)。工作表名称
对于我正在使用的5MB Excel文件,
load\u工作簿
不带
read\u only
标志需要8.24秒。使用
read_
标记只需39.6毫秒。如果您仍然希望使用Excel库而不使用xml解决方案,这比解析整个文件的方法要快得多。

如果您:

  • 关心表现
  • 执行时不需要文件中的数据
  • 想要使用传统的库还是使用自己的解决方案
下面是一个~10Mb
xlsx
xlsb
文件的基准测试

xlsx,xls
基准:~14倍速度提升

# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
xlsb
基准:~56x速度提升

# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
注:

  • 这是一个很好的资源-
  • xlrd
    自2020年起不再维护
  • 使用load_workbook readonly选项,以前被视为明显等待数秒的执行以毫秒为单位。不过,解决办法仍有待改进

     import pandas as pd
     from openpyxl import load_workbook
     class ExcelFile:
    
         def __init__(self, **kwargs):
             ........
             .....
             self._SheetNames = list(load_workbook(self._name,read_only=True,keep_links=False).sheetnames)
    
  • Excelfile.parse与读取完整xls的时间相同,以10秒为单位。此结果是在windows 10操作系统下获得的,其软件包版本如下

     C:\>python -V
     Python 3.9.1
    
     C:\>pip list
     Package         Version
     --------------- -------
     et-xmlfile      1.0.1
     numpy           1.20.2
     openpyxl        3.0.7
     pandas          1.2.3
     pip             21.0.1
     python-dateutil 2.8.1
     pytz            2021.1
     pyxlsb          1.0.8
     setuptools      49.2.1
     six             1.15.0
     xlrd            2.0.1
    

  • 谢谢你,安迪。请问熊猫是否将excel表格加载到
    excel文件中?另外,假设我查找了工作表列表并决定加载N个工作表,那么我应该为每个工作表调用
    read\u excel
    (新界面),还是坚持使用
    x1.parse
    ?我认为ExcelFile保持文件打开(而不是全部读取),我认为使用parse(并且只打开一次文件)在这里最有意义。我错过了read_excel的到来!前面提到过,但我喜欢使用
    {sheet\u name:xl.parse(sheet\u name)为xl.sheet\u name中的sheet\u name}
    保存一个数据帧字典,希望我能给你更多的投票,这也适用于多个版本的pandas!(不知道他们为什么喜欢经常更改API)谢谢你给我指出解析函数,这里是当前的链接:@NicholasLu下一票是不必要的,这个答案是从2013年开始的!也就是说,虽然excel文件是解析excel文件的原始方法,但它并没有被弃用,并且仍然是一种完全有效的方法。这不必要地将每个工作表解析为数据帧,而这不是必需的。“如何读取xls/xlsx文件”是一个难题。@而且它可能效率不高,但如果您关心所有的工作表,或者不关心额外的开销,那么它可能是最好的。不,.xls是一种完全不同的文件格式,所以我不希望这段代码起作用。您使用的模块是什么?@Daniel我只使用了
    zipfile
    ,这是一个内置模块和
    xmltodict
    ,我用它将XML转换成一个易于阅读的字典。尽管您可以在下面查看@divingTobi的答案,在这里您可以读取相同的文件,而无需实际提取其中的文件。当我尝试使用只读标志的openpyxl时,速度明显加快(对于我的5 MB文件,速度提高了200倍)<代码>加载工作簿(excel\u文件)。图纸名称
    平均8.24秒,其中
    加载工作簿(excel\u文件,只读=True)。图纸名称
    平均39.6毫秒。