熊猫:在excel文件中查找表格列表

新版本的Pandas使用下面的界面加载Excel文件:

read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])

但如果我不知道有哪些床单呢?

例如，我正在工作的excel文件，如下表

数据1，数据2…，数据N, foo, bar

但我不知道N先验。

有没有办法从熊猫的excel文档中获得表的列表?

295165 次浏览
小开
最佳答案

你仍然可以使用ExcelFile类(和sheet_names属性):

xl = pd.ExcelFile('foo.xls')


xl.sheet_names  # see all sheet names


xl.parse(sheet_name)  # read a specific sheet to DataFrame

见文档解析更多选项…

小开

您应该显式地将第二个参数(sheetname)指定为None。是这样的:

 df = pandas.read_excel("/yourPath/FileName.xlsx", None);

"df"都是一个数据帧字典，你可以通过运行这个来验证:

df.keys()

结果是这样的:

[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']

更多细节请参考熊猫文档:https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

小开

我尝试过xlrd、pandas、openpyxl和其他类似的库，所有这些库似乎都需要指数级的时间，因为它们读取整个文件时，文件大小会增加。上面提到的其他解决方案，他们使用“on_demand”不适合我。如果您只想最初获得表名，下面的函数适用于xlsx文件。

def get_sheet_details(file_path):
sheets = []
file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
# Make a temporary directory with the file name
directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
os.mkdir(directory_to_extract_to)


# Extract the xlsx file as it is just a zip file
zip_ref = zipfile.ZipFile(file_path, 'r')
zip_ref.extractall(directory_to_extract_to)
zip_ref.close()


# Open the workbook.xml which is very light and only has meta data, get sheets from it
path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
with open(path_to_workbook, 'r') as f:
xml = f.read()
dictionary = xmltodict.parse(xml)
for sheet in dictionary['workbook']['sheets']['sheet']:
sheet_details = {
'id': sheet['@sheetId'],
'name': sheet['@name']
}
sheets.append(sheet_details)


# Delete the extracted files directory
shutil.rmtree(directory_to_extract_to)
return sheets

由于所有xlsx基本上都是压缩文件，我们提取底层xml数据并直接从工作簿中读取表名，这与库函数相比只需几分之一秒的时间。

基准测试:(在一个6mb的xlsx文件上，有4张表)
熊猫,xlrd: 12秒
openpyxl: 24秒
建议方法: 0.4秒

因为我的要求只是读取表名，读取整个时间的不必要开销让我很困扰，所以我选择了这种方法。

小开

基于@dhwanil_shah的回答，您不需要提取整个文件。使用zf.open可以直接从压缩文件中读取。

import xml.etree.ElementTree as ET
import zipfile


def xlsxSheets(f):
zf = zipfile.ZipFile(f)


f = zf.open(r'xl/workbook.xml')


l = f.readline()
l = f.readline()
root = ET.fromstring(l)
sheets=[]
for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
sheets.append(c.attrib['name'])
return sheets

连续的两个__abc0是丑陋的，但内容只在文本的第二行。不需要解析整个文件。

这个解决方案似乎比read_excel版本快得多，而且很可能也比完整的提取版本快得多。

小开

这是我发现的最快的方法，灵感来自@divingTobi的答案。所有基于xlrd、openpyxl或pandas的答案对我来说都很慢，因为它们都先加载整个文件。

from zipfile import ZipFile
from bs4 import BeautifulSoup  # you also need to install "lxml" for the XML parser


with ZipFile(file) as zipped_file:
summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]
小开 
from openpyxl import load_workbook


sheets = load_workbook(excel_file, read_only=True).sheetnames

对于我正在使用的5MB Excel文件，没有read_only标志的load_workbook花了8.24秒。使用read_only标记只花了39.6毫秒。如果您仍然希望使用Excel库而不使用xml解决方案，那么这比解析整个文件的方法要快得多。

小开

如果你:

  • 关注业绩
  • 在执行时不需要文件中的数据。
  • 想要使用传统的库还是使用自己的解决方案

下面是一个大约10Mb的xlsx， xlsb文件的基准测试。

xlsx, xls

from openpyxl import load_workbook


def get_sheetnames_xlsx(filepath):
wb = load_workbook(filepath, read_only=True, keep_links=False)
return wb.sheetnames

__abc0 ~ __abc1

# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

xlsb

from pyxlsb import open_workbook


def get_sheetnames_xlsb(filepath):
with open_workbook(filepath) as wb:
return wb.sheets

__abc0 ~ __abc1

# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

注:

小开
  1. 使用load_workbook readonly选项，之前看到的明显等待许多秒的执行以毫秒为单位发生。然而，解决方案仍然可以改进。

     import pandas as pd
from openpyxl import load_workbook
class ExcelFile:


def __init__(self, **kwargs):
........
.....
self._SheetNames = list(load_workbook(self._name,read_only=True,keep_links=False).sheetnames)
  2. < p > Excelfile。解析所花费的时间与读取完整的xls所花费的时间相同，以10s秒为单位。该结果是在windows 10操作系统和以下包版本下获得的

     C:\>python -V
Python 3.9.1


C:\>pip list
Package         Version
--------------- -------
et-xmlfile      1.0.1
numpy           1.20.2
openpyxl        3.0.7
pandas          1.2.3
pip             21.0.1
python-dateutil 2.8.1
pytz            2021.1
pyxlsb          1.0.8
setuptools      49.2.1
six             1.15.0
xlrd            2.0.1
小开

如果你读excel文件

dfs = pd.ExcelFile('file')

然后使用

dfs.sheet_names
dfs.parse('sheetname')

另一种变体

df = pd.read_excel('file', sheet_name='sheetname')
小开

从excel (xls)中检索表名的最简单方法。， xlsx)为:

tabs = pd.ExcelFile("path").sheet_names
print(tabs)

然后，要读取和存储特定工作表的数据(例如，工作表名称为&;sheet1 &;， &; sheet2 &;等)，请输入&;sheet2 &;例如:

data = pd.read_excel("path", "Sheet2")
print(data)
小开 
#It will work for Both '.xls' and '.xlsx' by using pandas


import pandas as pd
excel_Sheet_names = (pd.ExcelFile(excelFilePath)).sheet_names


#for '.xlsx' use only  openpyxl


from openpyxl import load_workbook
excel_Sheet_names = (load_workbook(excelFilePath, read_only=True)).sheet_names
小开 
import pandas as pd


path = "\\DB\\Expense\\reconcile\\"


file_name = "202209-v01.xlsx"


df = pd.read_excel(path + file_name, None)
print(df)


sheet_names = list(df.keys())


# print last sheet name
print(sheet_names[len(sheet_names)-1])


last_month = df.get(sheet_names[len(sheet_names)-1])
print(last_month)

提交答案