Python Camelot Pdf提取解析失败
我对卡米洛特图书馆有意见 我正在从PDF中提取数据,我的代码在前23页中运行“ok”,但在这种情况下,它无法解析文本/表格结尾 我想问题是字符串太长,无法到达表边界 也尝试了“流”,但得到了最坏的结果 PDF源数据 PDF输出布局 我解析的输出如下Python Camelot Pdf提取解析失败,python,pdf,python-camelot,Python,Pdf,Python Camelot,我对卡米洛特图书馆有意见 我正在从PDF中提取数据,我的代码在前23页中运行“ok”,但在这种情况下,它无法解析文本/表格结尾 我想问题是字符串太长,无法到达表边界 也尝试了“流”,但得到了最坏的结果 PDF源数据 PDF输出布局 我解析的输出如下 "ALT4945\n24 V" "70\/140 A ALT5860\n12 V\n90 A" 期望的输出应该是 "ALT4945\n24 V 70\/140 A" "ALT5860\n12 V\n90 A" 我在上一页中正确工作的第一个
"ALT4945\n24 V"
"70\/140 A ALT5860\n12 V\n90 A"
期望的输出应该是
"ALT4945\n24 V 70\/140 A"
"ALT5860\n12 V\n90 A"
我在上一页中正确工作的第一个代码是
tables = camelot.read_pdf("CROSSREFERENCE.pdf", pages=wPAGES, flavor="lattice")
从Camelot Doc网站上,我得到了pdf解析器的可能配置
"" PARAMS for lattice
line_scale (default: 15)
copy_text ((default: None))
shift_text (default: ['l', 't'])
line_tol (default: 2)
joint_tol (default: 2)
threshold_blocksize (default: 15)
threshold_constant (default: -2)
iterations (default: 0)
resolution (default: 300)
"""
然后我遇到了这个问题,试图解决“玩”更多的参数,但没有找到赢家
tables = camelot.read_pdf("CROSSREFERENCE.pdf", pages=wPAGES, flavor="lattice", split_text=True, resolution=720, line_scale=250, line_tol=3, joint_tol=3, threshold_blocksize=15)
tables = camelot.read_pdf("CROSSREFERENCE.pdf", pages=wPAGES, flavor="lattice", split_text=True, resolution=720, line_scale=250, line_tol=1, joint_tol=1, threshold_blocksize=3)
我能得到一些关于params的建议来避免这种情况吗
谢谢
编辑1:
PDF资料来源:
(第24页)测试溶液
表[0].df
的输出如下:
0 1
0 CATALOGO SIOM ALTERNATORI BOSCH \nBOSCH \nBOSCH \nBOSCH
1 ALT4800\n12 V\n65A ALT4830\n12 V\n70 A
2 IMPIANTO : BOSCH\nCOD.OEM : 0120489186 IMPIANTO : BOSCH\nCOD.OEM : 0120488172
3 APPLICAZIONI :\n OPEL VAUXHALL APPLICAZIONI :\n OPEL VAUXHALL
4 ALT4840\n12 V\n70 A ALT4890\n12 V\n90 A
5 IMPIANTO : BOSCH\nCOD.OEM : 0120488186 IMPIANTO : BOSCH\nCOD.OEM : 0123315500
6 APPLICAZIONI :\n OPEL VAUXHALL APPLICAZIONI :\n IVECO
7 ALT4900\n12 V\n90 A ALT4940\n24 V\n70/140 A
8 IMPIANTO : BOSCH\nCOD.OEM : 0123320009 IMPIANTO : BOSCH\nCOD.OEM : 0120689535
9 APPLICAZIONI :\n AUDI SKODA VW APPLICAZIONI :\n DROGMOLLER KASSBOHRER MERCEDE...
10 ALT4945\n24 V\n70/140 A ALT5860\n12 V\n90 A
11 IMPIANTO : BOSCH\nCOD.OEM : 0120689541 IMPIANTO : BOSCH\nCOD.OEM : 0120450011
12 APPLICAZIONI :\n MAN MERCEDES BENZ APPLICAZIONI :\n CHRYSLER
13 ALT6600\n12 V\n90 A ALT6610\n24 V\n80 A
14 IMPIANTO : BOSCH\nCOD.OEM : 0124325058 IMPIANTO : BOSCH\nCOD.OEM : 0124555001
15 APPLICAZIONI :\n FIAT LANCIA APPLICAZIONI :\n MERCEDES BENZ
16 Pag .24
解释
从总体上看,stream
解析器似乎比lattice
更适合共享文档:
Stream
可用于解析单元格之间有空格的表
模拟表格结构
对于流
解析器发现不正确的列分隔符的情况,您可以在列
参数()中手动指定它们。然后使用split_text
选项将文本与这些列拆分:)
讨论
尽管在评论中批评了删除了PDF,但对于您的具体情况,我还是相当乐观的。您共享的文档结构良好。所以我一定会尝试解析它。但这一点仍然是正确的,即它是启发性的。因此,需要采取额外的预防措施。
我建议您使用来测试从camelot
获得的信息
您可以使用以下代码作为起点:
import re
import logging
def test_tables(tables):
# headers
HEADER_L = re.compile('^CATALOGO SIOM ALTERNATORI$')
HEADER_R = re.compile('^BOSCH \nBOSCH \nBOSCH \nBOSCH$')
# main cell rows
CELL_ROWS = [
re.compile('^ALT\d{4,6}?\n(12|14|24|28) ?V\n\d{2,3}(/\d{2,3})? ?A$'),
re.compile('^IMPIANTO : .*?\nCOD.OEM : [\dA]{9,10}$'),
re.compile('^APPLICAZIONI :(\n[A-Z \.-]*)?$')
]
# bottom line should be Pag.##
PAGE = re.compile('^Pag.\d{1,3}$')
for ti, table in enumerate(tables):
rows = table.df.to_numpy()
# test headers
if not HEADER_L.match(rows[0, 0]):
logging.warning('tables[{}].df.iloc[0][0]: HEADER_L != {}'.format(ti, rows[0, 0]))
if not HEADER_R.match(rows[0, 1]):
logging.warning('tables[{}].df.iloc[0][1]: HEADER_R != {}'.format(ti, rows[0, 1]))
# test bottom line
page_str = ''.join(rows[-1])
if not PAGE.match(page_str):
logging.warning('tables[{}].df.iloc[-1]: PAGE != {}'.format(ti, page_str))
# test cells
for idx, row in enumerate(rows[1:-1]):
row_idx = idx % 3
pattern = CELL_ROWS[row_idx]
if not pattern.match(row[0]):
logging.warning('tables[{}].df.iloc[{}][0]: ROW {} != {}'.format(ti, idx+1, row_idx, row[0]))
if not pattern.match(row[1]):
logging.warning('tables[{}].df.iloc[{}][1]: ROW {} != {}'.format(ti, idx+1, row_idx, row[1]))
测试前24页
它只给出一个无关紧要的警告(额外的空格)
结论
嗯,看起来你可以很高兴,因为它似乎可以工作,你有代码来测试其他页面。祝您好运:)为了让我们能够执行一些测试,您可以附加文件还是只附加此页面?@Anakin87编辑的问题qith pdf url要获得您想要的结果似乎非常困难。也许在这种情况下,你可以考虑一些内容后处理…@Anakin87谢谢你浪费时间,我实际上在做后处理,但如果解析器做得不对,我就做不到。我希望一些参数可以帮助避免这个问题。您希望库在需要拆分的地方可靠拆分的方法是错误的。这不是PDF的工作原理。哇,谢谢你的提问和时间。我明天去检查一下。我用flavor=“stream”开始我的项目,但有时它会改变字符串的顺序。我将尝试让你的参数在所有页面上运行。但是我的项目已经完成了,在自动学习的基础上对文本进行后期处理,我将错误丢弃到/dev/null你知道我的意思吗?嘿@MrPisarik我测试了你的代码,看起来运行正常!!使用“自动学习”,我的意思是将Manufacturer字符串作为dict中的键,由正则表达式检测,并使用键解析未来的输入,得到了非常好的回答!
import re
import logging
def test_tables(tables):
# headers
HEADER_L = re.compile('^CATALOGO SIOM ALTERNATORI$')
HEADER_R = re.compile('^BOSCH \nBOSCH \nBOSCH \nBOSCH$')
# main cell rows
CELL_ROWS = [
re.compile('^ALT\d{4,6}?\n(12|14|24|28) ?V\n\d{2,3}(/\d{2,3})? ?A$'),
re.compile('^IMPIANTO : .*?\nCOD.OEM : [\dA]{9,10}$'),
re.compile('^APPLICAZIONI :(\n[A-Z \.-]*)?$')
]
# bottom line should be Pag.##
PAGE = re.compile('^Pag.\d{1,3}$')
for ti, table in enumerate(tables):
rows = table.df.to_numpy()
# test headers
if not HEADER_L.match(rows[0, 0]):
logging.warning('tables[{}].df.iloc[0][0]: HEADER_L != {}'.format(ti, rows[0, 0]))
if not HEADER_R.match(rows[0, 1]):
logging.warning('tables[{}].df.iloc[0][1]: HEADER_R != {}'.format(ti, rows[0, 1]))
# test bottom line
page_str = ''.join(rows[-1])
if not PAGE.match(page_str):
logging.warning('tables[{}].df.iloc[-1]: PAGE != {}'.format(ti, page_str))
# test cells
for idx, row in enumerate(rows[1:-1]):
row_idx = idx % 3
pattern = CELL_ROWS[row_idx]
if not pattern.match(row[0]):
logging.warning('tables[{}].df.iloc[{}][0]: ROW {} != {}'.format(ti, idx+1, row_idx, row[0]))
if not pattern.match(row[1]):
logging.warning('tables[{}].df.iloc[{}][1]: ROW {} != {}'.format(ti, idx+1, row_idx, row[1]))
pages_till_24 = ','.join([str(i) for i in range(1,25)])
tables = camelot.read_pdf('./catalogo-motorini-alter.pdf', pages=pages_till_24,
flavor='stream', columns=['300'], split_text=True)
test_tables(tables)
WARNING:root:tables[8].df.iloc[7][1]: ROW 0 != ALT122300
12 V
45 A