文档读取

2020-05-26

文档读取

推荐采用 utf-8格式的编码,可以兼容 ASCII编码

csv

from urllib.request impost urlopen
from io import StringIO
import csv

data = urlopen('url').read().decode('ascii','ignore')
datafile = stringio(data)
dictreader = csv.Dictreader(datafile)//返回一个 dict 对象,而不是 list

for row in dictreader:
    print(row)

PDF

pdfplumber

import pdfplumber
with pdfplumber.open("path/to/file.pdf") as pdf:
    first_page = pdf.pages[0]
    print(first_page.chars[0])
    
first_page.extract_text() 用来提页面中的文本，将页面的所有字符对象整理为的那个字符串
first_page.extract_words() 返回的是所有的单词及其相关信息
first_page.extract_tables() 提取页面的表格
first_page.to_image() 用于可视化调试时，返回PageImage类的一个实例

PDFMiner3K

pdffile = urlopen('url')//如果是本地,换成 open()
outputstring = readPDF(pdffile)
pdffile.close()

def readPDF(pdffile):
    rsrcmgr = PDFResourceManager()
    retstr = stringio()
    laparams = LAParams()
    device = Texetconvweter(rsrcmgr,retstr,laparams=laparams)
    process_pdf = (rsrcmgr,device,pdffile)
    device.close()
    
    content = retstr.getvalue()
    retstr.close()
    return content

Word

1
2

Python处理大数据文本文件

使用open()的方式

read()会一次性读取文件的全部内容,返回字节(大文件内存不够)
大文件可以反复调用read(size)字节

readline()会读取一行内容,(是异步输出)
readlines()读取文件全部行内容,返回list(大文件内存不够)

with

with语句打开和关闭文件，包括抛出一个内部块异常。for line in f文件对象f视为一个迭代器，会自动的采用缓冲IO和内存管理，所以你不必担心大文件。

如果从rb(二级制读取)读取改为r(读取模式)，慢5-6倍
with open(filename,"rb") as f: 
    for fLine in f: 
    　　pass