博客
关于我
Python读取大文件
阅读量:648 次
发布时间:2019-03-15

本文共 622 字,大约阅读时间需要 2 分钟。

Python读取大文件

Python读取2GB文件的时候,用普通方式读取报错MemoryError,说明该无文件无法被装载在内存中发生溢出了。

read和readlines都是将整个文件加入到内存中,文件较大时,会引发MemoryError

逐行读取

with open('filename', 'r', encoding = 'utf-8') as f:    while True:        line = f.readline()  # 逐行读取        if not line:  # 到 EOF,返回空字符串,则终止循环            break        print(line)

指定长度读取

while True:        data = f.read(1024)  # 每次读取指定的长度        if not data:            break        print(data)

自动管理

with open('filename', 'r', encoding = 'utf-8') as f:    for line in f:        do_something(line)

with:语句句柄负责打开和关闭文件(包括在内部块中引发异常时)

for line in f:将文件对象 f 视为一个可迭代的数据类型,会自动使用 IO 缓存和内存管理,这样就不必担心大文件了。

转载地址:http://nmrlz.baihongyu.com/

你可能感兴趣的文章
mysql 导入导出大文件
查看>>
mysql 将null转代为0
查看>>
mysql 常用
查看>>
MySQL 常用列类型
查看>>
mysql 常用命令
查看>>
Mysql 常见ALTER TABLE操作
查看>>
MySQL 常见的 9 种优化方法
查看>>
MySQL 常见的开放性问题
查看>>
Mysql 常见错误
查看>>
MYSQL 幻读(Phantom Problem)不可重复读
查看>>
mysql 往字段后面加字符串
查看>>
mysql 快速自增假数据, 新增假数据,mysql自增假数据
查看>>
Mysql 报错 Field 'id' doesn't have a default value
查看>>
MySQL 报错:Duplicate entry 'xxx' for key 'UNIQ_XXXX'
查看>>
Mysql 拼接多个字段作为查询条件查询方法
查看>>
mysql 排序id_mysql如何按特定id排序
查看>>
Mysql 提示:Communication link failure
查看>>
mysql 插入是否成功_PDO mysql:如何知道插入是否成功
查看>>
Mysql 数据库InnoDB存储引擎中主要组件的刷新清理条件:脏页、RedoLog重做日志、Insert Buffer或ChangeBuffer、Undo Log
查看>>
mysql 数据库备份及ibdata1的瘦身
查看>>