博客
关于我
Python读取大文件
阅读量:648 次
发布时间:2019-03-15

本文共 622 字,大约阅读时间需要 2 分钟。

Python读取大文件

Python读取2GB文件的时候,用普通方式读取报错MemoryError,说明该无文件无法被装载在内存中发生溢出了。

read和readlines都是将整个文件加入到内存中,文件较大时,会引发MemoryError

逐行读取

with open('filename', 'r', encoding = 'utf-8') as f:    while True:        line = f.readline()  # 逐行读取        if not line:  # 到 EOF,返回空字符串,则终止循环            break        print(line)

指定长度读取

while True:        data = f.read(1024)  # 每次读取指定的长度        if not data:            break        print(data)

自动管理

with open('filename', 'r', encoding = 'utf-8') as f:    for line in f:        do_something(line)

with:语句句柄负责打开和关闭文件(包括在内部块中引发异常时)

for line in f:将文件对象 f 视为一个可迭代的数据类型,会自动使用 IO 缓存和内存管理,这样就不必担心大文件了。

转载地址:http://nmrlz.baihongyu.com/

你可能感兴趣的文章
MySQL中的关键字深入比较:UNION vs UNION ALL
查看>>
mysql中的四大运算符种类汇总20多项,用了三天三夜来整理的,还不赶快收藏
查看>>
mysql中的字段如何选择合适的数据类型呢?
查看>>
MySQL中的字符集陷阱:为何避免使用UTF-8
查看>>
mysql中的数据导入与导出
查看>>
MySQL中的时间函数
查看>>
mysql中的约束
查看>>
MySQL中的表是什么?
查看>>
mysql中穿件函数时候delimiter的用法
查看>>
Mysql中索引的分类、增删改查与存储引擎对应关系
查看>>
Mysql中索引的最左前缀原则图文剖析(全)
查看>>
MySql中给视图添加注释怎么添加_默认不支持_可以这样取巧---MySql工作笔记002
查看>>
Mysql中获取所有表名以及表名带时间字符串使用BetweenAnd筛选区间范围
查看>>
Mysql中视图的使用以及常见运算符的使用示例和优先级
查看>>
Mysql中触发器的使用示例
查看>>
Mysql中设置只允许指定ip能连接访问(可视化工具的方式)
查看>>
mysql中还有窗口函数?这是什么东西?
查看>>
mysql中间件
查看>>
MYSQL中频繁的乱码问题终极解决
查看>>
MySQL为Null会导致5个问题,个个致命!
查看>>