博客
关于我
Python读取大文件
阅读量:648 次
发布时间:2019-03-15

本文共 622 字,大约阅读时间需要 2 分钟。

Python读取大文件

Python读取2GB文件的时候,用普通方式读取报错MemoryError,说明该无文件无法被装载在内存中发生溢出了。

read和readlines都是将整个文件加入到内存中,文件较大时,会引发MemoryError

逐行读取

with open('filename', 'r', encoding = 'utf-8') as f:    while True:        line = f.readline()  # 逐行读取        if not line:  # 到 EOF,返回空字符串,则终止循环            break        print(line)

指定长度读取

while True:        data = f.read(1024)  # 每次读取指定的长度        if not data:            break        print(data)

自动管理

with open('filename', 'r', encoding = 'utf-8') as f:    for line in f:        do_something(line)

with:语句句柄负责打开和关闭文件(包括在内部块中引发异常时)

for line in f:将文件对象 f 视为一个可迭代的数据类型,会自动使用 IO 缓存和内存管理,这样就不必担心大文件了。

转载地址:http://nmrlz.baihongyu.com/

你可能感兴趣的文章
mysql 敲错命令 想取消怎么办?
查看>>
Mysql 整形列的字节与存储范围
查看>>
mysql 断电数据损坏,无法启动
查看>>
MySQL 日期时间类型的选择
查看>>
Mysql 时间操作(当天,昨天,7天,30天,半年,全年,季度)
查看>>
MySQL 是如何加锁的?
查看>>
MySQL 是怎样运行的 - InnoDB数据页结构
查看>>
mysql 更新子表_mysql 在update中实现子查询的方式
查看>>
MySQL 有什么优点?
查看>>
mysql 权限整理记录
查看>>
mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
查看>>
MYSQL 查看最大连接数和修改最大连接数
查看>>
MySQL 查看有哪些表
查看>>
mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
查看>>
MySql 查询以逗号分隔的字符串的方法(正则)
查看>>
MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
查看>>
mysql 查询数据库所有表的字段信息
查看>>
【Java基础】什么是面向对象?
查看>>
mysql 查询,正数降序排序,负数升序排序
查看>>
MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
查看>>