博客
关于我
Python读取大文件
阅读量:648 次
发布时间:2019-03-15

本文共 622 字,大约阅读时间需要 2 分钟。

Python读取大文件

Python读取2GB文件的时候,用普通方式读取报错MemoryError,说明该无文件无法被装载在内存中发生溢出了。

read和readlines都是将整个文件加入到内存中,文件较大时,会引发MemoryError

逐行读取

with open('filename', 'r', encoding = 'utf-8') as f:    while True:        line = f.readline()  # 逐行读取        if not line:  # 到 EOF,返回空字符串,则终止循环            break        print(line)

指定长度读取

while True:        data = f.read(1024)  # 每次读取指定的长度        if not data:            break        print(data)

自动管理

with open('filename', 'r', encoding = 'utf-8') as f:    for line in f:        do_something(line)

with:语句句柄负责打开和关闭文件(包括在内部块中引发异常时)

for line in f:将文件对象 f 视为一个可迭代的数据类型,会自动使用 IO 缓存和内存管理,这样就不必担心大文件了。

转载地址:http://nmrlz.baihongyu.com/

你可能感兴趣的文章
mysql 修改默认字符集为utf8
查看>>
Mysql 共享锁
查看>>
MySQL 内核深度优化
查看>>
mysql 内连接、自然连接、外连接的区别
查看>>
mysql 写入慢优化
查看>>
mysql 分组统计SQL语句
查看>>
Mysql 分页
查看>>
Mysql 分页语句 Limit原理
查看>>
MySql 创建函数 Error Code : 1418
查看>>
MySQL 创建新用户及授予权限的完整流程
查看>>
mysql 创建表,不能包含关键字values 以及 表id自增问题
查看>>
mysql 删除日志文件详解
查看>>
mysql 判断表字段是否存在,然后修改
查看>>
MySQL 到底能不能放到 Docker 里跑?
查看>>
mysql 前缀索引 命令_11 | Mysql怎么给字符串字段加索引?
查看>>
MySQL 加锁处理分析
查看>>
mysql 协议的退出命令包及解析
查看>>
mysql 参数 innodb_flush_log_at_trx_commit
查看>>
mysql 取表中分组之后最新一条数据 分组最新数据 分组取最新数据 分组数据 获取每个分类的最新数据
查看>>
MySQL 命令和内置函数
查看>>