python黑洞网 首页 博客 问答 公众号 答疑 pdf 视频 游戏 脚本 实战 其它资源
写博客 登录 注册

程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网: it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

暂无数据

在使用for循环加载大量numpy数组时,为什么buff / cache越来越大?

发布于2020-12-14 21:28     阅读(1445)     评论(0)     点赞(8)     收藏(1)


我正在一个项目中,需要numpy使用for循环加载保存在磁盘上的大量数组。我正在使用的系统是Linux。

下图显示了该过程中的内存使用情况

内存使用

如您所见,下面的不可用内存部分buff/cache甚至可能大于已用内存。存储器的此部分保存了什么?我该如何减少呢?

用于加载数组的脚本如下所示:

import numpy as np

tmp = []
slice1, slice2 = [], []
for item in hashes:
    # np.load(item) has a shape (50, 96)
    tmp.append(np.load(item))
tmp = np.concatenate(tmp, axis=0)

mask1 = # a mask used for slicing, a third of the entries will be selected 
mask2 = # a different mask for slicing, a third of the entries will be selected 

slice1 = tmp[mask1]
slice2 = tmp[mask2]

解决方案


根据所示的短代码段,您可能在操纵它们时将Numpy ndarray对象转换为列表对象。尝试使用所有的Nu​​mpy对象和方法。还应尝试避免for循环,而应使用Numpy向量化操作56GB是巨大的内存。kes!:-)

可能的Numpy代码:

import numpy as np 

tmp = np.array([0, 1, 2, 3, 4], ndim=2)
tmp = np.zeros((50, 96))
load_object = np.load(filename)   
tmp = np.array(load_object)

# slice1 = [mask range 1]
# slice2 = [mask range 2]
# Numpy vertical stack
result = np.vstack((tmp[slice1], tmp[slice2]))

Numpy Vertical Stack方法文档: https :
//docs.scipy.org/doc/numpy/reference/genic/numpy.vstack.html

a = np.array([1, 2, 3])
b = np.array([2, 3, 4])
np.vstack((a,b))
(output)
array([[1, 2, 3],
       [2, 3, 4]])

希望能解决您的问题。稍后,我将做更多测试,然后编辑答案。

程序员说:42岁了,突然觉得研发前途渺茫

中国程序员数量达755万,全球排名第二

为什么都说程序员找不到女朋友,但是身边程序猿的却没一个单身的?

程序员说:30岁以上你还死磕技术,别说拿高薪,可能你连饭碗都会保不住

程序员被开除,老板:“有你参与的项目全黄了!”

笑话:一个测试工程师走进一家酒吧

笑话:面试官:请拿出一段体现你水平的代码。我: sudo rm -rf /*面试官:这体现了你哪方面能力?

python精选:Python 办公实战!​按姓名拆分 Excel 为单独文件,微信自动发给相应联系人

网友说:做开发,不被领导喜欢怎么办?

网友说:我奉劝各位,一定不能在职场透露自己的家庭条件



所属网站分类: 技术文章 > 问答

作者: 黑洞官方问答小能手

链接: https://www.pythonheidong.com/blog/article/684682/43059ba9a6805d5c6547/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

8 0
收藏该文
已收藏

评论内容:(最多支持255个字符)




站长公众号(new) 更多>

程序员说:42岁了,突然觉得研发前途渺茫

中国程序员数量达755万,全球排名第二

为什么都说程序员找不到女朋友,但是身边程序猿的却没一个单身的?

程序员说:30岁以上你还死磕技术,别说拿高薪,可能你连饭碗都会保不住

程序员被开除,老板:“有你参与的项目全黄了!”

笑话:一个测试工程师走进一家酒吧

笑话:面试官:请拿出一段体现你水平的代码。我: sudo rm -rf /*面试官:这体现了你哪方面能力?

python精选:Python 办公实战!​按姓名拆分 Excel 为单独文件,微信自动发给相应联系人

网友说:做开发,不被领导喜欢怎么办?

网友说:我奉劝各位,一定不能在职场透露自己的家庭条件

pdf(new) 更多>

git常用命令pdf下载

《从零开始学Python网络爬虫》PDF高清版免费下载

《Python游戏编程快速上手 》PDF高清版免费下载

【每日书籍推荐】PYTHON 项目开发实战_超高清PDF

《父与子的编程之旅:与小卡特一起学Python》PDF高清版免费下载

《Effective Python》pdf高清版下载

【每日推荐书籍】《Python3网络爬虫开发实战》

【每日一本书】《Python编程快速上手 让繁琐工作自动化》

《Python从小白到大牛》PDF高清版 免费下载

《Python编程:从入门到实践(第2版)》

脚本(new) 更多>

五年级同学BMI指数计算器

用python做---,pythonos2.2.0-1版

使用Discord.py个人号创建Discord Bot 提示 401 Unauthorized

新手训练短语

opencv实现视频截取

python练习题

用python画国旗

抖音最火表白代码下载

python文件解压脚本

python分类文件脚本下载

博客(new) 更多>

Python使用Matplotlib库绘制双y轴图形(柱状图+折线图)

Python中使用matplotlib时显示中文乱码_(或更改字体)

Python 列表 pop()函数使用详解

17 Python的os模块

Python皮卡丘

Python提取JSON格式数据

python 爱心代码

python萌新爬虫学习笔记【建议收藏】

【2023华为杯F题】强对流降水临近预报(Python&Matlab代码分享)

warning: retrying (retry(total=4, connect=none, read=none, redirect=none, st

视频(new) 更多>

2020最新_Python_(MySQL_SQL_Redis)数据库详解【千锋】

2019版-千锋Python语法-视频

2019千锋Python爬虫全套视频(最经典)

13天搞定Python分布爬虫 视频教程

python办公自动化

python深度学习系列教程

python视频 神经网络 Tensorflow 模块 视频教程

初级Python视频教程 云盘

初级Python视频教程推荐

python视频各种视频很多

实战(new) 更多>

韩顺平TCP网络文件传输课程代码word下载

基于python的ARP扫描与断网攻击的图形化脚本

bootstrap-datetimepicker搞了一天也不显示,请教!

这个项目是人人网的爬虫程序

这是一个利用Python分析一个json数据,并可视化输出结果的小项目

一个Mp3播放器 Python项目实战

一个自动发送邮箱验证码的小项目 源码下载

python 加密解密的程序 .py下载

PYTHON实现计算机功能

PYTHON定时关机

问答(new) 更多>

modbus tcp 与王鸽 RTU5026

如何在数据框中创建新列以根据 Python Pandas 中的日期列对每个 id 的值进行排序?[复制]

索引/数组故障排除:家庭作业

Pytorch安装

mysql.connector.errors.InterfaceError:执行操作失败;

如何将发出请求的用户分配给 Django 模型中的外键字段

如何在 python 中将日期时间格式化为字符串“yyyy-MM-dd'T'HH:mm:ss.SSSZ'”格式

如何使用 PyQt 信号发出 64 位无符号整数

如何在Android上使用“pyqtdeploy”Windows pyqt5?[关闭]

将数据(超过 1 点)添加到绘图破折号中的现有迹线

游戏(new) 更多>

用python写滑雪游戏 源码下载

用python写乒乓球游戏 源码下载

python吃豆子小游戏 源码下载

外星人入侵 python小游戏源码下载

帅哥吃苹果 python小游戏源码下载

小恐龙快跑 python小游戏源码下载

python小游戏拼图源码下载

风筝 python小游戏源码下载

迷宫-python小游戏源码下载

python小游戏 life

其他资源(new) 更多>

王道机试

python做乘法口诀表

纯净版python 3.7开发环境安装包

视觉SLAM十四讲 - 从理论到实践

Python正则表达式教程下载

Vue+Go前端后端一体化 企业级微服务网关项目

尚硅谷java基础入门视频下载

尚硅谷java基础入门视频

超基础初一生反utPython程序(只是一个文本)

注册表实用手册


玻璃钢生产厂家玉溪玻璃钢花瓶制作盐城玻璃钢花瓶公司四川玻璃钢造型生产厂家大庆玻璃钢餐桌椅厂延安玻璃钢动物雕塑制作徐州商业美陈哪家好抚顺玻璃钢外壳定做河北玻璃钢设备外壳多少钱汉中商业美陈厂家直销辽源玻璃钢雕塑定制铜仁玻璃钢树池制作内江玻璃钢花箱定制黄石玻璃钢设备外壳生产厂家长治商业美陈价格邯郸玻璃钢花瓶制作青海玻璃钢医疗外壳厂四平不锈钢花盆哪家好吉林玻璃钢机械外壳定做黑河玻璃钢花槽批发临汾玻璃钢花槽厂家直销普洱玻璃钢产品多少钱盐城玻璃钢医疗外壳加工清远商场美陈价格乐山玻璃钢种植池价格泰安商业美陈公司淄博玻璃钢花箱制造营口商业美陈批发曲靖玻璃钢家具定做太原玻璃钢茶几定做枣庄玻璃钢装饰造型加工香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化