最近遇到在数据加载完成后切片导致数据占据内存过大，最后爆掉无法正常运行的情况，

经过仔细排查发现是由于切片后数据量不断增加，最终超过上限所致。

经过仔细寻找，最后发现通过引入pin_memory这一参数可以解决这一问题。

ataLoader(dataset, batch_size=1, shuffle=False, sampler=None,

batch_sampler=None, num_workers=0, collate_fn=None,

pin_memory=False, drop_last=False, timeout=0,

worker_init_fn=None, *, prefetch_factor=2,

persistent_workers=False)

可以看到，默认情况下pin_memory是false,这里需要手动设置为True。

这里的原理是：当我们设置pin_memory=True时，PyTorch会预先将数据从CPU内存复制到固定（钉住）的内存，然后再将其移动到GPU。这可以减少在训练过程中将数据从CPU复制到GPU所需的时间，从而提高性能。

这可以解决我们内存占用过多的情况。

但是，这种方法会使用额外的共享内存（shm）资源，也会带来问题，待续。

推荐阅读

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了： 


大家都在找：

pytorch：pytorch安装

深度学习：深度学习入门

机器学习：机器学习的应用领域

大家都在看：

python 机器学习 深度学习 新手入门 【PyTorch】进阶学习：探索BCEWithLogitsLoss的正确使用---二元分类问题中的logits与标签形状问题

【PyTorch】进阶学习：探索BCEWithLogitsLoss的正确使用—二元分类问题中的logits与标签形状问题 个人主页：高斯小哥  高质量专栏：Matplotlib之旅：零基础精通数据...

深度学习 机器学习 【Python从入门到人工智能】详解 PyTorch数据读取机制 DataLoader & Dataset（以人民币-RMB二分类实战 为例讲解，含完整源代码+问题解决）| 附：文心一言测试

  我想此后只要能以工作赚得生活费，不受意外的气，又有一点自己玩玩的余暇，就可以算是万分幸福了。                                                    ...

人工智能 python 学习 深度学习 机器学习 PyTorch入门必学：DataLoader（数据迭代器）参数解析与用法合集

PyTorch入门必学：DataLoader（数据迭代器）参数解析与用法合集 个人主页：高斯小哥  高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、...

深度学习 人工智能 Pytorch运行过程中解决出现内存不足的问题

1. 前提利用Transformer模型进行O3浓度的反演2. 问题2.1 速度慢一开始模型是在CPU上面跑的，为了加快速度，我改成了在GPU上跑 方法如下： 1、验证pytorch是否存在GPU版本...

人工智能 机器学习 基于PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化

我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测...

深度学习 机器学习 PyTorch基础之数据模块Dataset、DataLoader用法详解（附源码）

需要源码请点赞关注收藏后评论区留言私信~~~ Dataset和DataLoader都是用来帮助我们加载数据集的两个重要工具类。Dataset用来构造支持索引的数据集 在训练时需要在全部样本中拿出小批量...

python 深度学习 【单点知识】基于实例详解PyTorch中的DataLoader类

文章目录0. 前言1. DataLoader的功能1.1 可处理映射式/可迭代式数据集1.2 可自定义数据加载顺序1.3 可自动批量化打包数据1.4 可支持多进程加载1.5 可pin住内存2. Dat...

python pytorch ai 深度学习 提高Stable Diffusion十倍计算速度以及解决内存崩溃问题

在启动Stable Diffusion时一直报Torch not compiled with CUDA enabled警告，一开始没在意本着能用就行的态度凑活用，每个图都耗时十多秒，然后本着好奇Tor...

人工智能 机器学习 windows git python PyTorch中的Variable：理解深度学习中的核心概念

欢迎来到这篇博客！今天我们将深入探讨PyTorch中的一个重要概念——Variable（变量）。Variable是深度学习中的核心组件之一，对于理解计算图、自动求导以及深度学习模型的训练过程非常关键。...

深度学习 python Pytorch中DataLoader输出类型问题--“ RuntimeError: Input type (double) and bias type (float) should be the“

引言Pytorch中DataLoader输出精度问题–“ RuntimeError: Input type (double) and bias type (float) should be the s...

机器学习 计算机视觉 图像处理 健康医疗 pytorch 关于医学影像中的shape、spacing和origin问题

医学影像中的一般的预处理包括重采样，调整坐标系，强度映射（归一化），裁剪等操作因为图像是三维的，所以区别于二维有几个比较坑的点：像素（又叫体素）是有他自己的物理大小的，这就是spacing三维的片子的...

人工智能 python pytorch 深度学习 【机器学习】详细解析Sklearn中的StandardScaler---原理、应用、源码与注意事项

【机器学习】详细解析Sklearn中的StandardScaler—原理、应用、源码与注意事项 欢迎莅临我的个人主页这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地！ 博主简介： 我是...

人工智能 深度学习 Python 分类算法 机器学习中的数学原理——二分类问题

今天是2022年的最后一天，提前祝大家新年快乐！这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《白话机器...

人工智能 python 深度学习 机器学习 探索PyTorch中的语义角色标注

1.背景介绍语义角色标注(Semantic Role Labeling，SRL)是一种自然语言处理(NLP)任务，旨在识别句子中的主体、动作和目标等语义角色。这有助于构建更智能的计算机系统，能够理解和...

人工智能 深度学习 图像处理 AI作画 神经网络 机器学习 pytorch 最简单的AI绘画软件，roop下载分享（可直播）

前段时间给大家介绍过“地表最强”的Rope今天要说的Roop看起来和Rope师出同门，但两者之间并没有直接关系，生成的效果也各有千秋在讲解前，先附上一张经过roop“调教”后的寡姐，啊，不是~你能看出...