RuntimeError: Pin memory thread exited unexpectedly 或 OSError: [Errno 9] Bad file descriptor 的解决方法

最新推荐文章于 2024-04-18 07:45:00 发布
原创 最新推荐文章于 2024-04-18 07:45:00 发布 · 2.3k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习

本文介绍了当遇到内存不足导致的问题时，可以通过调整参数来解决。一种方式是保持pinmemory为True，同时将batch_size设置为2且num_worker设为0；另一种方式是将pinmemory设为False。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

遇到这几个错，大多是因为内存不足。
我的解决方法：
方案一： pin memory 不变，pin memory的值仍然为True，不需要改为False，而是把batch_size 和 num_worker的值分别调成：batch_size=2 ,num_worker=0 (如果内存不足的话，batch_size 和 num_worker 都可以调为0)
方案二：pin memory改为False

Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案
weixin_43178406的博客
10-31 13万+
本文主要介绍了Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案，希望能对使用Qwen2-VL的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: “LayerNormKernelImpl“ not implemented for ‘Half‘解决方案
热门推荐
weixin_43178406的博客
10-13 8万+
 本文主要介绍了RuntimeError: “LayerNormKernelImpl” not implemented for 'Half’解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
原文地址 分类目录——Pytorch 关键词： Data.DataLoader、num_workers、batch Pytorch在开进行小批量数据下降时开多进程报错 报错内容 RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset, # torch TensorDataset format ba
RuntimeError: Pin memory thread exited unexpectedly
weixin_45686244的博客
09-17 4669
训练神经网络时修改num_worker时候出现如下报错：RuntimeError: Pin memory thread exited unexpectedly。在保持num_worker大于0的情况下已解决。
数据加载的时候出现RuntimeError: Pin memory thread exited unexpectedly
m0_55764111的博客
08-28 554
很有可能是因为num_workers太大导致的，可以调小一些。
【解决报错】OSError: [Errno 9] Bad file descriptor
zoey_peak的博客
04-24 689
解决方法：把num_workers全设为0。
RuntimeError: CUDA error: invalid device ordinal解决方案
weixin_43178406的博客
01-09 3万+
本文主要介绍了RuntimeError: CUDA error: invalid device ordinal解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 LLM解决方案 2.2 cv2库解决方案
RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘解决方案
最新发布
weixin_43178406的博客
04-18 7万+
本文主要介绍了RuntimeError: “addmm_impl_cpu_” not implemented for 'Half’解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Python——OSError: [Errno 9] Bad file descriptor
a_blueboy的博客
03-29 1679
OSError: [Errno 9] Bad file descriptor解决
python socket OSError: [Errno 9] Bad file descriptor
托尼stark的博客
04-09 1万+
python socket OSError: [Errno 9] Bad file descriptor的解决办法： 错误的原因是你执行了这句代码：udp_socket.close()即关闭了套接字对象之后，又调用了套接字对象，此时程序就会报OSError: [Errno 9] Bad file descriptor这种错误。仔细检查下你的代码，修改即可。 ...
解决Python BUG：OSError: [Errno 9] Bad file descriptor
单口相声Jay
03-22 6121
问题引入：表示一个操作文件描述符（file descriptor）的操作无效或已经关闭了。在Unix-like系统中，每个文件或者其他资源都有一个唯一的文件描述符，用于标识。如果尝试对一个无效或者已经关闭的文件描述符进行读写操作，就会抛出这个错误。解决方法：检查你的代码中是否有文件操作未正确完成就关闭了文件描述符。确保文件操作完成后再关闭文件。确保你没有尝试操作已经关闭的文件对象。如果是在多线程或多进程环境下，确保文件描述符的管理没有导致竞争条件。
python bad file descriptor_OSError: [Errno 9] Bad file descriptor in python 3
weixin_39589253的博客
12-17 1305
问题I'm a beginning/intermediate level programmer currently trying to write a simple web server in Python 3. However, whenever I run the module I get OSError: [Errno 9] Bad file descriptor. I've scoured...
成功解决BUG：OSError: [Errno 9] Bad file descriptor（Python BUG）
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
07-12 1万+
成功解决BUG：OSError: [Errno 9] Bad file descriptor。
OSError: [Errno 9] Bad file descriptor
s1162276945的博客
11-22 8534
出现这个原因是我使用了 nohup python -u test.py &导致，直接用python test.py就可以了。
【解决报错】Pytorch dataloaders : OSError: [Errno 9] Bad file descriptor
zoey_peak的博客
10-16 536
报错OSError: [Errno 9] Bad file descriptor
fz.writelines(line) OSError: [Errno 9] Bad file descriptor
qq_35037684的博客
08-21 1669
今天早上来到公司，发现正在清洗图片数据的程序发现了一个bug，我早已习惯，内心波澜不惊，淡定的坐下，看了一眼，报错： fz.writelines(line) OSError: [Errno 9] Bad file descriptor 我很奇怪，二话不说，复制粘贴，百度走起，发现大多数都是socketserver的问题，我也没用socketserver，于是开始想是不是图片本身有问题，试了一下没有，卡死那的单张图片是可以运行的，在我定位原因的时候，系统多次弹出F盘内存不足的消息，都被我关掉了，开始专心的解
phantomjs robot framework [Errno 9] Bad file descriptor
皮皮的专栏
08-07 1863
前进 --- xingyunpi phantomjs + robot framework 在docker里面跑的时候,总是出错,网上这样的解决方案并不是很多,写下来记录一下,供他人参考. 错误提示: [ WARN ] Keyword 'Capture Page Screenshot' could not be run on failure: WebDriverException
pin_memory=True/False
07-28
pin_memory参数可以设置为True或False。当pin_memory=True时，数据将被锁页在内存中，这有助于加速数据传输，特别是在使用GPU进行训练时。\[2\]然而，如果计算机的内存不足或系统卡顿，可以将pin_memory设置为False，以释放内存资源。\[1\]因为pin_memory的性能与计算机硬件有关，所以在默认情况下，pytorch将pin_memory设置为False，以适应更广泛的设备。\[3\] #### 引用[.reference_title] - *1* [RuntimeError: Pin memory thread exited unexpectedly 或 OSError: [Errno 9] Bad file descriptor 的解决...](https://blog.csdn.net/weixin_44025103/article/details/127697035)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [pytorch：参数pin_memory=True和non_blocking=True的作用](https://blog.csdn.net/Caesar6666/article/details/127283965)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [pytorch创建data.DataLoader时，参数pin_memory的理解](https://blog.csdn.net/tsq292978891/article/details/80454568)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值