最近在使用单机多卡进行分布式（DDP）训练时遇到一个错误：ERROR: torch.distributed.elastic.multiprocessing.api:failed。
而实际报错的内容是：ValueError: sampler option is mutually exclusive with shuffle.
报错的详细内容如下截图所士：
在这里插入图片描述
出现这种错误的原因是，在分布式训练时使用了sampler，并且dataloader时参数shuffle设置成True。由于sampler在分配数据给gpu时已经自动打乱了数据，所以dataloader无需重复打乱数据，二者是相冲的。
因此，使用分布式训练时，会使用sampler，在dataloader时参数shuffle默认False即可。

# pytorch # 深度学习 # python
Logo
R空间创作者社区

一站式虚拟内容创作平台，激发创意，赋能创作，进入R空间，遇见同道，让优质作品闪耀发光。​

更多推荐

【Rust】基于Rust + WebAssembly；实现人机记忆井字棋游戏（人机对战）

本项目实现了一个基于Rust和WebAssembly的在线井字棋游戏，主要特点包括：采用Minimax算法实现智能AI对手，确保永不失败；通过wasm-bindgen实现Rust与JavaScript的高效互操作；提供完整的游戏状态管理和响应式UI。技术栈包含Rust(2021版)编写核心逻辑，WebAssembly作为编译目标，配合HTML5/CSS3/ES6+实现前端交互。项目结构清晰，包含游

avatar R空间创作者社区
cover

3D开放世界Agent新突破！字节Lumine在《原神》中展现人类级效率

avatar R空间创作者社区

UE5笔记：OnComponentBeginOverlap

文章摘要： 本文详细介绍了虚幻引擎中OnComponentBeginOverlap事件的原理与应用。首先解析了该事件的触发条件、基础设置方法（包括C++和蓝图实现），以及事件参数的具体含义。接着重点探讨了在大型网络游戏中的高级应用场景，包括拾取系统、安全区域检测等功能实现，并强调服务器权威验证的重要性。文章还提供了性能优化技巧（如碰撞通道设置）和防作弊措施（位置验证等），最后展示了MMORPG任务

avatar R空间创作者社区