【deepspeed】Unexpected bus error encountered in worker. This might be caused by insufficient shared

解决办法参考了网友的建议，拉docker的时候增加了参数--shm-size 8G，增大了内存，确实有效，感谢分享，特地记录下，以备后续查阅docker run--gpus all --name 0725test --shm-size 8G-v /mnt:/mnt -itnvidia/cuda:11.7.1-devel-ubuntu20.04-deepspeed /bin/bash参考链接：ERR

qq_29707567

270人浏览 · 2023-07-25 10:22:14

qq_29707567 · 2023-07-25 10:22:14 发布

解决办法参考了网友的建议，拉docker的时候增加了参数--shm-size 8G，增大了内存，确实有效，感谢分享，特地记录下，以备后续查阅

docker run --gpus all --name 0725test --shm-size 8G -v /mnt:/mnt -it nvidia/cuda:11.7.1-devel-ubuntu20.04-deepspeed /bin/bash

参考链接：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memo_风~飞~逸的博客-CSDN博客

昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

【大模型推理】sglang 流式并行采样

初始化占位：创建一个与并行采样数n等长的chunks列表，作为每个并行序列结果的最终存放位置。异步消费数据流：通过async for循环，不断地从 SGLang 的数据管道中取出数据块（chunk按索引分发和覆盖：根据每个chunk中的index字段，将其存放到chunks列表的正确位置，并用最新的chunk覆盖掉之前收到的同一序列的旧chunk。保留最终状态：当循环结束时，chunks列表中的每