cgroup 挂载设备 Failed to create pod sandbox: rpc error: code = devices subsystem is required: unknown

Xiaoweidumpb

710人浏览 · 2023-09-06 12:18:53

Xiaoweidumpb · 2023-09-06 12:18:53 发布

过程：同事用阿里ackdistro部署了一套k8s集群，我部署各种服务都正常，当我部署一个20G的镜像时，第一次部署成功，删除再部署就报错 devices subsystem is required: unknown，并且导致工作节点内存溢出，k8s集群全部挂掉，只能去机房重启工作节点服务器，尝试重新部署，第一次成功，删除再部署就报错，内存溢出，k8s集群挂掉。
在这里插入图片描述

查看k8s日志

journalctl -u kubelet -n 100

报错信息：Warning FailedCreatePodSandBox 30s (x13 over 54s) kubelet Failed to create pod sandbox: rpc error: code = Unknown desc = failed to start sandbox container for pod “wedatasphere-statefulset-0”: Error response from daemon: devices subsystem is required: unknown

查看docker日志

journalctl -u docker -f

报错信息： ep 06 02:12:10 hzsk-05-01 dockerd[1338]: time=“2023-09-06T02:12:10.336322884Z” level=error msg=“Handler for POST /v1.40/containers/52932d5a09a2f53aea2b17709f95029f20b62f47a54609ce86a377fd89a70f78/start returned error: devices subsystem is required: unknown”
Sep 06 02:12:10 hzsk-05-01 dockerd[1338]: time=“2023-09-06T02:12:10.364193881Z” level=error msg=“40123ea57675ce675f789c0c6494dcc6bdda3b3a027adb652e79761082e284e3 cleanup: failed to delete container from containerd: no such container”
Sep 06 02:12:10 hzsk-05-01 dockerd[1338]: time=“2023-09-06T02:12:10.364265928Z” level=error msg=“Handler for POST /v1.40/containers/40123ea57675ce675f789c0c6494dcc6bdda3b3a027adb652e79761082e284e3/start returned error: devices subsystem is required: unknown”
Sep 06 02:12:10 hzsk-05-01 dockerd[1338]: time=“2023-09-06T02:12:10.469269814Z” level=warning msg=“Your kernel does not support CPU shares or the cgroup is not mounted. Shares discarded.”
Sep 06 02:12:11 hzsk-05-01 dockerd[1338]: time=“2023-09-06T02:12:11.255686239Z” level=error msg=“477963d16db184a1af0f6bf2da113b48aa08857c334f8788dcd92d9b0af5bff0 cleanup: failed to delete container from containerd: no such container”
Sep 06 02:12:11 hzsk-05-01 dockerd[1338]: time=“2023-09-06T02:12:11.255758053Z” level=error msg="Handler for POST /v1.40/containers/477963d16db184a1af0f6bf2da113b48aa08857c334f8788dcd92d9b0af5bff0/start returned error: devices subsystem is required: unknown

想不明白问题出现在那里，阿里ackdistro自动化部署k8s？、镜像？，k8s启动yaml？，device从那里来？我摸索了两天，当我看到同事文档，开机要执行一个奇怪的操作，我重启服务器也可以正常启动，是不是跟这个有关
在这里插入图片描述

看到了这篇文章Docker 挂载 cgroups 失败的排查及解决方案

ls /sys/fs/cgroup/

我执行了，查看到device，是不是挂载出现了问题。
在这里插入图片描述

我打算换一直cgroup挂载方式，搜到一篇很好的文章。

docker 重启容器异常

问题解决

apt-get install cgroupfs-mount
cgroupfs-mount

前后对比挂载

mount | grep cgroup

在这里插入图片描述

乐奇 Rokid 开放社区

更多推荐

用径向菜单完成 macOS 窗口管理的 Loop 上手指引

周三上午，你要同时摆好代码、终端、文档三个窗口。别急着来回拖拽，先按住触发键，把鼠标指向屏幕右侧，窗口就落进了右半屏。这就是 macOS 窗口管理工具 Loop，它用径向菜单和预览窗口，替掉了繁琐的拖边操作。## 🚀 5 步装好 Loop 并完成第一次窗口调整**第 1 步：安装**用 Homebrew 一行装好：```brew install loop```也可以克隆源

乐奇 Rokid 开放社区

Hydra 1.1 到 1.2 升级指南：@hydra.main() 与 hydra.initialize() 的 config_path 默认行为变更

Hydra 从 1.2 开始，当 `version_base >= "1.2"` 时，`@hydra.main()` 和 `hydra.initialize()` 的 `config_path` 参数默认值由"应用所在的目录"变更为 `None`，即不再向配置搜索路径（Config Search Path）中自动添加任何目录。这篇指南梳理 Hydra 1.0 → 1.1 → 1.2 三个阶段 `c