大模型与云原生

近年来，大语言模型的热度可谓是愈发高涨，尤其是今年年初 Sora 的出现，更是让全球再次看到了AIGC 的巨大威力。

Sora 生成实例视频---几头巨大的长毛猛犸踏着积雪的草地而来

在当前大模型流行的时代下，云原生技术的热度似乎有所减退，然而，我们不能忽视的是，大模型所依赖的基础设施仍然需要云原生和 Kubernetes 的支持。

GTC 2024大会上，NVIDIA创始人兼首席执行官黄仁勋，不仅推出了目前全球最强劲的 GPU 芯片 B200。还专门为大规模部署 AI 模型推出了 "英伟达推理微服务 (NVIDIA NIM)"。

英伟达 的 AI 推理服务 NIM（NVIDIA Inference Manager） 

NVIDIA NIM 是一个强大的工具，可以简化和优化基于NVIDIA GPU的推理任务的管理和部署。NIM 的运行依赖 kubernetes 和 containerd 容器运行时，NIM 微服务通过打包算法、系统和运行时优化，并添加行业标准的 API，能够大幅度简化 AI 模型部署过程。

基于kubernetes 和 containerd 管理 NVIDIA GPU

NIM 通过 kubernetes 来编排 AI 模型部署任务，同时，通过 containerd 集成自家的 nvidia-container-runtime 管理 GPU 设备，实现 GPU 算力的资源池化。

在大模型的背景下，容器运行时的重要性更加明显。相比传统的虚拟化技术，容器启动速度更快，同时共享内核的轻量型虚拟化，大幅减少了资源的开销。这对于大模型的训练和推理来说非常重要，因为它们通常需要快速部署和高效的资源利用。

为什么写这本书

Kubernetes 作为容器编排领域的事实标准毫无疑问，同时大模型时代的到来也证明了云原生依然是无可撼动的云计算基础设施。随着 2020 年 Kubernetes 在 v2.20 版本宣布开始弃用 dockershim，越来越多的 企业在构建 Kubernetes 集群是选择 containerd 作为底层运行时，这使得 containerd 在整个云原生技术栈中的地位日益提升。

CRI 支持的容器运行时有很多，其中 containerd 作为从 Docker 项目中分离出来的项目，由于经历了 Docker 多年生产环境的磨练，相比其他 CRI 运行时也更加健壮、成熟。正因如此，它也是 kubernetes 官方推荐使用的运行时。

Docker 作为老牌的容器运行时，市面上关于它的书籍和资料很多，Kubernetes 的书籍也很多，而 containerd 作为一个新兴的容器运行时，截止本书出版前，却依然没有一个系统介绍 containerd 的书籍。

作为一名云原生以及容器技术的忠实粉丝，笔者很早就接触到了 containerd 项目，见证了 containerd 项目的发展，并为之取得的成就感到骄傲。也对 containerd 项目充满了信心。因此希望通过这本书让更多的人了解 containerd，体验 containerd 带来的价值。

本书内容

本书从云原生与容器运行时讲起，内容涵盖云原生以及容器的发展史、容器技术的 Linux 原理、containerd 的架构、原理、功能、部署、配置、插件扩展开发等，并详细介绍 containerd生产实践中的配置以及落地实践，使读者对 containerd 的概念、原理、实践有比较清晰的了解。

大咖推荐

本书的出版也得到了 CNCF、浙江大学计算机系 SEL 实验室、火山引擎边缘云、边缘计算社区、kata containerd 架构委员会等专家的倾力推荐。

购买链接：https://item.jd.com/14517428.html

精彩内容

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：