大模型涉及到芯片包括哪些

当然，有了Blackwell超级芯片，当然还会有Blackwell组成的DGX超算。这样，公司就会大量购入这些GPU，并将它们封装在更大的设计中。GB200 NVL72是将36个Grace CPU和72个Blackwell GPU集成到一个液冷机柜中，可实现总计720 petaflops的AI训练性能，或是1,440 petaflops（1.4 exaflops）的推理性能。它内部共有5000条独立电缆，长度近两英里。它的背面效果如下图所示。机柜中的每个机架包含两个GB200芯片，或两个NVLink交换机。一共有18个GB200芯片托盘，9个NVLink交换机托盘有。老黄现场表示，「一个GB200 NVL72机柜可以训练27万亿参数的模型」。此前传言称，GPT-4的参数规模达1.8万亿，相当于能训练近15个这样的模型。与H100相比，对于大模型推理工作负载，GB200超级芯片提供高达30倍的性能提升。那么，由8个系统组合在一起的就是DGX GB200。总共有288个Grace CPU、576个Blackwell GPU、240 TB内存和11.5 exaflop FP4计算。这一系统可以扩展到数万个GB200超级芯片，通过Quantum-X800 InfiniBand（最多144个连接）或Spectrum-X800ethernet（最多64个连接）与800Gbps网络连接在一起。配备DGX GB200系统的全新DGX SuperPod采用统一的计算架构。除了第五代NVIDIA NVLink，该架构还包括NVIDIA Bluefield-3 DPU，并将支持Quantum-X800 InfiniBand网络。

这种架构可以为平台中的每个GPU提供高达每秒1,800 GB的带宽。除此之外，英伟达还发布了统一的超算平台DGX B200，用于AI模型训练、微调和推理。它包括8个Blackwell GPU和2个第五代Intel Xeon处理器，包含FP4精度功能，提供高达144 petaflops的AI性能、1.4TB的GPU内存和64TB/s的内存带宽。这使得万亿参数模型的实时推理速度，比上一代产品提高了15倍。用户还可以使用DGX B200系统构建DGX SuperPOD，创建人工智能卓越中心，为运行多种不同工作的大型开发团队提供动力。目前，亚马逊、谷歌、微软已经成为最新芯片超算的首批用户。亚马逊网络服务，将建立一个拥有20,000 GB200芯片的服务器集群。

数据、算力、算法三要素当中，算力是基础，也是大模型竞争力，但国产芯片在软件适配度、稳定性方面仍显不足。张新认为，国产芯片与英伟达显卡之间的解耦能力较弱，他们相信可能未来的几个月内逐步用国产芯片去做百亿，甚至更大体量的模型的训练，但算力的累积依然是重要挑战。砺算科技联合创始人、联席CEO孔德海认为，可以从四方面来解决算力矛盾问题：一是协同化，把很多运算可以跑在云端，并根据需求进行协同；二是模型小型化，在高质量数据前提下，小型模型可以在单机上运行；三是再训练，在有限条件下，反复训练有助于提升用户体验；四是融合计算。目前，AI大模型算力主要在训练、推理两个部分，其中成本最高部分是前期的模型训练，大部分采用智能计算中心、自费买英伟达A800/H800显卡组成服务器运行、或者是用价格更为实惠的服务器云来训练。而推理部分算力需求较少、价格不高，大部分模型应用都需要同时建立公有云、私有云两种混合模式，而且需要购买一定的云服务，以更好做大模型应用。最后是价格问题。价格是大模型商业化最重要的因素。由于训练成本高、数据筛选难度大，因此，千亿参数模型的报价高达数十万元，而高昂的售价让很多客户望而却步。戴文渊向钛媒体App表示，不是所有的场景、客户都能接受千亿参数的成本，这个需要客户选择，即便是千亿、万亿的参数只是代表你的最高能力，但最后给到客户的时候，就不一定所有的场景都能技术释放。而垂直大模型的数据生成规模会小一些，场景更易用，Chat的思维能力更高。