当你启动 ChatGPT 时，你
在连接到一个位于某个地方并包含某些东西的大型硅脑。那么，那个东西到底是什么呢？运行你爱上的聊天机器人的硬件是什么？让我们深入了解 Chat GPT 的硬件基础设施。
NVIDIA A100 GPU
Chat GPT 基础设施的核心是一个基本构建块：NVIDIA A100 GPU。如果你认为计算机中的显卡很贵，那么想想 A100 的价格约为一万美元，大致相当于六台 RTX 4090 的价格。
人工智能应用程序通常依赖于 GPU，因为它们擅长同时并行执行大量数学计算。NVIDIA 的较新型号具有张量核心，专门用于 AI 应用程序中经常使用的矩阵运算。虽然它被称为 GPU，但 A100 是专为 AI 和分析任务而设计的。事实上，在它上面玩游戏不是一个现实的选择；它甚至没有显示输出。
保加利亚的移动数据 保加利亚在大部分地 保加利亚手机移动数据 区提供良好的 4G 覆盖，并且移动数据价格合理。Telenor、Vivacom 和 A1 等知名服务提供商提供一系列灵活的选择。各大城市越来越多地引入 5G。由于预付费 SIM 卡随处可见，旅行者可以轻松保持连接。总而言之，保加利亚的移动数据服务提供可靠、快速的互联网连接。
您可以获得 PCI Express 版本或 SXM4 基于帐户的营销：发挥作用的最佳实践 规格的 A100。与传统显卡不同，SXM4 卡平放并使用一对底部带有连接器的插座连接到大型主板式 PCB。SXM4 版本是数据中心的首选，因为它可以处理更多的电力。虽然 PCI Express 版本的最大功率为 300 瓦，但 SXM4 版本可以处理高达 500 瓦的功率，从而实现更高的性能。SXM4 A100 拥有令人印象深刻的 312 万亿次浮点运算的 FP16 处理能力。此外，这些 GPU 使用高速 NVLink 互连，使单个板上的 GPU 可以作为一个庞大的单元运行。
为数据中心供电
但是，需要多少台 A100 才能让 Chat GPT 顺利运行，服务于 1 亿用户呢？Chat GPT 项目背后的推动者 OpenAI 和微软尚未透露其硬件的具体数字，但我们可以根据处理能力进行估算。
单个 Nvidia HGX A100 单元（通常包含八个 A100 GPU）可以非常有效地运行 Chat GPT。这些单元由一对服务器 CPU 驱动，每个 CPU 都配备了数十个内核。然而，为了满足如此庞大的用户群的需求，需要更多的处理能力来确保聊天机器人能够无缝地响应每个人的查询。
虽然确切数字尚未公布，但 Chat GPT 很可能使用大约 30,000 个 A100 来满足这一需求。从这个角度来看，这比他们最初训练语言模型可能需要的 4,000 到 5,000 个 GPU 要多得多。
训练与跑步
您可能会认为训练过程需要比 bab 目录 实际运行模型更多的处理能力，但 Chat GPT 必须处理 1 亿用户的大量输入和输出，这意味着它需要大约六倍的 GPU 才能有效运行。
鉴于这些系统的成本高昂，这对微软来说是一项巨大的投资。虽然具体金额尚未披露，但据悉已达数亿美元，此外仅维持系统运行就需要每天花费数十万美元。
但微软并没有止
步于此；该公司正在将较新的 NVIDIA H100 GPU 集成到其 Azure Cloud AI 服务中。这些 GPU 在 FP16 性能方面明显优于 A100，并且还引入了 FP8 支持，这对于涉及复杂数学计算的 AI 非常有用。这一扩展确保更多人可以使用 Chat GPT 和其他 AI 服务，同时使微软能够训练更先进、更复杂的大型语言模型。
总而言之，Chat GPT 的硬件主干是一个围绕 NVIDIA A100 GPU 构建的复杂而强大的基础设施。微软等公司对这项技术的投资不仅巨大，而且对于提供数百万用户每天依赖的无缝智能响应至关重要。
