bt核工厂最新地址 英伟达年终核弹！全新B3004为o1推理大模子打造，RTX5090也曝光了

英伟达老黄bt核工厂最新地址，成了本年的圣诞老黄。

AI 芯片大礼包刚刚曝光：

GPU 新核弹B300，以及附带 CPU 的超等芯片GB300。

高算力，在居品层面上比较 B200 在 FLOPS 上提高 50%

大显存，从 192GB 进步到 288GB，亦然提高了 50%。

△Grok   AI 画图

包含 72 块 GB300 的"新一代盘算单元" GB300 NVL72，更是被评价为"能让 OpenAI o1/o3 推理大模子的想维链长度，在高 batch size 下达到 10 万 tokens 的独一决议"。‍

这与本年 3 月份" AI 春晚"发布的 B200 系列只隔了几个月。

把柄 SemiAnalysis 爆料，从第三季度运转，很多 AI 巨头仍是将订单从 B200 改革到了 B300（只消微软还在第四季度连续购买了部分 B200）。

有不少网友惊奇，更新速率真是太快了！

既是处分了此前听说中 B200 因联想弱势被动推迟的问题，又是对近邻 AMD MI300 系列后续居品将在 2025 年进步显存容量的恢复。

又一款 AI 核弹

既然齐是 Blackwell 架构莫得跨代，B300 的算力提高来自那儿呢？

把柄此次爆料，主要有三部分：

工艺节点，与 B200 使用不异的台积电 4NP，然则全新流片

加多功率，GB300 和 B300 HGX 的 TDP 区别达到 1.4KW、1.2KW，比较之下 B200 系列区别提高 0.2KW

架构微翻新，举例在 CPU 和 GPU 之间动态分派功率

除了更高 FLOPS 以外，妇科 偷拍B300 系列的显存也作念了升级：

从 8 层堆叠的HBM3E升级到 12 层（12-Hi HBM3E）

显存容量从 192GB 升级到 288GB

显存带宽保抓不变，仍为 8TB/s

此外居品录用层面还有一个大变化：bt核工厂最新地址

GB200 系列提供通盘Bianca Board，也就包括两颗 GPU、一颗 CPU、CPU 的内存等扫数组件聚会成在一块 PCB 版上。

△GB200 成见图

GB300 系列将只提供参考板（Reference Board），包括两颗 B300 GPU、一颗 Grace CPU、HMC（Hybrid Memory Cube），LPCAMM 内存模块等组件将由客户自行采购。

这给供应链上的 OEM 和 ODM 制造商带来了新的契机。

为推理大模子打造

显存的升级对 OpenAI o1/o3 一类的推理大模子至关蹙迫，因为推梦想维链长度会加多 KVCache，影响 batch size 和延伸。

以一个 GB300 NVL72 "盘算单元"为单元探讨时，它使 72 个 GPU 能够以极低的延伸处理沟通的问题，并分享显存。

在此基础上从 GB200 升级到 GB300，还不错带来很多平正：

每个想维链的延伸更低

已毕更长的想维链

申斥推理资本

处理归拢问题时，不错搜索更各类本，最终提高模子智商

为了评释这些进步，SemiAnalysis 举了个更为直不雅的例子。

下图是在不同批处理大小下，使用 H100 和 H200 两种 GPU 处理长序列时，Llama 3.1 405B 在 FP8 精度下的处理速率。

输入诞生为 1000 个 token、输出 19000 个 token，由此模拟 OpenAI o1 和 o3 模子中的想维链。

从 H100 升级到 H200，有两个权臣改造。

一是在扫数可比较的 batch size 中，H200 的内存带宽更大（H200 4.8TB/s，H100 3.35TB/s），从而使得处理成果多量提高了 43%。

二是 H200 可运行更高的 batch size，这使得其每秒不错生成的 token 数目加多了 3 倍，相应地，资本也减少了约 3 倍。

内存加多所带来的效益远不啻名义上的这些。

人所共知，推理模子反应技巧一般更长，权臣裁汰推理技巧不错提高用户体验和使用频率。

况兼内存升级已毕 3 倍性能进步，资本减少 3 倍，这一进步速率也远超摩尔定律。

除此以外，SemiAnalysis 还分析不雅察到，智商更强和具有澄清各异化的模子能收取更高的溢价——

前沿模子毛利率超 70%，而还在与开源模子竞争的次一级模子毛利率不及 20%。

固然，英伟达并不是独逐个家能加多内存的芯片公司，但若何英伟达还有杀手锏NVLink。

One More Thing

英伟达破钞级显卡方面，RTX5090 的 PCB 板也初度曝光了～

就在昨天，一张 RTX 5090 PCB 相片在网上疯转。

特色等于超超超大号。

伙同此前爆料称 5090 有可能会配备32GB 大显存，有望赞成 8K 超高清游戏，已毕 60fps 的畅达游戏体验。

网友们凯旋坐不住。

对于 5090 的发布技巧，大伙儿估量简略会是 1 月 6 日老黄 CES 演讲的时候。

参考聚拢：

[ 1 ] https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/

[ 2 ] https://x.com/mark_k/status/1871864813913330003

[ 3 ] https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/

—  完  —

点这里� � 样子我，谨记标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿弘扬日日相遇 ~