投资 / 第2课

第1站 · AI 产业研习营 · 第2课 · 2026-08-26

上游:GPU、HBM、封装与能源尽头

GPU 决定能不能算;配套决定能不能低成本稳定算。训练像建工厂,推理像开餐厅——稀缺、毛利与「从故事到成绩单」在这一课被钉死。

主讲 黎明 · 课堂互动 芝麻变西瓜、Aaron潇、飞戈 · 会议号 451311463
约 2 小时量级 · 转写约 1254 行 · 20:00 开课

第二节把「上游」揉碎:异构计算、显存带宽、先进封装散热、机柜供电、光模块互联。开场先追作业——阿里在链上哪一环有优势?自研芯片有没有外供?外供通常意味着成熟度更高。学员「肖」中场分享:纠正自己「阿里上中下游都沾」的看法,更倾向把它看成卖算力的下游。

材料来源 智能纪要 + 可查看转写(优先 1254 行版)。ASR 已校正常见专名(英伟达、Blackwell、Rubin、HBM、海力士、昇腾、CoreWeave、MiniMax、CUDA、Kimi 等)。口播「易中天」按光模块商新易盛理解。课堂整理,不是荐股。

1. 这节课在干什么

上一课画了全景。这一课进入科班感:芯片里面大概怎么工作,为什么 HBM、电、热、光会被市场轮流炒。一句话口令要求记住:

口令 GPU 决定能不能算;其他环节共同决定能不能持续、稳定、低成本地算。

「AI 的尽头是算力,算力的尽头是能源。」

2. 全球分工黑板

GPU 美国主导 HBM 韩国主导 顶尖封装 台湾(台积电) 光互联 国内分到一杯羹 没有这条全球分工链,就没有今天的中美算力之争高度

课堂板书:谁主导哪一环

3. GPU 与 CPU:不是谁取代谁

  • GPU:大量相同计算单元,高密度并行(矩阵 / 张量)。决定算力上限。历史从图形渲染来,现在吃 AI 训练与推理。
  • CPU:分支、逻辑判断、任务调度与组织指挥。AI 服务器必须异构协同。
  • 误区:「核心多所以任何程序在 GPU 上都快」——不相似的任务,GPU 可能很弱,尽管贵。
  • 口播:若只记一句——CPU 负责组织和指挥,GPU 负责大规模计算,两者配合才是一台 AI 服务器。

架构演进:新一代(如 Blackwell 系列 B200/B300)相对上一代口播「约 30 倍效率」量级;再往后的 Rubin(口播 Robin)叙事更猛——以厂商公开材料核对,勿当精确工程参数。

小测验(课堂) 芯片理论算力是 X,买了就能获得 X 的算力吗?
正确答案方向:不对。实际效率受软件、内存、供电、散热等多层影响。

利用率为什么掉

计算单元会「饿着肚子」:数据加载慢、搬运跟不上,吞吐量就塌。另一道题:顶级 GPU 利用率很低,最不可能的原因是什么?现场指向「核心数太多所以没用完 / 模型太小」一类干扰项——真正常见的是等数据、通信与供电散热约束。

4. HBM:厨房里的传菜员

HBM = 传菜 原材料快速递到灶台 GPU = 大厨 会做很多菜,但怕断料 带宽 决定厨子饿不饿

课堂形象比喻:HBM 不是「普通内存换了个名字」

  • 堆叠(口播约 8 层量级)+ 靠近计算芯片 + 大量并行通道 → 高带宽。
  • 容量大≠一定更好;带宽才是别让 GPU 空转的关键。
  • 制造并不简单、成本不低——送命题用来巩固定义。
  • 训练侧对显存容量 + 带宽极敏感(口播 B300 级「两 T」容量叙事,请核对公开规格)。
  • 堆叠带来散热指数级变难:高温 → 降频甚至损坏。先进封装要在高密度下保物理稳定。

5. 训练像建工厂,推理像开餐厅

训练 · 建工厂 长跑 · 吞吐 · 显存带宽 卡间通信一根线可卖几千 推理 · 开餐厅 要快 · 怕并发 · 闲时节省 批量推理像做盒饭控成本

同一句 AI 任务,对系统要求完全不同

训练推理批量推理
形态可能数周到数月高负载,长时间一起跑用户要答案,可能瞬间涌入大量人闲时做「盒饭」,追求每份成本
关键吞吐量、稳定性、显存/带宽、卡间通信延迟、并发、波峰波谷、闲置成本调度与成本
例子建工厂开餐厅;Kimi 关注册 = 并发扛不住短剧抽卡等可错峰任务

国产卡与英伟达训练卡的差距,口播认为就卡在这些指标上。卡间通信一根光连接线可卖到「好几千」——所以光模块公司能被炒疯,网络里一定是光模块在传。

C 端推理毛利极薄:头部(OpenAI、豆包等)口播「动辄一天几十万」量级流水,毛利率可能只有几个点——后面投资逻辑会反复用到。

DeepSeek / 梁文锋波峰波谷计价,同一条成本逻辑:晚上人也要睡觉,机器却不能白烧。

6. 为什么英伟达「好用」:CUDA 不只是驱动

课堂把生态拆成几块(便于记忆,非官方定义):

  1. 编程模型:告诉开发者怎么调度,才能把计算单元用满。
  2. 工具链 / 工具箱。
  3. 调试与观测:训练与推理团队天天要调。
  4. 多年兼容:模型算法上来就能适配;精细化改造另说。

国产侧为了把 DeepSeek 等迁到国产芯片,曾派大团队天天做适配——生态债是真成本。昇腾、寒武纪、海光、摩尔线程、昆仑芯、平头哥等名单被点到;先进封装良率与生态适配仍是瓶颈,端侧推理等场景或有结构性机会。

7. 配套尽头:电、热、光

供电

单台 AI 服务器可达数千瓦;机柜容量不足会「买了服务器上不了架」。家里空调 + 大功率电磁炉跳闸,是同一物理问题。数据中心要到更高电压等级与 GW 级支撑。

散热

电能守恒变热。直排(风扇)+ 环境空调,或液冷做热交换。服务器级方案已能解多数问题;「冷媒概念」要分辨成熟度。

光互联

光模块做光电转换;内有驱动芯片与光芯片。800G+ 成标配方向。全光互联是降功耗与延迟的叙事。

单卡到集群

通信、供电、散热一起上难度。能做推理不等于能做训练——升级打怪,量级不同。

市场轮流炒的模块,几乎都落在「电—热—光—存—算」这条物理约束链上:芯片产能紧 → 内存紧 → 光模块紧……瓶颈会迁移。

小测验 机柜供电只有约 5kW,上架一台就 5kW,再上三台?答案方向:功率受限,不是「软件调一调就行」。

8. 稀缺、毛利与「从故事到成绩单」

环节课堂毛利叙事含义
GPU / HBM 等上游口播「干到九十」量级定价权在卖方;以公开财报核对,勿当精确数
算力租赁约二十多「二道贩子」,受上游挤压;回本用计算器就能算
MiniMax 等模型厂口播十几个点「还不如一个工厂」;故事开始讲不下去
C 端白嫖模型百分之几上游把毛利吃完,下游传不出去
  • 稀缺导致涨价;但要问能否转成经济性、保住毛利——否则 800 亿 / 2000 亿级投入是否值得,要用常识审。
  • 大模型从「独一份」变成台面上四五家:供给追上,稀缺度下降。
  • 范式切换:今年开始看商业化——毛利、收入增速、净利。没考试前觉得小孩能上清华;考了 3 分就要看成绩。
  • 产能周期:HBM、光模块一旦释放或技术突破,价格可快速回落。

「划时代每个阶段关注点不同。带着光环上市是一关;市场校验一年发现转不成生产力,就开始打问号。」

9. 课堂问答精选

为何不大搞海底数据中心?(Aaron潇)

黎明:也可以搞,但眼下不是散热瓶颈。服务器级液冷 / 直排已能处理热交换;选址更关键的是绿电直连与土地指标。

谷歌那么强,CoreWeave 一类为何还有空间?(芝麻变西瓜)

新兴领域没有绝对巨头优势。新玩家包袱少、专注、模式灵活;巨头有钱也可能被现金流拖成负。能拿到订单并盈利就能活。口播提到马斯克相关集群「租一些、自己搞一些,还盈利」——对照巨头砸钱未必砸出名堂。核心差异是谁能解决问题,不是谁更老。

模型厂从十亿砸到数百亿美元,可持续吗?

他认为不可持续。回到第一性原理:马斯克退出 OpenAI 董事会的叙事被用来说明「搞不动、投入产出失衡」。前沿若变不成用户买单的经济价值,就会死在沙滩上。国内腾讯 / 阿里早期吹得凶,也要看底气是否变成可验证的基建与回报。

学员分享(肖)

阿里做芯片与数据业务,目的常是降低自身服务器最终使用成本;外部客户多在阿里云托管语境下。他纠正:在 AI 定位上更像下游卖算力,而不是「上中下游通吃」。

附:课堂小测验串讲

理论算力 = 实际算力?

否。软件栈、内存带宽、供电、散热任一层掉链,利用率就塌。

HBM 容量越大越好?

否。本质是靠近计算芯片 + 并行通道换带宽;「普通内存换名」是送命题。

GPU 核心多 = 任何程序都快?

否。不相似 / 强分支任务,GPU 可能很弱。CPU 与 GPU 是分工,不是取代。

买了服务器就能上架?

否。机柜供电容量不足会功率受限——家里跳闸是同一物理问题。

卡间通信与「一根线几千块」

训练要卡间通信;英伟达连接方案里,一根光连接线口播可卖到好几千。服务器与服务器之间还有光模块网络。理解这一点,就理解为什么光模块能被炒到「易中天」语境的疯狂——不是玄学,是集群物理。

vLLM 与推理成本创业

口播点到 vLLM 一类开源推理框架(Apache 顶级项目语境):大量创业公司在啃「如何降低推理成本」,能解决的技术很硬。C 端并发一来就像游戏掉帧——限流、关注册,都是同一类压力外溢。

瓶颈迁移

芯片产能紧过 → 内存 / 存储紧 → 光模块紧。未来还会不会有更缺的环节?他让你们用同一套供需逻辑去跟,而不是死记今天的热点名词。

云厂商 vs 模型厂 vs 新建智算

芝麻变西瓜追问:阿里 / 亚马逊 / 微软多租户、可复用研发与基础设施,成本是否该更低、是否该「当地主收租」?黎明把问题拧到:毛利二十多的租赁算不算好生意、值不值得千亿级投入;国内腾讯与阿里早期吹牛、现金流是否被基建拖累;新势力数据中心为何仍有空间——答案回到「谁能解决问题、谁能盈利」,而不是资产负债表谁更大。

「大家都是新手。你以为谷歌更强,可能只是钱多、规模大;贷到款不等于干出名堂。」

MiniMax 成绩单隐喻

十几个点毛利交出来,「等着往死里打」——还不如工厂。另讲海外订单占比故事,但若毛利超不过「四五十」量级却自称高科技,他会打问号。切入时机极重要:估值阶段进场可能很丰厚;市场改听业绩时还待着,可能「从哪来回哪去」。他自述 MiniMax 赚约三倍多觉得超预期后处理——这是个人经历分享,不是操作指令。

10. 作业

  1. 针对阿里等公司在 AI 产业链中的定位,做深度拆解:机会与挑战各是什么?自研芯片是否外供?外供通常意味着更高成熟度。
  2. 顺着作业往外想:阿里与 Google 都能做时,你有没有更好更优的选择?作业是牵引词,用来逼你把整条链走通。

他晚上吐槽群里白天没人讨论——本金少的人更该抓紧学方法去实践;想学的积极参与,不学是自己的事,但别空喊要学。

  • 「Robin」→ Rubin;「SBM」→ HBM;「易中天」→ 光模块语境新易盛等。
  • 「升腾」→ 昇腾;毛利百分比均为口播量级,下结论前对财报。

作业线索:阿里外供与成熟度

第二节开场就把作业当钩子:思考过程比答案重要。顺着「阿里自研 AI 芯片」往下挖——除了自己吹牛在用,有没有外供?外供通常意味着技术成熟度高了。学员分享纠正了「上中下游都沾」的直觉:芯片与数据业务常服务于降低自身用算成本;外部客户多在云托管语境下,更像下游卖算力。

更深一层:阿里机会在哪?Google 机会在哪?两者都能做时,有没有更好选择?斌哥当场的问题,被黎明指成「但凡阿里作业挖深了就会清楚」——作业不是交差,是牵引整张地图。

毛利算术:为什么租赁像二道贩子

掌握定价权的环节才能回到健康毛利。租赁口头约二十多:用计算器就能估算回本年限。那为什么还有人砸 800 亿级去搞基建?他逼问:难道算不出来 20% 毛利是不是好生意?答案往往混杂战略卡位、故事融资与阶段性注意力——精细化运作阶段会更残忍。

  • 上游吃九十、下游剩十几或几个点:价值总量近似守恒。
  • 转成 token / MaaS 也不自动高毛利——要看能否集约化并保持经济性。
  • 产能一释放,存储与光模块价格都可能迅速回落;投资要防「今天的稀缺当永远」。

上游收束:把物理约束当成地图

这一课信息密度高,刻意用厨房、工厂、餐厅、跳闸、传菜员这些生活隐喻,降低非技术背景学员的门槛——开营时他就问过「技术背景打一、非技术打二」,发现大量非技术,于是讲核心指标而不深挖晶体管。

  • 关注新架构新闻稿里的「相对上一代提升百分之多少」,而不是背代号。
  • 横向对比全球:英伟达、AMD、Google TPU、云厂自研;国内昇腾 / 四小龙 / 昆仑 / 平头哥。
  • 训练搞不定、推理能卖 token——水位清楚,才知道洪水有没有来。若国产训练完全行了,全球格局可能大逆转;口播认为「现在还远远不止」。

群里白天没人讨论让他生气:作业很小,却是牵引整条链的钩子。本金少更该学方法;市场化收钱他可以不管你学不学——但研习营被他定义成相识缘分,希望早期参与者感受到这波价值。

「GPU 决定能不能算;其他环节共同决定能不能持续稳定低成本地算。记住这一句,上游课就没有白上。」

课堂整理非投资建议。会议号 451311463 · 2026-08-26。

← 投资概览 · 上一课:开营 · 下一课:中游下游