LEARNING NOTE · A · 第2站第3课
黎明|模型能力如何变成企业可用服务
中下游打通:模型从实验室跑通,到变成企业能接、能管、能算账的服务。课堂复习,不是投资建议。
来源
- 课程:第2站 AI 产业研习营第3课《中下游打通——AI 模型能力如何变成企业可用服务》
- 日期:2026-09-21,日程 19:30–21:00(+08:00)。主讲自己看点是 21:13。
- 会议号:279191453 · 主讲:黎明 · 提问:树枝、迈克情感。开场前有一句「我是。」,说话人显示为 Littlered.
- 转写:会前就开始的完整文字转写(转写时钟从约 28 分起,对应开会前的空档;正课从「今天是第二站的第三课」一带进入)。短片段转写没有并进来。
- 画面帧:没抓。播放器要另外授权,这页以转写为准。
- 本地原稿:
/workspace/学习工作台/pages/liming-s2-l3-downstream-service/raw/
逐字稿保留口语、重复和语气。只做了轻度整理:明显专名(DeepSeek、OpenAI、Anthropic、OpenRouter、Kimi、GLM、MiniMax、罗福莉)、把听成「27×24」的地方改回 7×24、把「头盆即飞」改回 token 计费。转写接口把百分号送进了格式化函数,原文「10%的」会变成「10%!的(MISSING)」;页上已按被吃掉的那个字还原成「10%的」。还原规则写在来源说明里,没有另造数字。听不清的地方标〔存疑〕。智能纪要只作对照,不拿它补口播里没说的话。
3秒速览
- 实验室能打分、能出 flash,不等于企业能当门店用。他要看稳定接入、权限和限量、7×24、安全部署、以及效果能不能运营。
- 课内把 API 说成目前最好的传导方式:做出来就能被调用,没有库存。C 端用滑动窗口和套餐锁人,B 端按 token 计。大客户要独享或私有化,不把敏感数据丢给公有 API。
- 一个模型干不了复杂任务。路由同时在解决成本、合规和等不起的延迟。模型能力和业务之间有一条沟,FDE 是来翻译的;他不喜欢把这件事说成「降本增效」。
核心要点
- 这一课要把中下游打通:模型能力从实验室进到可用,价值能传导,才成为服务和生产力。第2课讲的是能力怎么被生产出来。
- 「实验室可用,企业不一定可用。」企业要的是接入点、标准协议、权限、限流限量、团队和多 Key 统计、以及稳定规模化。分数到后面没那么重要。
- 收了订阅费仍可能天天出没见过的错。429、套餐太小、上下文超限,他都当成早期服务还在摸石头。工程化回到原来的软件工程,不是模型分数本身。
- API 直达:一个地址、一把 Key 就能接到场景里。最小计量单位是 token。C 端滑动窗口、大约一周重置,是为了体验和锁订阅;B 端按 token 计,好计量。
- 套餐是超卖。健身房、爱奇艺赌你用不完;AI 用户会在窗口清空前把额度用干,所以大套餐会被下架。他举了 OpenAI 把约 20 倍订阅拿掉,因为支撑不住。
- 软件毛利率低于 50% 他觉得覆盖不了研发,不配拿很高的估值。C 端把价格做得很好看,背后是补贴,他的原话是这种公司「不值得去投资」——这是课堂判断,不是本页建议。
- 四种接法:API、MaaS、托管、私有化。企业不会只绑一家,要能切换。金融、政务要留痕、可审计,POC 快,嵌进业务慢。
- 直接成本里最贵的一块,当场答对的是推理算力,再拆开是 GPU 加 HBM;检索侧他还点了 CPU 和存储。电是持续成本,万卡数据中心一年电费「都得上亿」是课内量级。公式:总成本除以有效产出,等于单位经济效益。
- CFO 出来掌舵,他当成日子不好过、要砍成本的粗信号,并点了例外(周受资在解决全球化和融资)。好公司他要的是技术视野,不是只会看数字。
- 链路后半段离不开人:模型、Infra、Agent/路由、部署和安全、监控告警、运营把反馈送回模型。模型训练是黑盒,所以可观测要靠运营数据,不是靠「能回答」就结束。
课程框架
从实验室到企业可用
他先拉回第2课:数据、训练和调优、评估、大规模推理。罗福莉在线训练、看损失函数,被他当成「模型还在生产」的直观例子。生产出来之后还要收费、稳定,不能动不动 429。
思想实验:实验室关心能不能跑通、能不能打分、能不能先出 flash,再往后才是正式版,以及 preview / pro / ultra 这类更高要求、更高成本的档。企业不会一上来就铺这么多档,因为还没准备好。
- 稳定接入:endpoint、标准协议。他点到 response,以及 Anthropic 这类协议;没接过 API 的人,至少要知道订阅和自己拿 Key 不是一回事。
- 权限、限流、限量、团队版,以及用多把 Key 统计用量。Key 在这里被他说成可以代表一个用户或一个 AI。
- 7×24。转写听成了「27×24」,按口误改回。
- 编排:什么任务用什么模型,厂商在 Agent 里做自动分配。
- 企业部署和安全管控。国内模型会直接拒答,不只是涉政治。
- 运营:服务稳不稳、效果好不好。他说这是第5条,前面几条没有按序号念完,所以不要把「第5条」理解成一份完整编号清单。
版本:内部多用日期编号;外面看到的是大版本,例如他口播的 DeepSeek 4.1、GLM 5.3,再加 flash。flash 是先体验,不稳定就用工程或后训练打补丁、做围栏。发布会是「台上 10 分钟,台下可能准备 100 天」,前一晚仍可能翻车。OpenRouter 上免费跑、再写测评文章,被他当成造声量的路径。
API、套餐和超卖
企业助手的口播顺序:提问 → 认身份、套餐和余量 → Agent 和工具调度 → 整理问题交给模型 → 返回结果。他用 WorkBuddy 类产品打比方〔专名口播有 work buddy / workbunny,页上统一写成 WorkBuddy,仍〔存疑〕〕。
API 是双刃剑:上量快,不稳就砸口碑。定价档他数了 little / pro / plus / max / ultra,背后是成本核算。超卖赌的是人用不完;AI 用户相反,用不完会觉得亏,会在重置前用干。他建议拿主流云厂商的 C 端套餐和 B 端 API 比价,价差很大,所以他们自己「只做 B 端 AI,做不了 C 端」。
20 倍套餐「可以薅三 350 倍的 API 价值」这句数字粘在一起,页上不把它写成一个确定倍数。〔存疑〕
四种部署
后文明确说「有四种部署方式」。企业要多路由、多切换,短剧公司会接很多家,因为中转站会倒。
| 方式 | 课内说法 |
|---|---|
| API | 一个 endpoint、一把 Key。共享,B 端 C 端都能接。快、便宜,数据不一定安全。 |
| MaaS | 比 API 多一层:多模型组装、平台策略、公有云套餐、auto 按任务调度。auto 好不好是关键。计费可以更「合理化」,调度权交给平台。 |
| 托管 | 特殊行业和客户。环境独享,不是大家挤在一起。 |
| 私有化 | 金融、政务。机器和数据的所有权在自己,门槛和成本都更高。DeepSeek 开源那一波,他说法是银行政务先进来,所以「深入人心」。 |
混合架构靠智能路由:不能公开的数据不要交给厂商。他拿 Anthropic 公开用户调用信息当反例,并说英伟达和几家美国软件公司因此停用。高优先级场景要更强的模型和更严的鉴权。OpenAI 和头部金融机构的验证,他强调全链路留痕、调度日志可审计、结果要能回溯,所以会加人工审核。
OpenRouter 会不会存用户数据:他让大家自己想,结论是「建立在第三方不可信的前提下」,敏感行业就会选私有化。公有云/私有云又回到共享还是专享。
为什么要智能路由
通用模型也有边界。纯语言模型不懂音频和视频,DeepSeek 被他说成一直吃多模态的亏;OpenAI 的多模态「也一般」。复杂任务要拆开,简单请求走快的,复杂请求走理解力高的,合规场景走国内模型。
路由的三个判断他后文又强调了一遍:成本、数据合规、延迟。GLM 吞吐慢,但「GLM 5.3 好像提到 200 token 每秒」。降智被他解释成成本太高、或扛不住就回滚到上一代,中转站掺水会被骂。
企业自己往往做不了路由,他赌 CSP(公有云)会来做分发:有用户、有能力。早期大家追又新又贵的模型,能力够用之后会回头看性价比。上线前还要脱敏、鉴权、高并发、防诱导套话、操作可追溯、以及备份回滚。
企业检查清单(口播是举例,不是一张念完的表):金融数据、IPO 和调研数据能不能喂给模型;能力稳不稳、能不能持续学;用了和不用的投入产出,尤其写代码这件事已经开始被反思。
成本账和 CFO 信号
- 直接成本:推理算力 = GPU + HBM。Kimi 不降价,因为 K3 规模大,他口播先说「接近三个 33T」,紧接着又说「3T」,两句冲突,只能记成「参数很大、推理贵、只能用 B300」。〔存疑〕具体参数不要当事实。
- 检索:CPU、网络和存储。人力成本他另放一档,而且「水涨船高」。
- 电:持续烧。万卡数据中心一年电费「都得上亿」是课堂量级。
- 会省钱比会烧钱难。他用持家做比喻,然后说能把成本驾驭住的公司「高看一眼」。
- 软银又借 110 亿美元给 OpenAI、未来 5 年还要投入 2800 亿美元,是他转述周末看到的消息,并说「有点偏爱」。一级市场讲故事、卖不上高价,是他的解读。
- CFO 掌舵:蔡崇信、以及「大厂基本都这样」。技术公司扩张期要懂业务的人;CFO 眼里只有数字,业务不行就砍。例外是周受资,他在解决全球融资,张一鸣未必搞得定这件事。TikTok 不能直接套这个信号。
从能力到服务,再到 FDE
完整链路他快速过了一遍:模型能力是前提,然后是稳定服务和 Infra,然后是 Agent / 智能路由(AI 的人和工程的人一起,还要把原有数据接上),然后是部署(高并发、动态调度、分布式、安全),然后是运营监控、告警、三个 9 或四个 9〔口播「三个 94 个九」,〔存疑〕〕,以及把用户反馈送回模型。早期是模型的人在前面探,但黑盒阶段他们也不知道真实水平。罗福莉在 DeepSeek 行、到小米不灵,被他用来说明这件事。
「AI 操作系统 / 企业驾驶舱」是口号,本质仍是把东西串起来。大厂买得起无限量编程套餐,用完又收回,是因为模型能力和业务之间有沟,「可能比马里亚纳海沟还深」。缺的是 FDE:知道怎么把模型引导出价值。
Agent 能用,是因为它先理解上下文,再调检索、表格、幻灯、本地程序和命令行。企业岗位分得很细,没有人懂全局,所以 FDE 要求极高。他讲过一个酒企:销售有自营、加盟、分销、团购等十几条渠道,订单散在各系统里;做报表、出财报慢,是以前信息化要砸的那笔钱。有了 AI,客服、企业知识库(飞书文档能问、能给来源)、内部培训会好做一些,但合规和「这是不是 AI 写的」会变成新问题。
FDE 若只是换名词接单,那就是外包。真正要像当年埃森哲、麦肯锡合伙人:懂业务和数据场景,也懂新技术的边界。早期劣币驱逐良币,最后价值会回来。AI 在他这节课的落点是:AI 变成服务之后,它只是工具;没有它以前也能做,有了它才谈得上重新做一种生产力。懂业务的人还是要在。
POC 很多企业已经觉得「能用」。变成生产是传统工程,改造成本可能接近重做,所以传统企业会慢,AI-native 会快。他后来说「半年到一年验证可落地的可行性」,用来劝大家看企业别催熟。从「让员工试试 AI」到「用 AI 产出价值」再到「工作流围着 AI 转」,是一条长路。
可执行行动
- 把不成熟的思考发到群里讨论,不要上完课就静音。
- 自己接过一次模型 Key,分清订阅和 API;拿 C 端套餐和 B 端 API 比一次价。
- 看一家公司时先画中下游:接入稳不稳、有没有权限和限量、数据能不能离场、是 API / MaaS / 托管 / 私有化里的哪一种、能不能切换。
- 算一笔账:推理算力(GPU+HBM)、电、人力、工程能不能撑住高并发。再问毛利率和定价能不能盖住,而不是只看补贴后的 C 端价格。
- 若岗位要「把某环节 AI 化」,先问:业务要的响应是不是模型给不起(他举 500 毫秒对 2 分钟)、数据能不能出域、谁留痕、谁审核。
- 过程里没答上的问题先记下来。他说找一个集中的时间在群里答。课上留了练习:假如你是 FDE,检查企业落地要过哪些点。没有另布一篇命题作文。
争议与边界
- 「C 端做得好的都不值得投资」「模型厂商是做死的趋势」「CFO 一上台就别看了」都是主讲的筛选口径,带情绪,也有他自己标出的例外。本页不把这些句子升级成投资建议。
- 软银 110 亿美元、5 年 2800 亿美元、Kimi 参数规模、B300 价格、GLM 200 token/秒、万卡电费上亿、20 倍套餐对应的 API 倍数,都是口播或他转述的消息。参数一句里 33T 和 3T 互相打架。〔存疑〕
- 「6 个维度」「30 个节点」只在口播里出现了数字,没有逐条念完。幻灯内容不臆测。
- Anthropic 公开调用信息、英伟达等停用、OpenAI 下架 20 倍套餐、美以冲突里光纤被挖断,都是他用来说明的例子,本页没有另查新闻核对。
- 专名:WorkBuddy、GV / GEV、动态掺水(关键词里是「动态参神」)、三个 9 / 四个 9、从 PoC 还是 PLC 起步(口播像 PoC)。〔存疑〕
- 提问人叫了一声「刘伟老师」,转写里回答的人仍标成黎明。称呼和主讲名对不上,不另安一个身份。〔存疑〕
- 智能纪要把主题收成「API、路由、部署、成本、FDE」,大方向和口播一致,但纪要里的待办写得比口播更整齐。以逐字稿为准。
- 转写时钟不是从 19:30 归零。文字转写大约 18:44 就开始了,所以开场问候落在 47 分附近。课前那句「我是。」保留,并标在开场一节。
课上问答
生产力上去了,生产关系为什么没变
树枝:很多流程绕不开人,关键节点仍由渠道把着。AI 转剧效率更高,利润仍被平台拿走。效率变高,活可能更痛苦。生产力增长不等于生产关系已经变了。
黎明:他不确定答得对不对。他认为只能靠时间磨合,旧机制被倒逼。比喻是高铁:以前体验新干线的人很少,现在 12306 就能上车。短剧若只跟着平台的剧本、分发和工具走,就没有自己的东西;要打破关系,得制造稀缺,例如别人复制不了的 IP。他投资「永远只找稀缺」,不跟风,因为不跟风要等。没有稀缺就没有高溢价。卖 FDE 课的人,未必是在做 FDE。
传统企业会不会为 FDE 真金白银
迈克情感:自己在做 ERP 维护,提到浪潮、金蝶、用友,以及疫情后一批公司上了 ERP。他觉得传统制造、国企不会像当初上 ERP 那样激进地上 AI,国内也还没有 Palantir 那种十几年沉淀的公司。董事长年轻、让他们看,但没有说立刻投钱。FDE 会不会只是风口。
黎明:AI 能力和业务之间有 gap,跨不过去,所以要翻译。翻译要两头都懂:模型从哪来、怎么用、什么做得到、什么做不到;以及这个行业的机制、卡点和用了 AI 之后怎么评估、怎么做 POC。不必会训练大模型,但要知道边界。响应时间对不上,业务就直接做不成。他不喜欢「降本增效」这个词:赚钱的时候没人天天喊它;对外讲方案可以讲花更少的钱办更多的事,本质是把长板做得更长。这个角色若讲清楚了,年薪可以很高,但是长周期。在国内还得懂国产模型和国产芯片。短期蹭热点可以,他把饭碗放在拉长的周期上。
全文逐字稿
课前与开场(转写时钟约 28 分–1 小时)
[28:17 - 28:17] Littlered.:我是。
[47:42 - 48:49] 黎明:能听到不。可以来吧,可以进来吧!来吧来。宝宝。突然发现。那我们就可以来吧!今天是第二站的第三课哈!我们如约而至。滴滴。叮咚叮咚。你到底到。嗯。点错了**。一个结束。
[49:20 - 49:24] 黎明:声音能听到画面能看到哈?
[49:24 - 50:37] 黎明:第三课哈中下游还还有人记得之前我们讲的什么吗?因为上周课讲完之后,我看大家没有群里面突然这么安静哈,是因为过了个节日嘛。有点安静哈!有点太安静。默默的在分析是吧,嗯!其实有时候呃,可以把你不成熟的思考过程讨论发出来,就像前前段时间大家那种。思考一下。那个效果啊?是真好。这个怎么老跳来跳去的你?干货太多,全都是金句得一多讨论一下啊,说不定有意外的收获哈!
[50:38 - 51:49] 黎明:然后呢,这一期呃,我们就也比较清晰哈,那接下来就是说既然大大的全景以及所有的环节啊,主要核心上游环节已经清楚。那你要把中下游打通一个,比如说就是一个 AI 模型,它怎么成为能力啊,从实验室进入可用,然后也就是我经常说的价值能被传导。才能成为好的服务好的点。生产力是吧?好,那大概会从几个维度啊,模型能力怎么变成服务,然后以及他怎么到平台以及过程中啊,这个。为什么有些模型能够起大规模体量?有些模型就做不到啊,甚至哈前两天看见智谱智谱开始抓数据这个这种事情。反正也都是一种成不成熟的阶段性表现啊,那你就能大概理解哈他们在干什么。
[51:50 - 53:57] 黎明:Ok. 嗯,大概 30 个节 30 个节点哈,然后我先看到这张图啊,能看清楚吗?嗯。这节课主要的就会从模型能力到怎么如何服务啊?这个服务到底怎么对外提供能力,然后以及最后它传导下去的整个产品的。或者形态优势以及能力是什么,大概会分成什么样的过程,然后整个中间环节所有的环节都是在不断的持续考验这个。呃,变成生产力的一个过程啊,比如说它的数据如何被重新回回来,然后如何下载代码是吧?如何?呃,如何再提高在下一代的模型的训练啊,这都是?必要的环节好,那我们稍稍微回顾一下,我看跟估计很多人忘了哈,我们在第二课的时候说呃说能力被生产出来是能力,能力生产层是吧,就是模型生产层到底是什么样的?那这个模型能力啊,以及它背后我们说这个模型为什么过程中那么,呃,会那么贵,以及它为什么会有成本?应该都提到过哈!那这一次我们稍微的目标可能会就会变一下,如何让这个东西变成就是普罗大众都能用到的生产力啊,就像我们现在使用模型的这个场景是一样的,为什么我我们使用模型可以把它应用在各各个环节?从实验室,呃,甚至从一个 11 个论文,从一一种验证方法到变成可用的产品之间的差距啊,现在短则几个月哈,呃,甚至哈一个月现在也有,但是那个一个月背后,其实他做了大量工作。
[53:58 - 54:35] 黎明:呃,讲到这里,我我不知道有多少人,你能理解一个模型的生产过程,他需要的时间啊,因为。我我们稍微回顾一下啊,那实验室或者或者各种 AI 现在的 ai lab 都在做什么,他们在不断的去整理数据集啊,数据集本身就需要大量的时间以及工程量。甚至工作量那个工作量是背后可能呃还要去买是吧,还要自己加工处理,然后再到模型本身。
[54:35 - 55:12] 黎明:呃,这个最形象的可能呃,大家能直线感受到的,如果是关注 DeepSeek 关注 mini max ,关关注,关注智谱可能会出些。啊,这些模型,呃,尤其是我觉得第一首感最最直接,最近期的一个感受就是罗福莉在线的去训呃训练那个模型。然后让大家更直观的看那个通过一个网页就能看到整个模型的训练的过程中在做什么哈,它的损失函数在做什么,在做什么事情。
[55:13 - 55:46] 黎明:新形式加。加。这啊把酱。降成本是吧?然后训练与调优,嗯,然后再就是整个评估到底这个模型目前到底是一个什么水准啊?有没有比之前更加精进?然后他们不断的在做,最后就是能不能呃,大规模的做推理,然后如何让推理整个效果达到最优状态啊,挺复杂的。
[55:47 - 56:16] 黎明:但是就这些复杂,只是说这个模型生产出来能用到最后能够大规模的被所有人访问啊,甚至能够收费收上来费以及可以稳定运行啊,不是动不动 429 啊!啊 429 大家都知道什么意思吗?用用模型的人都知道吗?啊。你们遇到过哪些异常代码?
[56:17 - 57:05] 黎明:新出一个 java,立马出超越!Gv. 嗯,这说明这个赛道比较好嘛,层出不穷的好东西不断的出现。409 那你的套餐套餐量定的太小了。所以这个过程中就是到可用能好用,其实中间还有很长的工程化的路要走。Talk long time. 甚至还有超超越上下文的一些提示错误哈,这个真正好真正长时间用的人都会能体会到,就是这个。
[57:04 - 57:57] 黎明:呃,会出现各种各样的问题,其实今年所有的这些模型公司都所有的模型的服务,你可以理解成今天。都是早期大家都在摸石头过河出这些各种各样的错误是特别常见的啊,所以那如果能理解的话,就会更多的理解,他们其实无论是大厂对大厂来说也好,对模型公司来说也好,他们都是。才开始,然后呢这些呃但凡这些服务上线呢都是大规模交付哈,因为动不动稍微好用就呃超负荷,超负荷就出问题。呃,背后需要大量的工作需要去处理,甚至不断的持续监控,又回到了传统的这个软件工程的范畴,所以呃,这个维度。
[57:57 - 58:37] 黎明:呃,一个一个公司啊,一个一个呃 AI 公司那要开门做生意,其实他要做的事情是很多的,不,不仅仅是说,呃能把模型做出来啊,做出来证明有这个能力,然后能不能好用?能不能持续高可用?能不能持续的就是被客户信赖,然后呢,就是持续能够达到企业生产级的水平,这个过程是比较漫长的一种持续迭代的过程啊,因为大量的我上面列了大概 6 个维度啊。
[58:37 - 59:03] 黎明:今天可能会从这 6 个维度让大家去了解一下如何去判断的,因为今天你看到很多公司其实不成熟的啊,能理解吗?能理解今天什么叫不成熟吗?虽然他收了你的订阅费。但是呢,他依然可能面临各种各样,从来之前没有遇到过的问题啊,包括强如这个这些头部的云厂商都会遇到这个问题啊。 OK。
[59:04 - 01:00:16] 黎明:然后我们做一个呃思想实验哈,就头脑里面大家去考实验室可用,企业一定可用吗?来跟着我的思路哈,实验室关注是这个东西能不能跑通,能不能打分?能不能说呃生成能不能用,能不能先出个 flash 版本?为什么除了出 flash 版本之后会有什么各种?A flash a little. 然后 little 之后可能就是上,一般就是正式版啊,再慢慢的向。后面后面后面就跟手机一样啊,呃,像害啊 preview pro ultra 然后呃,你看那个那个所有的模型都有。呃,更大的量级是吧?啊,当然那个就是反正好的越往上那个,那个模型的服务可能要求更高,然后质量也要求更高,当然成本一定会更高,所以。
1:00–1:30
[01:00:16 - 01:02:14] 黎明:那为什么企业上来之后不直接出这些像手机厂商那样直接出这这么多版本呢?是因为其实最开始的时候可能还没有准备好。所以对企业的企业对企业来说,一定要是能不能有稳定的这个接入点的接入,然后能不能就是支持。比如说呃 response 是吧?或者是支持各种就是标准协议啊!对吧,能理呃,这里稍微设计一些工,就是如果自己接过 endpoint,就是接过那个模型的 K 哈,自己去给各个很多人可能没用过是吧?没自有有自己去接这些。API 的嘛。就是自己把 API 接到什么你的 WorkBuddy 啊?因为你很多人买了很多订阅,有很多不是程序员,你就你需要去理解一下啊,当然还有就是,那你简单就理解,反正他需要接入方式要求还比较多,是不是能?没有那个 Anthropic 这种协议啊,然后能不能说通过这个,呃,还有对企业级来说,能不能控制权限控制限流限量啊,对每个用户。嗯,个性化限量团队版,因为这个或者是能不能多呃多多 K 的形式来跟踪每个 K 的使用量啊?没相当于今天的 K 就是代表用户嘛,呃,独立的一个用户,他这个用户是一个 AI 也好,或者是一个人也好,反正可以独立统计是吧?能不能稳定规模化,能不能持续的啊?7×24 小时的门店运营,这个都是至关重要的。
[01:02:25 - 01:02:46] 黎明:啊,你们都说不一定哈,那我们看一下不冷企业的可用性取决于服务治理部署运营不能只看模型的分数,所以到越往后啊,其实为什么这些分数就没那么重要了?就是这个原因,到现在现阶段就是就是大家关注,你看对模型的热度,并并没有那么感兴趣了。
[01:02:49 - 01:03:08] 黎明:前两天还有人在关注说说到底是什么引发恐慌 agi 的到来是吗?然后这在那儿,但是其实你看一阵风就过了,所以我们今天要打通的整个链路就是能力能不能被服务化,然后能不能变成一个稳定的 API。
[01:03:08 - 01:03:38] 黎明:这个服务能不能稳定的编排,然后组装,比如说今天所有的 API 能不能呃,被一个模型来动态的调度啊?就是上次谁提问问的能不能做到,就是呃自动化的调度,这些模型的呃匹配什么什么样的什么样的任务,用什么样的模型去做啊,这是这是模型厂商现在在 agent 里面在做的自自动分配的嘛?
[01:03:38 - 01:04:53] 黎明:那这个如果因为模型比较频,呃,频度比较高的人是有体验的,然后呢,现在还有一个就是大家都在,如果一旦到 B 端,就涉及企业的数据安全,这个这个如何做到这个企业级的部署啊,企业级的部署方式有多少?有几种?你看现在像这种主流的这些开源模型,那你要私有化部署,或者是或者是通过专业网络部署,为什么?呃,尤其典型的 OPEN AI 或者是 OPEN AI 跟微软的这种协作方式,那有些是在微软的网络里面,有些是 OpenAI 的这个网络里面。但它不是一个网络,包括我们现在国内也是有很多方式哈,就是呃,开源的有开源的部署方式,然后呢,也有说通过这个直接模型厂商它自身的来接入的方式。那就是很很强的一个环节,就是模型一定要做安全的管控,你看国内的模型管控极严格,很多问题它是直接拒绝回答的啊,尤其是涉不光是涉政治啊,有,还有其他的问题。Ok.
[01:04:55 - 01:05:15] 黎明:嗯,这个第六第 5 条就是呃,这个整个这个运营的过程中,如何把说到说服务稳定,然后效果好不好,如何去判断啊,大概通过这张图来表现哈。呃,呃,大家可以通过这张图来看,首先那更加形象一点,不比看那个文字。
[01:05:14 - 01:06:02] 黎明:API 能够直达,这就是目前看到最好的一种商业模式,就是只要是模型生产出来,通过一个 API 立马就可以传送到。无无数个终端节点啊,你也可以理解成是无数个,就只要这个模型一发布没有中间没有中间过程,也没有库存是吧,生产出来即被消费掉。你们见过还有这还有这么好的商业模式吗?根本没有中间环节也没有库存,所以今为什么今天 AI 可以跑这么快?就典型的特征就是原有还有大量的流通环节,今天这些环节全部通过一个 API。
[01:06:02 - 01:07:38] 黎明:啊,通过一个网址,通过一个 K ,你就可以把它轻松的接接,呃,接入到各你的各个应用场景里面啊,比如说大家如果是被分装的,你买的各种什么?呃软件。订阅里面。然后呢,每一个,然后现在大家都看到是各种计计费方式是基本上统一化了啊,以 token 啊,或者是这种。套餐套餐的方式就是呃,但是背后其实最小的计量单位就是计量计费单位一定是围围绕这个 token 进行的。就是比如说呃那个滑动窗口啊,大家在用的重重置窗口啊,基本上一周一周一重置是吧?现在主应该主力现在都用的是主力运的, C 端运的是那个这种滑动窗口的方式,然后 B 端。B 端一定是通过token 计费啊,就是全呃,全部是用 token 这种计量计费方式,为什么?因为这样好计量,那谁端呢是?呃,为了让更多的用户接入可以体验。然后锁住用户,然后呃增加这些这种订阅量,但其实 C 端这样,尤其 OpenAI 现在给大家可以这么大规模的薅羊毛的话,你看 OpenAI 的毛利率特别低。
[01:07:38 - 01:08:10] 黎明:然后呢?呃,刚才问的那些错误码哈,第 3 点就是各种由于很多人超额用啊,甚至或者是大大大规模的用户。大规模的这个用户是吧?规模上来了之后,那怎么对整整套系统进行保护啊,不然不让进,不让所有的用户都无法用,然后只让一部分看到什么是你的这个当前服务不可用是吧?呃,应该在模型里面最明显看见的最最容易看见的就是 429 哈。
[01:08:16 - 01:08:44] 黎明:熔断限流和互联网有电线,这个是很正常的,最后今呃到模型到整个到工程这个能应用这个环节就是工程化啊,跟互联网的工程软件工程是没什么。没什么区别的,呃,我特别喜欢那个呃,一会儿跟大家分享一下,最近的一些就是大家不再说模型的能力,什么逆迁了,要要减缓速度,我看我周末看到一个观点就是。
[01:08:47 - 01:09:15] 黎明:萨提亚啊,萨提亚知道是谁吗?啊,微软的,微软的老板啊,出来说的对,就是其实今天大量的问题还是呃,除了模型之外,大量大量的问题还还是工程化问题。说得最直接一点,所有的这些机,所有的这些数据跟原有的工程方式只是在计算方式上发生了变化,但是在应用层面没有根本的变化,还是软件工程互联网的一套东西。
[01:09:15 - 01:11:30] 黎明:所以说有人在在说说。说 AI 会产生什么?什么不可控啊,失控啊?你说还是原有的方式,那不就是呃,那直接不不不就把它把把把这个最直接的方式哈,把这个数据数据中心炸掉,它不就是解决了吗?还还能被 AI 给控制了?是不是你看那个前段时间呃那个?美以战争是吧?那个光纤光纤一挖断所有的服务不是断了吗?所以很多事情其实但凡运。不是噪音啊,这是美国的几大头部,头部的哈就有有高影响力呃呃,那个 sam 奥特曼。然后那个达瑞欧还有呃,还有那个谁啊,哈萨比斯啊,甚至马斯克都站出来在说啊。说是这个要减缓 AI 其实其实但凡运想一下啊,今天的呃 AI 这么邪乎吗?那还他他这个跟物理,除非机器人出来自己维修。机器人吗。那直接把电关了不就好了?没电了不就行了?对吧。或者最再直接一点,如果一旦到这种失控状态。对。直接毁灭掉不就行了吗?是吧,有那么吓人跟夸张吗?没有,所以有些时候我们这个但凡稍微一。去思考哈。可能就排除了很多很多选项是吧?太阳能储能?那就炸嘛是吧,原子弹把它炸了。对,有那么吓人吗?
[01:11:32 - 01:12:25] 黎明:好,呃,这就中间跟大家那个,再就是大家看到很多模型的版本啊,之前说过简单也说过,就是很多模型的版本是呃。内部版本你可你可能看到的就是呃,看不到就是变这个日期的变化大大部分都会以日期,年月日啊,拿编号去。区分模型哈,因为这个足够精确,然后大家可能看到的更多的是大版本号啊,比如说 4.1 啊 deepseek4.1 啊 gl 呃 glm5.3 啊,现在加了个 flash 啊。类似这样的呃版本,那你清楚每个版本呃,就是这个版本它是呃,如何去呃发布出来,然后为什么前面要加个 flash flash,就是让大家先体验一下啊,可能是存在一些。
[01:12:25 - 01:12:54] 黎明:呃,不稳定因素,然后他们在发现问题,然后发现问题之后再去在下一个版本里面把它迭代掉,优化掉,然后通过工程方工程化的方式,或者是后训练的方式及时打一些补丁做一些围栏,然后把这些安全问题给规避掉啊,可以已经是可以验证版本的,但是呢,如果他们自己测一定,如果是软件工程的人一定会知道哈,很多所有的问题都不不可能穷尽的一定会出问题啊,这出问题就会有大量的公测时间。
[01:12:54 - 01:13:36] 黎明:啊,最就最后就是发布啊,发布有些发布呢,现在模型呢要求比较高,发布一下子,比如说有通过那种。OpenRouter 是吧,上面去免费跑是吧?跑一下看能不能被被一些测评一下,发一些文章,然后。说啊,又有个什么什么马的模型逆天了是吧?啊,就类似这样的,这就是整套啊,基本上流程,然后这里给大家举个例子哈,就围绕就是如果是能用的场景啊,在如果要在企业端,如果要落地哈,大部分还是在。
[01:13:41 - 01:14:17] 黎明:呃啊对,一定是开吹嘛,你这个世界他妈的全靠吹,全靠包装那个模型比其实可能没那么好用,但是写了几篇顶,找几个顶流哈。就是呃,这个世界我们所有的人哈,他都是蝴蝶效应的这个一份子是吧,所有人都是那个啊,比比如说我今天说啊,哪个模型好用,然后你们可能一传十十传百也会觉得哪个模型好用。啊,就这么回事儿啊,嗯!
[01:14:18 - 01:15:16] 黎明:然后呃,如果我们拿企业助手举个例子的话啊,比如说参与其中其实就那样。嗯,因为呃这些模型公司想发布出来就想制造一点声音嘛,就像搞个发布会一样,其实如果参与过发布会的人啊,做过做过这种大型发布会你就清楚。其实背后台上那是呃,可能 10 分钟,台下可能准备了 100 天。然后临到临到前一天晚上发布会前一天晚上还极其不稳定哈。我也发现了啊公今天有个公众号说自己公司拉了千万搞搞模型数数据啥的,一听就是扯淡啊!就是如果参与过这种发布会啊,然后发布会可能前 1 分钟还还在爆爆一场,甚至出现翻车是吧?为什么又翻车呢?你看。
[01:15:16 - 01:15:52] 黎明:啊,跟大家举举几个例子哈,比如说像我们之前那经常搞这种,每年都搞这种什么技术日哈,哎呀,真的,那就是很极其痛苦啊!因为到到整个,如果能参与这种发布会的项目,那简直简直可能是彻夜无眠啊,最后可能到凌晨,实在是没办法了,就想想着能不能。呃,找一个糊弄的方案先糊弄过去,其实这就是这这本身是真相哈。
[01:15:54 - 01:17:11] 黎明:只是会有些,比如说像手机啊,这种电子硬件产品,它背后它有成,呃成体系的这种模式,大部分像这种。嗯,软件产品尤其是软件产品啊,这种是最后的演示啊,你看周鸿祎之前就开始直播传传销的时候。二二传播的时候不是反响,嗯,那个搞什么发布会的时候经常翻车,然后都不知道怎么办了哈。好,那我们就进入这个环节哈,这个拿企业助手举个例子哈,这个过程中要经历哪些事情,经历哪些环节?首先所有的人哈,我们用任何,呃,产品它都是呃,比如说发一个提问,然后用它去做用户识别你的身,这个身份合不合法啊,有没有啊?你这个身份是不是买了有呃,调用 pro 套餐的 pro 套餐的能力,然后你的套餐有没有余量啊?有没有够不够?然后呢啊,那下一步如果过了,那才真正的开始做,比如说 agent 的调度工具的调度,然后最后然后把这些知识。
[01:17:11 - 01:17:39] 黎明:呃,比如说整理完之后整理一个问题,最交给我模型,你大家运用 WorkBuddy 也是这么个过程,然后模型再整体出一个结果啊,这个简单跟大家说说一下过程。什么叫接下来我们说一下什么叫能力及服务哈,就是把这些能力能不能服务化,把模型变成一个稳定的接口,这个过程大概啊,刚才也提到了,就是。
[01:17:39 - 01:18:28] 黎明:就是刚才整个这些五大环节啊,但是这五大环节里面嗯有大量的风险是吧?比如说接口不稳定,呃,接口不稳定,面临的一个问问题,我觉得大家都吐槽过各种模型,接口不稳定哈,然后呢?呃,各种致歉就上来了。这种问题现在慢慢的比较少见了,但是对一些,比如说呃像 GLM 为什么动不动就赶紧这些厂商也很担心,赶紧去进行限流哈,不让新用户注册。包括最近呃,最大的事件应该是呃,把 OpenAI 把二 20 倍的这个订阅直接下掉,因为是后面背后其实支撑是支撑不过来的啊。
[01:18:28 - 01:18:53] 黎明:这是这,这里面你要识别风险,然后呢,这里刚才刚才我们只是把这些点列出来了,但是你要把这里面的价值价值能发现就是 API 它是一种。很好的价值传导,然后能快速上量,但同样如果不稳定就是双刃剑,就会让让整个口碑炸裂,然后嗯再就是呃现在。
[01:18:53 - 01:19:14] 黎明:其实慢慢的,这个所有的定价策略变得比较成熟了,对吧?啊,最开始你看那个套餐上来,反正谁都上来一个什么 little pro plus 呃 plus pro。什么 max ultra 是吧,反正就是这么回事,那背后其实是大的一个成本核算。
[01:19:14 - 01:19:41] 黎明:还有一个就是这里面要去大量的,我不知道你们有没有这种体验哈,其实就是超卖。啊,有有多少人知道超卖是什么意思?套餐的超卖是什么意思?因为这里面需要需要理解这个商业价值哈。商业玩法。
[01:19:40 - 01:21:45] 黎明:如果你们不知道这个模型的超卖,你们知道那个爱奇艺的超卖吗?或者健身房的健身房的超卖,健身房可能可以一年四季无限制的卖它卖。卖那个会员是吧,一人可能 5000 块钱一年的年费,然后呢,其实他就赌这里面只有 20%的人可以坚持。然后 80%的人坚持不了啊,不会把这些把这些那个把这些呃量用完。然后如果不用啊,如果真都用了,那就亏本了,就是理解吗?为什么大家会感觉到这些套餐极具性价比?这就是问题 AI 模型现在面临一个问题,就是定价策略有问,如果有问题,然后被薅羊毛了。那就不卖了,为什么 20 倍 20 倍的套餐不卖了呢?说白了,如果大家死命的往死里用,那是个亏本的生意,你看 C 端的所有的生意啊,这里教大家一个方法,C 端的所有的生意,让大家感觉是占便宜,尤其买这种套餐。尤其上来之后直接锁定你的年费套餐。20 倍的套餐可以薅三 350 倍的 API 的价值,对,那所以最后一定是亏本的啊,这个就是直接账算不过来了,它这里毛本身 C 端的毛利率就比较低。然后再这么被干一下?那基本上就干没了。这个应该大家都能理解哈!呃,后面的是都得超卖啊,但是以以前哈这个生意很挺好做的,什么卖爱奇艺的套餐啊,卖各种套餐啊。
[01:21:45 - 01:22:37] 黎明:都其实都是读你其实用不完所有的量啊,赌你不可能天天看电视,如果天天都看,肯定是亏的。但是呢,卖更多的份儿,你说超超卖,本来可以这个整个支撑支撑量,我们说健身房哈,整个健身房最大的容量是。同时并发支持 100 人。可能可能这得很大的健身房啊!但是为什么他们可以不断的卖这个卖会员呢?是因为一个是,呃,分散了这个时间段啊,就是不一定所有的人都同时来,然后呢还有一个。就是大部分人他赌了人性里面的这种这种懒惰啊,或者是贪婪啊,这这这里面是呃,有讲究的哈,所以看。
[01:22:38 - 01:23:06] 黎明:但是 AI 有一个特殊的情况就是大量的遇到的人都是想要把羊毛薅薅干净的,尤其是如果卖大套餐的人,其实基基本上都是往死里大的逻辑啊。啊,你们有没有感受过,就是用这个套餐用不完之后就是特别难受啊,特别感觉亏亏大了,然后就得晚晚一晚上不睡觉,在在临清空前把它消灭掉。有吗。等会儿我特别是。
[01:23:21 - 01:24:43] 黎明:有没有。你们是不是这样的?这样的状态。如果用不完的话就感觉亏大了。然后不睡觉就往死里干,然后把这个。把那个额度干干完才行。所以你看 AI 跟其他的就是有差距,所以你看所有的 AI 产品 C 端,嗯。In. AI 的 C 端稍微有点差异。就是遇上这种不要命的,这是公司的套餐,你管他呢?而且 C 端的一般套餐的这个订订阅下来的一个实际的价值,实际价值就是套餐量很大,如果感兴趣想调研这一块的。去注册几个目前的主流的 CSP 的厂账号,然后去调研一下你对比一下你买 B 端的账号 B 端的套餐。就是你去买 B 端调用 B 端的 API 跟你买 C 端的套餐价差挺大的,所以你看我们做做业务,只做 B 端 AI,做不了 C 端。
[01:24:44 - 01:25:20] 黎明:就是只有这些,但是然后我我我跟大家分享一个,既然大家讲到这里,额外的其实能引申一个东西,就是但凡 C 端做的好的。都不值得去投资,为什么?因为它背后一定是大规模的在补贴补贴用户啊,他们从一定意义上来说,他们都是大善人。很反人性吧<笑声>。
[01:25:32 - 01:26:00] 黎明:但实际的 API 的价值就这么高,然后但凡一个亿,但凡一个这个软件产品的毛利率如果低于 50%,他干个毛啊,这生意就没法做了,因为它的研发成本。其实是特别高的,他不可能说是来搞薄什么薄利多销这种这种业务,所以大家在为什么讲这个过程啊,就是让你们理解。
[01:26:00 - 01:27:52] 黎明:高科技行业的这个毛利率一定要拉高才行,拉高才有翻盘的价值,它才比值得可能更高的估值。不然如果它只有 4%五的毛利率。或者 10%的毛利率。它算什么高科技?那他就不配拥有什么 1000 倍的估值?是吧。理解吧。能理解吗。这就是。你理解这些细节之后,你才会算算得来这个账。算得来这个账,你的好处就是我一看这这这公司他妈的就是骗骗人的,骗投资人的钱烧投资人的钱,然后烧同时烧规模烧名声烧,最后烧市值,然后一旦这个模式不可持续。那就崩盘。理解吗。今天目前所有的这些模型厂商表现出来的这个趋势,都是这个做死的趋做死的趋势啊,因为我们现在已经基本上把这个。我是摸清了哈卖 API。然后卖卖这个呃模型,maas 模型及服务,然后甚至你还可以,你看现在这么大量的开源模型可以卖给你卖,因为大客户,大企业他绝对不会卖 API,他要卖私有化部署。嗯啊,或者卖卖砖呃,给我画一块专有区域,这个我要独享,因为我的数据比较敏感,你去看这些做金融的,做银行的。做政务的怎么可能?调 API 把这些数据会发给那个?所以这里面大家看这张图哈!
[01:27:52 - 01:28:44] 黎明:就 Kimi 还坚持没 Kimi 降个毛价**,它的成本那么高,它的参数规模那么大,今天有几个参数规模是超超过 Kimi 的没有啊?所以看这个前提,看这个问题的前提是你要理解参数 Kimi 的是 Kimi 的模型,现在 k3 已经到呃接近三个 33t 的规模了。3t 的规模本身它的那个推理成本。就是很高啊!对啊,他只能只能用 b300 来推理这个。至于为什么大家可以去研究一下,或者问问 AI 为什么 Kimi 的 K 三只能用 b300 来推?
[01:28:46 - 01:29:19] 黎明:然后我们接下来再讲 api maas 托管实例啊,到底怎么选它,它们之间的区别是什么?呃,API 大概讲了哈,基本上就是直接一个 endpoint 一个 key 就接入,然后呃,那也没有说,嗯,这个给你独享啊,这个就反正大家只要只要所有人哈 B 端 C 端都可以接。也不做区分,然后 maas 跟 API 可能很多人这个分分不开,那 mas 呢?呃会稍微比 API。
[01:29:19 - 01:30:13] 黎明:包装一个概念出来就是可以给你做一些呃,这个多个模型的组装啊,然后可以配置可以以,比如说做一些平台。配置的策略哈,比如说现在的公有云 CSP 啊,大家可以看一下公有云 CSP 提供的 maas 服务,包括呃,国内这几大主流厂商都提供这样的服务。他会给你出这种套餐,甚至给你出一个 auto 啊,就是自动去调度啊,就之前所有之前有人说的,根据你的任务不同,然后调度它就是调度权交给他。它根据你的请求去给你匹配调度那个模型,然后相对来说呢,它就是更加合理化的这个按计费,但这个过程中 auto 的那个能力就至关重要啊。
1:30–2:00
[01:30:13 - 01:31:26] 黎明:啊,托管呢就很简,这个也很好理解,就字面意思,这个针对一些呃特殊的呃行业和特殊客户的要求。私有化,就比如说偏金融政务啊,这种一定会要求私有化啊,比如说 DeepSeek 开源那一波,那首先介入的一定是银行政务这些客户,所以 DeepSeek 深入人心。但这个对考研门槛很高,要求也很高。是吧。要求高到什么程度上来,你的你得有,你得有机器,你有大规模机器,这个没有机器是不行的。然后呢?好处是这个环境环,这个这个环境是你独享啊,哎,这个就独享啊,跟共享啊的区别。就是你想独享独占啊,这个服务是呃,如果再是私有化的话,那就是你的整个就是机器都是你的,所机器的所有权都是你的数据,所有权也是你的。但是你要要求更高,所以那个背后的成本也更高是吧?
[01:31:30 - 01:32:48] 黎明:然后基于这个呢,然后产生出了很多的这个混合方案混合架构哈,这个大家也可以看一下,就是很多公司在目前整个商业化落地,整个 AI 落地的过程中,商业化的,呃,过程中,它比如说这里面核心环节就是通过一个智能路由。然后呢,去合理的去调度一些能力。比如说那大量的数据啊,这些数据完全是不能公开的,那你把它交给模型厂商,像像 Anthropic 干的这种特别***的事情,直接把用户的调用信息直接公开。深就是你别公开啊,这个属属于保密嘛,大家属于签了协议买了你的服务,你竟然把这些这些公开。这个意味着哈,就相当于你微信的信聊天记录可以随时被第三方的人查看啊,这你就想象一下这这个可不可怕啊,这些敏感数据你敢吗?为什么有大量的?大量的这个私有化的需求,为什么政务一定不会呃,银政务银行都不会公开数据,这个公开了,那就真的是出大问题了,嗯。
[01:32:51 - 01:33:41] 黎明:对,还有一些就是比如说高优先级的场景,这个一定是需要更高效的一些,比如说模型和更严格的这种,对吧,呃,比如说健全机制啊。所以你要关注的点,其实如果是要理解它在企业里面要大规模应用,其实要走的路很很很长,有你说做个 poc 做个 demo 那个。那个可能今天很快的就可以把它验证一下,但是你要把它工程化,整个落地融入到你的业务场景,这个为什么今天到 B 端的这个链路,甚至为什么模型厂商今天?呃,赚不到钱也是这个问题,就是目前还没有大规模的整个融入到整个业务场景里面,都只是验证和探索阶段。
[01:33:43 - 01:35:01] 黎明:嗯哦,还有还有一些就是比如说呃,现在 OpenAI 跟跟呃几个几几个头部的金融机构在做的验证哈,比如说所有的环节能不能被监测,就是所有的环节就是留留痕嘛,留记录啊。呃,把所有的这个执行过程,甚至是哪些人参与的过程,甚至模型的整个,呃,分配的这个日志啊,调度日志可可以被审计。因为金融决策这个还是至关重要,甚至整个生成的结果也是呃需要被验证的。或者被被回溯溯源的,那因为这个但凡一个错误的决策可能导致比如说像比你就想想,比如说像这些什么。呃,头部的这种金融机构出一个呃,不合理的这个报告出来啊,这个引发就是头部的啊,啊,不头部的,那随便天天都是扯淡的话,但是头部的刷出来这个就影响很大的,对他们的自己的损失也是很大的,所以就会引入更多的呃,人工审核机制或者复盘机制。
[01:35:02 - 01:36:25] 黎明:然后还要留存大量的这个日志,比如说这里面在本地要要不要做一些这个日志的留存和那个安做一些安全的隔离,有些业务它是业务数据,它是绝对不能碰的。这里面对今天比如说这个,你想想对 fde 的,这就是说 fde 要理解理清楚这里面整个企业的所有环节对 fde 的要求高不高?不是一般人能做的,做得了几个 fde,如果是只是做个普通的 fde,那就是外包嘛,那有啥就是按人家让你干个什么,只是换了个名词。但真正的 fde 跟当年的那个埃森哲。呃,跟当年的那个麦肯锡的那些顾问。合伙人级别的顾问要求要求是巨高的,既要对整个这个业务场景,数据场景特别理解,然后呢,还要对整个新技术的边界特别理解。你说要求高不高嘛,呃,现在**一堆人**都在那儿研究 fde,然后呢,就是说大量的人,他妈的职场混不下去了,结果出来现在搞 fde ,当然这个。就是要有敬畏,然后呢,不能。当然这个社会就是有一个过程,就是早期一定是劣币驱逐良币的过程,最终价值回归哈,一定记住。
[01:36:26 - 01:38:07] 黎明:现在跟风也行。就是它的含金量,这个 fde 的含金量如果做好挺高的,但是现在的目前。就是大家这个跟风的机制大于它的价值,你想想有几个人能把这个企业内部的这些业务场景理解清楚,甚至呢要求对数据的理解。对整个数整个行业的这个风控的理解,你说这这得多的这个这个人得多少多挣,原先原先一年得多少钱是吧?然后会加上 AI 之后又治理了提高生产效率了,它得多少钱?所以这个顶级的一定是很贵的。能做到这个的还做啥?fde 嗯,所以你敬畏之后呢,对所有人来说,又是一个巨大的机会,如果你想切入这个行业,AI 未来一定会变成水电的这种范畴就跟变成以前大数据这些专家。啊,能帮企业做模型?那个真的含金量很高啊,那个打工真的是能赚到很多钱。对所有人来说,值得培养这样的能力,但是你前提是你要去本身哈,就是对这些行业大量的这种理解能力,甚至。我如果或者学习能力至少在线吧,那么对于一个完全因为很多人只要抛开自己熟悉的领域,那一定出问题。
[01:38:07 - 01:39:59] 黎明:是不是因为全是一抹黑好,那我们下来下下一个阶段就讲这个模型路由到底是怎么回事儿哈?你们觉得一个模一呃一这个问题就老生常谈了一个系统,只要只用一个模型可不可以今天在今天以及可不可以?一个模型。啊,一个系统你会当那种?是不是不可以?是吧,已经明显不行了,因为。我们从。比如说上节课我们就说了模型呢?他是。模型它是什么模型?它是?模型它是一个通,今天的 lm 是一个通用智能啊,这个水平,但是呢,今天你看到就是每个模型呃,更多的哈。他能做的事情他是都是有局限的,哪怕他通用一个通用模型也是局限,你说他做不到,比如说对呃 lm 它就理解不了音频,理解不了视频,对吧?那就需要可能专业专业的音频模型或者多模态的模型来来做,做到这个就你看 deepseek1 直在吃亏吃吃亏,吃亏,吃亏在哪儿?它就是一个纯语言模型,一直以来哈到现在那个它的多模态模型强度也也也不是多么厉害,对吧?这是目前所有的主流模型都犯的这个问题,包括 OpenAI 的这个多模态的模型都都一般是吧,只是只是就它不是强强多模态嘛。
[01:40:05 - 01:40:49] 黎明:所以一个模型是搞不定的,这里面就需要一个智能路由。能理解吧。需不需要嘛?是不是很需要啊?但凡是一个复杂任务,一定需要一个模型,包括大家最近刚才谁说的那个?谁说的那个 G 呃 gv 是吧,这个这个模型啊?最近冒出来这个 gpt 模型是不是火力很猛啊?不就在解决现在这个问题?
[01:40:55 - 01:41:04] 黎明:Dp d6。是掺水的贵的 API。餐点便宜的。
[01:41:22 - 01:41:37] 黎明:Stop 现在没怎么搞?到多么惨得一哥盯上了这一份儿编程,这个事情把它吃的已经够饱,吃的吃的很很很好啊,他没必要说现在。
[01:41:36 - 01:42:49] 黎明:最近 gpt6 疯狂降智。啊,有人研究过降智是怎么做到的?就是成本太高啦!他似乎应该把语音模型搞好。随机路由到 5.6 路这不是 DeepSeek 的 4.0 版本吗?真的特别卡。所以这个路由就在解决去解决了,这个不能不能那个 pro 也特别高,现在就是大家一一就是跟分嘛啊 5.6 突然怎么样了?搞中转站解决这个降质。折腾的够呛!中转站如果被发现降智了,不得骂死吗?
[01:42:49 - 01:43:44] 黎明:有成本的计算规则,那一定考虑到成本啊,一定是,比如说为什么你看哈,呃, gpt 为什么响应速度极快?一个问题,他想要速度极快,还有就是。就是被针对的对象。薅羊毛薅的比较猛嘛?因为可能是最近这个太好用了,一下子量特别大,然后呢,那个 gpt 现在账算不过来,这个问题应该存在了吧?所以他不得不搞一些骚操作,然后掺掺点水。而且这个餐了很多时候其实。没那么明显发现。
[01:43:43 - 01:45:28] 黎明:动态参神。那智能路由到到底在干嘛?干什么事情,他干的其实就是在解决这个能不能快速响应,然后什么复杂请求能不能拆分成不同的路由到不同的。如果,但一旦是复杂请求,那就上复杂模型,就能呃理解力高的模型,一旦是,比如说呃呃一些比如说严谨的合规的模型啊,合规的这个方向,那就运用,比如说国内的模型。比如说智谱现在面临一个问题,就是把数据传到海外啊,那这这现在的早期哈,草莽阶段随便发展,一旦动真格的,你就想象一下 manus 就是一个典型的问题啊。那人宁可不让你生意做了,也不能说让你出现这种合规的问题。所以未来这种对于企业级要一定可能大部分企业都会落地自己的这种路由,当然这个企业又没有能力做这个事情。那可能这个环节我我想大概率一定会是 CSP 的声音 CSP 有能力做这个生意呃,干别的不行,但是它积攒了大量的用户数据以及啊,今天的 CSP 的能力都还不错哈,都是大厂。他们来做分发方。然后来帮解决这个智能路由的问题。然后所谓的路由,现在目前你但凡去研究一下这几个 CSP 的路由哈,然后他可能根根据你的问题的理解力,为什么他大家那个推荐他的 al。
[01:45:28 - 01:46:16] 黎明:呃,很多人都会主动的,比如说早期都会主动选择更更好,更新更贵的模型,但现在慢慢的回归价值,有些问题其实当能力都能到好用,能用的这个水准。那就会选择能不能干更性价比的服务,你看这个趋势特别明显,包括这个 gev 的出现,也是在解决这个成本的问题,在效果不打折的情况下,然后成本还在下降啊,现在大家还没考虑的数数据分析,你想想你。呃,个人做这些数数据都被人家抓包的,比如说你去研究一些不不该研究的问题,他都会把你抓包,更别说企业啊,到时候是不是会有有这种企业道德伦理分数据,道德伦理风险的问题?一定会有的嗯!
[01:46:20 - 01:47:16] 黎明:啊啊,这里面啊,那下一个环节,比如说这它上上线之前要做哪些,这些模型要做哪些的具体的工作哈?呃,科普一下啊,理解一下,了解一下就可以。大概他要做几件事情,就是,呃,一定要做整个数据,是不是能够脱敏啊,你看最开始的模型它都会说我是一个 AI 模型哈,有。是不是有这样的?再一个就是有些数据啊,它不是不是对所有的这个用户做了强呃,强健全,还要同时高速响应?他要解决这种这种问题,而且上来基本上都是高并发的。所以对模型厂商的挑战还是蛮大的,这是他上线之前都要做的。
[01:47:18 - 01:48:21] 黎明:呃,大家也看到就是再下一个就是说各种呃,被黑客被攻击的风险啊,是最早是不是被破解的这个情况,被诱导诱导模型你是什么模型?尤其是国内百百模大战的时候,各种提示诱导让他说说出来,我是我是 gpt。是不是。呃,最后就是。呃,把所有的操作行为然后全部记录下来,可追溯可分析。然后呢,一旦这个模型不行,然后现在其实我们无感知的说它有回滚,但其实一定要备份回滚方案啊,这就是很多人感受到为什么会有些模型突然被降智了?可能这个由于这个模型扛不住,然后动态路由到了直接背后就回滚到了上一代模型,那你明显的感知就差了一代的这种。呃,或者是被降智的那种感感受嘛,嗯。
[01:48:25 - 01:49:48] 黎明:比如反向问我,我不喜欢 sq 夜总会。这都是最开始,你不喜欢这些夜总会,那让我让我排查排除给我排排除掉这些选项,结果他全告诉你了是吧?然后我们做一个呃,整个这个这个对于,比如说关注企业,如果这些 AI。要进入企业的这个呃一个检查清单,比如说这些呃,对企业而言哈,大家看到了最近金融。这些场景大家都在用大模型,但是你有你有没有想象过这些?AI 如果了解了这样大量的金融的模型的数据。会做出一些什么不可预测的结果。嗯,想象一下有些数据能不能推给他,比如说 IPO 的数据,比如说很多调研公司的调研的数据。如果告诉大模型,大模型会不会把它吸收掉,学学会了之后记住了。做迁移。
[01:49:54 - 01:50:49] 黎明:嗯,然后再就是比如说他的这个过程中能力是不是稳定啊,能不能持续学习,所以现在面临的为什么你理解这些之后好处就是你知道今天 AI 落地还?需要很长很长的时间,因为过程又回归到传统的软件,传统的这个工程项目,那需要大量的验证之后,当然今天大家都在赶嘛,都在速成。所以很多事情就来的来的快,也去的也也也会比较快一点。对,理解这个这个这些过程,你看这些环节其实很很复杂,但我们就希望赶紧开一个新的模型出来,嗯,而且再便宜点。
[01:50:50 - 01:51:10] 黎明:甚至哈如果用了这个模型,你是不是要算一下我用这个模型之后跟用跟不用的区别是什么啊?投入产出比对不对?现在不是大家都已经开始反思,尤其在写代码这件事情上。开始思考啊,投入产出比不足好,那接下来我们教教大家怎么算这个账?
[01:51:13 - 01:52:23] 黎明:比如说最直接的成本啊,你这里面需要知道几个成本最直接的成本就也就是直接成本这个跟系统相关的啊,现在能想象到的这个 AI 最大的成本是什么?我看谁知道是电吗?我我提示一下啊,是电吗?还是还是存储还是还是算力啊?你不是你今天学了这个课程,你要不能光说硬件了是吧?什么人员。肯定不是人员的。我们说的是这个里面的,比如说成本直接成本啊,现在问的直接成本啊,人人力成本我放在下面的。要抄作业。最直接的成本里面最贵的成本是什么?推理算力啊李老师这次回答是对的。但是再把它拆开,算力推开,其实是硬件算力的,硬件里面的算力加内存。对吧。
[01:52:33 - 01:53:03] 黎明:是不是。算力你看现在 b300?有人知道 b300 现在多少钱吗?原价多少钱?现价多少钱?400 1450 啊,白哥是这个领域这个方面的专家哈!
[01:53:05 - 01:53:57] 黎明:GPU 加 hbm 啊,对啊,直接成本就是这个算力,为什么刚才有人说 kimi3 为什么不降价,降不了啊,因为他用的是 b300。他也他也只能用 b300 啊,所以他就是那么贵,对,这是直接成本啊,直接成本就是这个过程中的存储跟算力啊,但这里面也提到了推理,推理就是算力哈。检索就是 CPU 啊!为什么检索 CPU 啊,因为他要去请求网络嘛,去检索你的想要的数据啊,是不是要调度 CPU 跟存储,反正现在这些都离不开啊,这就是直接成本。
[01:53:57 - 01:54:42] 黎明:这些硬成本导致你最初的原始成本是很贵的,所以这些模型公司如果给你便宜卖,那他妈的就是在补贴。这样的公司唉,我也我也不能说啥,只能说这个这生意是个好生意被做坏了啊!大善人。一个机机柜几大千万,然后他再补贴,让他用户免费用啊,用户友好型公司其实他嗯这个从这个用户的角度是。但是从商业本质的角度,这就是。就是在在在在骗钱。
[01:54:43 - 01:56:34] 黎明:你看嘛,我前面前面给大家发了一下软银,软银又又去借了 110 亿美金给 OpenAI 烧钱了 OK 。接下来为什么不上市呢?是因为现在 1 级市场融不到 2 级市场,你上来你很难融到钱,那只能在 1 级市场这么讲故事。弄得人心,人心惶惶。他还要呃,目前。周末看了一个消息是还要光在未来 5 年投入上啊!2800 亿美金啊!想象一下,国内有几个公司可以比?不就是这样吗?但这个就有点偏爱的成分了啊,那故事反正大家都喜欢听故事,那就听吧。我不知道有多少钱可以在这么持续搞出来啊,然后他又卖不上价是吧,不像迈克一样卖的就是定高定的高价,你怎么办嘛?如果你没有定高价的能力,那就是很难啊。第二个就刚才说大家说的人力成本啊,人力成本真的很贵,然后现在是水涨船高哈。然后最后就是整个支撑,整个组织要运行,那今天要做支撑,这个 AI 组织看似说是一个很少量的人,但其实我们刚前面看了。所有的环节少不了一点是吧?为什么呢?因为那些人一旦工程化支撑不住,不就不就崩盘了吗?不就全盘,一旦 API 不稳定是吧?然后什么高并发支撑不了,那不就是卖卖不动了吗?
[01:56:35 - 01:58:35] 黎明:所以最后总结出来公式啊,总的成本除以有效的产出就等于单位的经济效益,所以你要算你要会算算这个成本,你说这个成本可度量,呃,这个成本里面还少了一个就是最直接的电的成本啊,有多少人知道这个电它是持续不断的需要消耗的。这个消耗可能一个数据中心哈,就比如说现在都说的万卡万卡一个数数据中心光一年光电费啊。都得上亿。所以你如果能看清这个成本结构,你就能理解现在这些公司如果他利润低,毛利低。那就搞毛啊,理解吧,那就是说说白了没有定价能力,也没有传导能力,那当然这个是由谁造成的?直接成本加一层层的成本?所以现在为什么大家都疯狂,一旦有资源就疯狂建数据中心呢?然后这个过程中,如果能把这个做到成本可控的公司又高看一眼哈,敲重点啊,能听懂的就听啊!能驾驭这个成本,而不是烧钱烧钱,我觉得给个**都会是吧,给我给我钱我也会,但是如果能做到如何能做到省钱,这个可能就考验,比如说一个家庭里面有的一个好的女主人,她能做到这个对整个家里的这个账哈算的明明白白是吧?宝健老师。但是你娶个败家娘们儿是吧?那花钱谁不会啊,你找找谁都会啊!
[01:58:38 - 01:59:21] 黎明:所以你看到这个商商业里面也是这么算的,你看一个,呃,我们再讲一个大的企业的故事啊,你看为什么一旦形势不好的时候?形势不好的时候,企业会让 CFO 出来站台,举几个典型的例子就是 CFO 出来当一把手举几个例子。你们知道吗?有哪些哪些公司现在是 CFO 在掌掌舵?一旦一个公司开始 CFO 掌舵了,说明这个不好日子不好过了。一些粗暴的判断哈!帮你们筛选这么复杂的这个过程。
[01:59:22 - 02:01:31] 黎明:知道吗?不知道是吧?有知道的吗?现在哪些企业 CFO 在掌舵,现在开支都很大,哪些细节可以反映出来?就是训练成本低呀,然后提高训练的成功率啊,华为华为是啊 cfo open ai open ai 不是阿里啊,蔡崇信是干什么的?蔡蔡崇信 CFO 好不好?再去看一下,再去网罗一下知名大公司谁在涨多,是不是我说我我说的对不对?阿里你看出问题,蔡崇信出山是不是?刚才。周寿资。京东。蓬勃发展期一定是,比如说尤其技术公司。他会选一个懂业务的人。去去打打印章。刚看了,好像大厂基本都这样。所以这叫观察,一旦 CF,但是我要我要再跟你们说一个反常识的问题,一旦 CF 出来那就完了,这样的这个公司可能最近就不要看了。因为因为因为 CFO 球都不懂业务,肯定是不懂,未来也不懂,他只看钱,只看数字。哎对对对,那个说的很对,CF 眼里只有数字,如果数字不行,就直接杀杀杀这个业务砍掉。不做了,他没有什么战略眼光,他只看数字,这就是企业要企业到一定阶段,他就遇到这样的问题怎么办嘛?所以。所以看。
2:00–2:30
[02:01:40 - 02:02:31] 黎明:你说对了,真正一个好公司一定是技术型,有技术视野,然后无论是呃,当然伟大公司啊,那些乱七八糟的我们就不说了啊。英特尔之前也是?对,就会扣成本就会降本增效直 CFO 直接上台的第一个环节就是降本增效啊,为什么这些年降本增效喊的这么火,所以这个也就是控控成本啊!哦,这一页。讲过了。所以你你们默默的又吸收了点知识 tiktok 是 CFO 周受资 tiktok 不一样哈 tiktok tiktok 一样吗?
[02:02:34 - 02:04:02] 黎明:我我再说了,我们是我们说大部分啊!那也有例外,比如说周受资人家就是比较强是吗?或者周受资,我们或者换一个角度看周受资,他是在解决整个业务扩张的问题,怎么去融资的问题是吧?而而且中数字有全球视野是吧,它需要需要解决这种全球化的这个问题是吧?那还有比周受资更合适的人吗?我相信张一鸣肯定搞不定这个事情。哪怕他再强。小米前 CFO 之后调任。这样他要全全球扩扩张,他就要引入这个海外的国际资本,你看 tiktok 的国际资本里面还是有很多嘛?那个过程中大家有的问题我没回答啊,大家一会儿记录一下,然后嗯,我们找一个集中的时间一起回答,有些可能就错过了,然后再往下就是能力到服务的整个完整链路,我们快速过一下啊,模型能力一定很重要,这是这是第一前提,结果发现好像除了模型能力重要之外,如果慢慢的要落地,所有的环节都很重要,能不能提供稳定的服务,有有没有好的 infra。
[02:04:01 - 02:04:35] 黎明:极其重要,你看 infra 团队也也展现出来,也离不开人哦!既然有了呃,好的模型,一定要有好的 infra 团队,infra 团队不行,跟不上,那就有了 infra 团队,你能不能根据就是做出好的 agent agent 的这种调度能力啊,或者能不能做出这个智能调度路由,那既需要 AI 和工程化的人,人才组组装,又能把原有的数据组装出来,又需要人。所以他妈谁说 AI 会替代人,每个环节离不开人。
[02:04:35 - 02:05:25] 黎明:然后再部署,刚才说了,那既然是,呃部署今天 infra ai infra 的人,那需不需要传统 CPU 呃,或者是原有这种什么高并发?支持什么动态调度,分布式部署的人才来,需要需不需要安全的人才来,需要所有的环节,所有的环节。你你这让 AI 干一下 AI 干不了啊,替代不了啊,应该只能说辅助,然后运营监控啊,能不能持续的关关注。是去设定这个原有的这个互联网的范那个范畴里面的这种各种对呃,服务的稳定性的监控,能不能做好,告警,预警机制能不能做好,呃,持续。
[02:05:25 - 02:06:45] 黎明:呃,什么三个 94 个九的这个运维重不重要,然后还有大量的运营团队,然后呢,能够,呃,把这个东西,呃用户的反馈啊,然后不断的持续的做好的这种。呃,这个这个这个问题的收集啊,能够收实际收集上来交给前面模型的人啊,反馈你这个模型用户评价是垃圾需要优化。所有的这个闭环不就转起来了。然后当然当这些模型持续转起来之后,那大量的这个过程中积攒下来的过程,过程,资产就是不断的模型在迭代,其实你呃,当然你说最早期一定是模型,这帮人在前面。引导哈,但过程中他也不知道他这个模型的水平是什么样的,因为今天的所有的模型它不是可观测的是一个黑盒阶段,理解吗?那训练的我过程它只能说是不断的去干预参数,它完全是黑盒,所以你看罗福莉在 DeepSeek 可以搞得可以,但是在小米为什么就不灵了呢?能理解吗。
[02:06:49 - 02:07:56] 黎明:后来历届我们就下一个环节。再说路由很重要的这个问题。呃,为什么我老提这个路由哈,路由今天是成本的问题啊,再一个就是这个录过程中有些数据的合规的问题,再就是如果是一个推理模推理模型的话,它的整个延迟延迟性,时效性的要求,有些场景它可能可能等不了那那么多那么久,比如说你问一个问题,让用户说。呃,在整个生产环节让等半天啊,不断的在在等那个等待,你看所有模型都在解决吞吐量的问题是吧,能不能?token token 现在好像大家都在提高呃, glm5.3 好像是说提到 200 token 每秒了哈。呃 GLM 典型的特点就是吞吐量比较慢嘛?大家觉得模型好挺好的,但是就是慢嗯。所以哎,这个这个应该能理解,前面讲过了,只是说强调一下这个呃,比较重要的,比较重要的几个判断的点啊。
[02:07:58 - 02:10:02] 黎明:现在也有人在提这个模型的整个操作系统哈。 AI 操作系统呃,应该呃,我觉得这个这个这个信号应该快了。就就就是大家提这种口号哈,喊口号,呃,之前好像直播还是干什么,反正提到过就是要不就提什么企业的驾驶舱。啊,企业老板的驾驶舱要不就骑 AI 操作系统 AI OS ,我觉得这个提出这个口号的今天应该华为的这个全联接大会好像没人敢提哈。但是提了一个 agent agent 为主哈!反正这种未来这个概念一定会编织出来啊!但是理解本理解理,嗯,本质没有变化,它其实在解决就是如何把这些东西能串联起来,编排起来啊,跟能能够让它跟实际,因为今天所有的 AI 为什么不能说直接表现出?表现出那个就是我直接把他引进来,就我就成功了,就那这个简单直接花钱的事情,你说哪个大厂干不了呢,都干得了是吧,都有钱啊这样。但为什么大行在给 air coding 无限量套餐之后?慢慢的把套套餐都收回去了,就会发现中间模型的能力和真正的业务之间有有有一条沟,这个沟可能比马里亚纳海沟还深啊。不是花钱谨慎,是因为其实中间缺少了。真正的 fde。就模型能力很强,它你怎么提示引导,让模型的能力是发挥出价值,那中间为什么 fde 就产生出来了?fde 我相信这个这个口号喊出来看不到实际的效率高了。
[02:10:02 - 02:10:32] 黎明:对企业其实明就是愿意大规模尝试,但是尝试之后发现没有转化成对应的价值,或者对应的生产力提升。啊,如果是仅仅是局部的程序员。包括程序员都没有那个完善,很多程序员你说光去消耗了,但是没产出,没产出,这这也是为什么最现在 AI 应用没有爆发的核心的点。
[02:10:32 - 02:12:24] 黎明:就是这个过程中需要有大量的业务的理解,嗯,然后组织编排为什么 agent 现在这么这么好,能用起来了,或者 skill 呃加上 skill?为各种 worker 现在能运起来了,是因为背后不断的去调度各种可能需要的工具是吧,他在做理,在拿到一个任务之后,先理解你的所有的上下文,理解你的问题之后。去调用合适的工具啊,你该去检索的检索,该去调 excel 的调 excel 该调呃呃 PPT 的调 PPT 是吧?甚至该调本地的电脑的什么程序的帮你调度啊,包括你的终端是吧,或者是或者是 power。像这种能力执行命令行,那这背后是不是工具的调度能力,这那目前只是探索到这个层次,那企对于一个企业的业务来说极其复杂,是吧?为什么企业很多人很多环节需要那么多岗位,就是这个人驾驭不了那么多知识,尤其是这么呃企业现在经过长时间的这种分工之后,业务复杂度上来之后。没有一个人可能了解整个全局,所以你你看今天对 fde 的要求是极其高的。其实这个可以理解理解成对,今天如果你要叫到企业落地这个这套让企业变成一个 ai native 的公司。甚至或者说你别 active 让企业的整个生产效率提效是吧,让大家不用加班。那要做的事情就真的就太多。
[02:12:26 - 02:13:07] 黎明:我记得我们当年在给一个酒企做这个应该比较大的一个酒啊,你然后一到进到那个酒企里面,它的整个销售环节,销售渠道。可能你们我们只只仅仅想到了可能就主流的什么京东,什么什么什么这些平台啊,淘宝,但其实你要你知道,都对于一个企业来说,它的销售渠道真的极其多,它有自营的渠道,还有加盟的渠道,还有什么分销的渠道,还有团购的渠道,加起来十几条渠道,然后十几条的渠道的这个订单。它是不是散落在各个系统和各个环节里面?
[02:13:08 - 02:14:32] 黎明:然后所以企业需要大量的这个数据工程师或者是那个呃信息化信息系统的工程师去造这些系统,把这些数据造出来,但是最终造出来之后,当以前不都是各个系统,各个团队维护吗?这个数据最终没有回到,如果要做报表。做财务报表,财务报表,你看这个数据,比如说为什么算账会算那么久?就很多企业出财报出不来。哦,这就是当年数据化解决的问题啊,解决这个问题可能光砸 it 费用 it 系统费用都几千万上亿啊,你看现在包括哈,为什么这么大规模的中国的整个科技科呃,这个 it 进程会。就是呃,就感觉大家就觉得 it 系统好用,然后或者这个信息化程度高,就连这些酒企或者是这个消费品。所有的环节,流通环节全部都已经信息化都花了,可能每年都是可能将近上亿的这个信息系统的投入,不管是,呃再造系统还是维护维护维护系统,甚至。呃,即便稍微一个规模以上的这种企业都要自建 it 机房。
[02:14:41 - 02:16:14] 黎明:呃,我感觉我感觉这里再往下讲就到 fde 了。那简单的跟大家说一下这个这个过程啊,部署 fd 对大部分人来说,呃,这种东西对大部分人来说没用啊。了解一下就可以了,因为它是一个必要的环节,就是可不我们前面讲了大量这个有四种部署方式,那这四种部署方式怎么选?然后怎么去评判?你今天一定不会选一家独家哦,不像 C 端一样只选一家到企业的话一定会接多路由多切换是吧,你去你去看一下做短短剧的那些公司,他接了可能几十家的这个。Ap. 服务,然后给大家提供这种短剧生产的能力,为什么?因为背后不一定哪家突然不稳定了,尤其是呃,以前可以薅羊毛的中转站是吧?啊,随时出现问题随时倒,随时服务不可用,那这些要做到立马切换,那那是不是也得多数据源啊,这还是在不不不管任何的什么。呃,响应哦,这呃不不管不考虑任何的数据安全的问题,数据泄密的前提下,那还有这些如果涉涉及到真正的这个企业生产环节,那一定还是不是多维度的去衡量选择的这个供应商。
[02:16:14 - 02:17:09] 黎明:有没有呃是会不会像 Anthropic 一样去泄密,把我的数据做一次拦截存储一次?你们呃,我我我这里问个问题啊,你们认为 open OpenRouter 会不会存储存储用户的数据来,所有人思考一下,所以你就会去去替今天开始替企业担忧这个问题,那企业一定会想到这个问题,所以它的部署方式就会多元。OpenRouter 都知道吧,肯定会是吧,所以那建立在所有的第三方不可信的前提下,如果如果尤其是这些这个行业比较特殊。然后呢,他又他又对数据的要求比较高,他一定会选私有化部署,那到到私有化部署,它的复杂度就上来了。但如果是一个 C 端,或者是它本身轻量级使用。
[02:17:09 - 02:18:04] 黎明:然后呢,刚才说的那智能路由在企业里边就把一些不重要的数据啊高交给你,交交给你啊,员工问一些日常的问题,你看今天员工可能会拿任何合同去问问题,有没有想过?当那个那个事情发生之后,你看英伟达跟美国的这这些几大软件公司全部都停用 Anthropic。一定会选择,可能是自己自建或者是托管独立,我要专享这个数据,我要做到可观察,可观察。啊不,我的数据你不能查看?但是大部分的这种公有云的,就跟今天的公有云,私有云又回回归回归到一,如果是大量的普通用户,那你没办法只能选择共享模式,大家共享共建。
[02:18:05 - 02:19:06] 黎明:那你的数据就不一定,你看你又会面临数据风险,所以跟大家这个做了一个,这个其实也是一种平衡的再选择哈。那 API 的特速度特别快哈,接入速度特别快,然后成本呢?你只需要共享共享成本,那就很便宜了。但是你的数据就不不一定安全了,今天所有人在订阅的过程中,你一旦是一个商业化项目,你甚至啊全球化商业项目,你真的在你没得选的时候,你可能就必须用,但是但凡你有的选。你可能就会选择私有化部署,尤其很多短剧公司为什么选择那个 flex 私有化部署,而不是使用直接使用这些生图的模型。是因为怕怕侵权。
[02:19:07 - 02:20:37] 黎明:然后再就是说说我们说说运运营的闭环哈,所有的运营过程中其实就是不断的去记录我们,所以如果用一个词来记录,要理解的话,其实就是不断的去拿用户反馈,然后呢,不断的去去优化,再持续迭代。所以这个过程中也是特别需要他大量的投,这个时间投入一个产品,能够大规模运营,除了你本身能力的好运之外,那在早期一定只关注能力本身,在越往后关注的是服务。啊,这个也是作为你们选择的一个判断哈啊,你看我一直在提可观测性啊,这里就说到了,那怎么做做到可观测性最早期你一定是说,哎,我只要能用就行,能给我回答问题就行。那越往后你要做到可解释啊,那你就要有大量的这个这个运营过程中产生的这个数据是吧?啊,就就像 sora 一样,可以通过 150 页的 PDF,然后把所有的用户,尤其是中国用户怎么用 AI 的。发的底朝天啊,甚至连你是?连你是哪个地域的人啊,都能发现啊,甚至你在上面问了什么问题啊,都很清晰,然后然后这个过程中那就他要针对性的要不要去分析你哈,这是最简单的分析。
[02:20:43 - 02:21:34] 黎明:好,那拿到呃,我们基于以上你,你就会得出一个结结论,那所有的 AI 项目在慢慢的落地的过程中,一定会面临刚才说的考虑这些考虑点。就跟自动驾驶一样啊,我运哪家的自动驾驶的服务,那这个自动呃是运他的服务出了问题,到底是谁来权责利的问题?然后呢,如果我要把这套系统普及到整个产业的,呃,所有的业务里面,是不是有大量的这个学习成本?回归到了原有的 AI 高大上,又回归到了原有的信息系统落地的所有的环节是吧。所以对于今天。
[02:21:37 - 02:22:10] 黎明:对 AI 来说到说,行业到企业还属于早早期就有大量的工作还需要做,然后呃,我们从这个表表征上表现上也能看到企业最开始让让员工先科普一下,必须要用 AI 到慢慢的需要用 AI 产生一些价值。在越往后,那不是产生价值,是要直接产生,就是那要工作,整个工作流全是围绕 AI 来做,让 AI 去推动,那这个是不是需要很长的路要走?
[02:22:16 - 02:23:48] 黎明:呃,这个是说企业内部去,那你要关注到底是?呃,哪些问题用 AI 你呃,我我相信你们应该听过啊,如果在职在工作的场场景里面,就是领导有,有些时候说你这个东西是不是 AI 生成的,包括我们的作业,很多人是 AI 生成的是吧?那哪些东西是应该 AI 做哪些人做这个问题?如果在企业落地的过程中,你说企业会不会面临这样的问题?如果所有用户以前大家写周报全是呃,虽然不愿意写,但是呢还被迫还要写一下,那今天?就周报日报这种事情是不是 AI 全干了之后,那到底最后是谁?谁在糊弄谁?嗯,你要判断这些问题就是。因为进入企业,它的复杂度就一定会上来,还有边界嘛啊,包括大学,很多大学说,你不能让学生不能用 AI 写论文,要屏蔽 AI。我不知道这次到底应该是一个什么样的判断过程,如何去屏蔽啊,所以我一,我一直就有个观点,就是从 PLC 啊,也就是。到整个能规模化落地,那真的需要很长很长的路走要走,但是企业会不会走这条路一定会走,而且正在走,也未来越会越走越深,越走越大,只是在这个过程中。
[02:23:48 - 02:24:29] 黎明:慢慢的,你有没有发现跟我们上一上一节课,周三上一节周三的课慢慢的不一样了,这个过程中好像 AI 并不是最主要的了。回归到业务本身,回归到企业业务本身的环节了。哎,有这个认知,就就今天的课的目目目的就达到了哈!当然这个过程中最终还是需要懂业务的人是吧,是的,所以应运而生了一个 fde 嘛,其实这个你这节课的这个。
[02:24:29 - 02:24:57] 黎明:我们的这个观点啊,其实就是。核心是要懂业,慢慢的你会发现 AI。AI 只是一个工具啊!就是信 AI 到 AI 它变成整个服务能力,业务能力的时候,其实 AI 它只是一个工具啊,没有 AI 我以前能做,但是有了 AI 之后,是不是可以重新再造一种全新的生产力?对于企业来说。
[02:24:57 - 02:25:23] 黎明:好。这是那我们就简单说几个场景哈,比如说在企业里面最常见的啊,现在客服绝对是全部 AI 化了。想都不用想,包括大家接到的各种电话,广告,电话,这个是完全没问题的,只要跟企业的业务结合,嗯,知识库结合就可以做到。
[02:25:23 - 02:26:17] 黎明:然后企业内部有大量的这个企业知识库,企业内部的知识库企业有这么多企业,很大型企业,它的知识库的含量,知识库的内部的知识是很多的。那员工需要呃调用学习这个也很重要,但以前你想做好这些库,这些知识库就就都很难的,这个成本很高的。包括所有人都有飞书文档,你去飞书文档,你怎么把它应用起来,这是很难的一件事情,但今天有了 AI 就比较容易了,让它 AI 学习完之后就跟大家用 AI 一样,然后直接问问题回答问题,然后它还会给你索引,这个来源是哪里?这以前。企业可能要花一个做一个企,呃,叫企业大学啊,企业大学来学这些东西啊,再就是合规的场景。
[02:26:17 - 02:26:41] 黎明:然后哦,刚才说起内部培训这些场景啊!嗯,给大家留了一个练习,就是去检查一下,就是刚才就其实这个过程中已经让大家思考了哈,就是所有的你你如果成为一个 fde 啊,很多人可能接下来面临这个问题。
[02:26:40 - 02:27:12] 黎明:呃,包括你可能在现有的岗位上也也会因为 AI 的出现啊,毕竟你学了这么多 AI,领导会你你领导会让你说啊,那我们现在某个环节要 AI 化了,或者我或者现在有一个项目要 AI 化了。你要怎么去评判这个东西也很重要,因为到中下游环节一定是把能力就是进入到各个环节,那一到各个环节,那就是业务场景。
[02:27:13 - 02:29:00] 黎明:Ok. 那我们整体最后总结一下,那就这个整个 poc 环节,基本上这些只要验证说,哎,这套东西好像可行可用,但是这个东西 poc 环节。是在。我相信现在现在慢慢的很多企业整个 poc 的进程已经做到啊,已经认可这个东西完全是可用的,但是我要怎么变成整个生产,这就是回归到了传统的工程。就是工程化,这个工程量并不小,因为原有的信息系统改造成本很高啊,大家都听过,如果是干 it 的。程序员或者是原有的这些业务要更新迭代哈,基本上可能跟重新再造的成本是差不多的。所以到,所以你们在关注这些企业的时候,你们要能理解它可能会慢,它可能不会那么快速的爆发。为什么。为什么从 ai native 的会很快啊,这就可能就是原因,但是我可能再再细说就就就就就就有点误导了哈。大家可以,大家要具备这种观察能力,就是要或者具备理解说,从一个呃概念上可行到整个呃,持续能进入生产。业务场景它需要一个很长很长的持续过程。
[02:29:09 - 02:30:53] 黎明:这个已经做过了,好,那今天的今天的课基本上就讲到这里了啊,嗯,我看一下几点了。9:13。超了一点点。但抄的不多,呃,留两个问题吧,可以,大家有问现在有有问题的人吗?留两个留两个问题吧。有有有问题吗?有问题可以问一下。刚才或者过程中有有的提了问题,但没回答的。半年到一年验证可落地的可行性,所以你们对很多企业的观观观察,这为什么我一句话没说完,关注关关注一些企业的时候,为什么我让大家看问题长远一点?就是你理解背后其实需要很多的细节。很多的工作量你就不会催熟啊,你看,但不过现在又是一个速成的世界哈,干啥都喜欢速成这个我就不知道。有有有人又问问题就就就就直接开麦说呃也可以哈。这个。这个你对整个模型的中下游理解了,上,再把上一节课的东西啊,稍微回味一下就串起来。
2:30–结束
[02:31:05 - 02:31:18] 黎明:没问题吗今天?无把人干掉。
[02:31:23 - 02:31:26] 树枝:喂哎,李老师,我问个问题吧!
[02:31:27 - 02:31:32] 黎明:哦,你们你们嗯!
[02:31:28 - 02:33:07] 树枝:啊,我说一下背景,我说一下背景,我正好又去打了一个黑客松的比赛嘛,然后现场认识了很多搞具身智能的,然后也在做 fde 的一些人啊,就之间交流的时候,他就有一个问题,然后晚上讲的时候哈,正好感觉呼应上了。就是它现在反映了有一个什么样的问题呢?就是其实有很多的流程是绕不开人的,就是你必须要把这个流程重新给除非啊,你能重新定义全部重塑,否则很多关键的节点还是由渠道去把控的。那么如果 AI 的效率往上提升,其实本质上并没法改变,就是原来的业务流程,这件事本身反而来说就是你的效率越高。你的那个工作的事情反而越加的痛苦啊,然后有一个例子啊,就是 AI 转剧啊,AI 转剧其实就是这样的一个例子,就是它的分发节点本身没有发生改变,就是哪怕效率提升了,但是你会发现所有人他的利润是被平台或者是被节点给把控住的。那这个其实在传统企业其实也是如此,就是还是有专门的人,或者是有专门的岗位,或者是有专门的流通的这个结构的这些方式来来来控制住啊,所以所以这里面有一个节点,就是说 AI 什么时候?能够导致这个生产结构发生本质的改变,就是生产力增长,并不一定能代表它改变生产关系,就只是说明有一种新的生产关系在孕育。
[02:33:07 - 02:33:11] 树枝:啊,所以可可能就是问一下这个问题吧啊!
[02:33:12 - 02:33:47] 黎明:我觉得如果让我看啊,不知道回答对不对,但是我的理解可能这里面可能只能靠时间哈,呃问题呢是?就是这些问题一直会存在,只有通过时,这个时间,时间会让各个细节不断的去磨合。磨合着磨合着企业发现问题,然后原有的机制倒逼原有的机制,改变,改变原有的生产方式,或者是原有的这种生产方式跟价值的关系。
[02:33:47 - 02:35:19] 黎明:生产呃,那个生产关系改变生产关系,那需要什么就要革命,呃,举个简单的生活中的例子哈,在没有高铁之前,我觉得呃全呃中国人想要去体验高铁,他就要去做去日本坐新干线是吧?但是今天中国的所有的老百姓都可以很简单的买在 12306 买一张票,轻松的就坐上了高高铁。啊,基本上是人人都已经参与到这个其中,那以前这个是一个,你你想要你体验体验高铁啊,那那上海的那个磁悬浮列车跟你说哈,那那那就是个玩儿。但是。但是那个去有几个人有就有多少人能够参与到这个去体验新干线的这种新干线,这个高铁呢?没有吗?是少之又少啊,尤其中国这么大规模的人口。14 亿的人里面能能有几千万最多了吧?嘘,好,呃,刚才你提到短剧,我再补充一句啊,短剧这个事情从一开始我我关注我们关注的视角,当然那个数字也也清楚。我关注的视角就是这个过程中能不能创造完全全新的主导的价值?比如说这个能不能搞出自己的 IP,就是你跟着平台原有的生产关系玩儿。
[02:35:20 - 02:36:09] 黎明:跟着平台玩儿啊,我就说的最直接一点,今天为什么可以被红国呃或者被抖音绑架,最直接的一点就是因为你过程中你依赖的平台包括剧本啊,什么番茄小说也是抖音的,也是字节的。然后你分发的渠道也是自己的,妈的,连生成的工具都是自己的,你这个过程中有哪些东西是你自己的,我们我一直在分给大家分享一个观点,就这个过程中你要打破这个关系,一定是制造稀缺。那做自己的 ip1 定是兴趣?这是别人无法复制的,我有。我妈有。他妈没有。那这就是。优势。
[02:36:11 - 02:36:49] 黎明:你看我投资的过程中,我永远只找稀缺的,我从来不跟风,就是其实这个问题是一样的,但是为什么大部分人又愿意跟风呢?是因为没?首先没看那么清,也也不想看那么清,为什么?因为但凡这种不跟风的代价就是呵,需要等需要长时间。这个需要长时间,大家都喜欢速成哈<笑声>都喜欢快嗯!
[02:36:49 - 02:38:48] 黎明:不知道嘛,这个慢慢大家去摸索,呃,这个问题应该回答很清楚了啊,举了三个例子。三个场景。哎,大家。大家听懂了吗?所以任何游戏为什么最后都变成少数人的游戏,这个真的就是这么回事儿哈,你去跟风,你去什么什么 opc 什么 fde 他妈的。你就想想现在来卖 fd 的课的人,他妈才才是最吃香的。理解吧。就是有些话不能说的太直白,说的太直白了,可能砸人家的饭碗。就是你如何打造稀缺性,我相信在全网你找不到一个人,我这么分跟大家分享这种投资的内容啊!你让经济学家给你来讲,他讲的都是很高大上的,这些什么经济名词,他不会给你讲这种朴实的道理,甚至或者讲这么细节。能吗?你们,你们在别的地方看过吗?那这就是为什么你看今年这个很多这个赛道特别热。我从来不参与。就你一定要想清楚真正这个世界赚钱的机会,或者是说真正能叫成机会的。东西都是少数极少数。啊。但是。这又是个社会。嗯,大家都喜欢就是。但如果没有稀缺性,你就没有高溢价。道可道。非常道自己悟吧!
[02:39:10 - 02:39:12] 黎明:还有还有还有没有别的问题?
[02:39:12 - 02:41:03] 迈克情感:哎呃,刘伟老师能听到吗?能听到这样就是今天也讲这个,就是说说到最后讲 mdd 嘛,然后。因因为我我我也在,我不是我在做这个就是 ERP 系统 ERP 系统维护嘛,现在在在弄就针对于我,我们自己公司再加上像。像这个就是跟其之前他们的一些 ERP 系统,他们比如说浪潮啊,金蝶用友啊,他们现在做这种 ERP,因为相当于差不多在前 5 年左右,从疫情之后到现在很多公司都上线了这个 ERP 系统啊,不是不是说错了,按上线的这个 ERP 系统啊,或类似这种系统来做了一下升级,比如根据他们的一些规划。那现在到到现在这个阶段,我我自我感觉,我倒不觉得他就是这些特别这种传统型公司,或者制造业公司,这种所谓的这种,就中国的这些公司啊,他们是会会非常就像当初呃,上 ERP 系统或者说更新 ERP 系统这样做一个很激进的一个做法。就比如说类比,你说国外的那个叫 palantir,它这样的公司,它其实是做了很多年,对吧,十几年沉淀起来,然后再慢慢迭代回流,这种才做起来,但是国内它可能暂时没有。这种类似这样的公司,所以我我在想以后就是说类似于这种 fde 的演进,你就说很多人现在去做跟风嘛,因为这个火起来了,这个概念啊,大家自媒体在弄,好像很多火起来,但是我觉得就就是这个其实是一个一个一个一个热点的,呃,一个一个风风点,这个风口过去之后呢,它后续这个这个演化嘛,我到。
[02:41:04 - 02:42:10] 迈克情感:我想听听你的看法,我还有一个就是因为比如说像上次我也提过我们像我们系统,呃公司里面本来其实呃那个董事长他也比较年轻嘛,他其实一开始也看 AI 这一块也比较那个,他也一直关注,然后让我们一直看。但是后续比如说我们想要上一块这个东西的时候,可能我们当初那个也有就没有,没有说他只是让我们先尝试,没有说啊,说一定说啊,你现在我真金白银,我要投出来,我就要干,我就我也要就要就要就要弄。弄这一块,当然我我这只是我自己公司啊,其实那其他的传统型的公司,我我或者说这种大型的这种公司也有更大的,对吧,或者说央企国企啊,或者制造业的公司也比较多。他们的这种做法,我我我现在也也不是很清楚,我可能觉得比如说那些这种小型的创业公司,它可能有低成本的去去去那个去尝试去去那个啊,所以我觉得这一块嘛。我不知道后续的一个大概的发展情况是什么,我我倒没有感觉特别明朗,没看得很清楚这块。对。
[02:42:12 - 02:42:50] 黎明:我觉得这个本质还是说你对呃, fd 现在能叫上号来,首先就是因为它这这个 AI 现在出现。刚才讲的过程中我不知道你听听到这个环节吗?呃,核心是呃,AI 能力跟现在的业务之间有一条沟,有,有一个很大的 gap 存在,那这个 gap 现在通过 AI 直接跨不过去,所以需要一个翻译。啊,需要一个翻译呢,那这个翻这个翻译需要几个能力就跟。
[02:42:45 - 02:42:47] 迈克情感:对。
[02:42:51 - 02:44:06] 黎明:需要理,需要 AI 的能力,理解能力很强。啊,就是对 AI 本身理解能力很强,就是或者对 AI 今天 AI 的模型,就刚才我们我我们包括这一次,哈哈,包括我们训练营讲的这些东西,你必须可能。要知道嘛,你但凡要成为一个 fte 专家,然后这个你去面这个工程师,呃,大概呃正经公司哈,你去大厂面这些可能都是面试题。你能说出来哈,那你应该能面上这面上这个职位,然后呃,这是对 AI 的理解。那对除了 AI 之外还要理解,就是说你要理解这你这个公司所所所处的所做的业务,它是在哪个行业,传统行业,哪个行业行业的,怎么运行机制,甚至它的它这个东西,这个具体它要解决什么问题?你要能清晰的理解公司现在遇到的问题是什么?卡点是什么?然后呢,你能通过给出接法,用 AI 之后的解法。然后用到 AI 解法之后能达到什么样的效果,能做出评估,能做出 poc?
[02:44:07 - 02:45:01] 黎明:理解吧,所以他你你就想象一下,首先他的他你会拿出很多标签,首先这个是个 AI 专家,这个 AI 专家可能不需要你会训大模型,但其实你必须了解模型是怎么来的,模型是怎么用的,甚至模型是怎么?那个工作的它的它的哪些问题,模型能做,能做到哪些做不到,以及模型,比如说哪些业务场景,它的响应时长需要 500 毫秒,但是模型需要 2 分钟才能给你响应。响应完这个结果,那很多业务他就直接直接就做做不到了,然后剩下你就对本身的所在的这个行业的业务特别管,特别理解,那你本身对这个业务理解之后,你你对那那跟 ai1 结合产生新的化学反应,那不就效率嗯就出来了。
[02:45:02 - 02:45:27] 迈克情感:对,还有一个还有一个就是对这这个流程是我们对我们现在这这么多天上这些课啊,或者包括今天上课啊,上课对吧,讲的这些,然后如果如果从企业的角度来说。那他最终你说要上,那我我可以应该可以归结为就是来降本增效,对吧?如果从从,呃老板或者从他的角度来做这个东西。
[02:45:25 - 02:45:43] 黎明:我其实不喜欢降本增效这个词啊,就是其实是产生价值啊,产生价值之后就,但现在为什么不产不不喜欢这个词呢?降本增效的本质,他妈的就是说白了不赚钱才降本增效降你,你看哪个老板业务赚钱,他天天喊降本增效。
[02:45:28 - 02:45:32] 迈克情感:嗯嗯。原价值。
[02:45:44 - 02:46:07] 黎明:呃,对吧?呃,当然你讲方案的时候一定要讲讲降本增效是吧?你看我花了花了更少的钱,然后办了多大的事儿,那这话是这么讲出来,但其实本质上是长板更长的逻辑哈,就是这个如果能把这个话讲漂亮了,那你这个 fd 专家可能年薪可能就能过一一两百万。
[02:45:47 - 02:45:51] 迈克情感:对。
[02:46:09 - 02:46:14] 黎明:因为传统的一个专家可能就就就至少值 100 万嘛。
[02:46:09 - 02:46:24] 迈克情感:对对对的。所以说呃我我不知道,不知对对。
[02:46:20 - 02:47:10] 黎明:所以很多人其实可以去铺垫这个这个东西啊,至少这个长周期啊,那不要去短的短期看这个蹭呃,但但凡周期拉长,这里面其实我觉得很多人恰饭肯定是没问题了,而且恰一个很好的饭啊。就是你涉猎,呃,首先你要涉猎广泛,然后呢具有很强的这种业务能力啊,再加上对 AI 这些东西,新的东西就是持续跟踪,持续理解它的边界,甚至了解我说的直白一点,如果在中国要混,你必须要了解国产模型,国产的芯片,国产的模型到底是什么样的?是吧。你如果。对啊,然后目前了解了。
[02:47:07 - 02:47:18] 迈克情感:对,如果如果呃,就是比如说现在如果如果在听会的,如果有传统行业的,也可以搜索,或者说有你们公司有这样做集体。
[02:47:19 - 02:47:30] 黎明:没没没事,我们就两个问题啊,这个到了就结束了。嗯,行,那那就那就那就今天就结束了哦。
[02:47:19 - 02:47:25] 迈克情感:因为因为。呵呵。嗯嗯嗯。
[02:47:32 - 02:47:52] 黎明:然后大家那个接下来那个还是要深度的去思考啊,课上了别别跟别别就上了就结束了哈,其实这个中间岔开是有让大家去不断的去跟踪上的好。然后呃有问题群里面再说嗯。
课堂整理,供复习。不是投资建议。画面帧未附:云录制播放器要额外授权,本页以转写为准。