深夜食堂2
US jobless claims remain at historically low 209K, sign of labor market strength_我的网站
A | 出品 | 虎嗅科技组 作者 | 梁卡尔 编辑 | 苗正卿 头图 | 虎嗅拍摄 这是虎嗅WAIC“追踪Token商业新范式”系列文章第【20】期。
B | WASHINGTON -- The number of Americans applying for unemployment benefits was unchanged last week, remaining at historically low levels in another sign that the U.S. job market remains strong in the face of higher interest rates.Unemployment claims stayed at 209,000 for the week ending Oct. 7, the Labor Department reported Thursday. The four-week moving average of claims, which strips out week-to-week volatility, fell by 3,000 to 206,250.The numbers, a proxy for layoffs, continue to show that American workers enjoy extraordinary job security. When the Federal Reserve began raising its benchmark interest rate last year to rein in surging consumer prices, many economists expected the United States to sink into recession.But the economy and the job market have remained sturdy even as higher rates have brought inflation down steadily from the four-decade highs reached in 2022. The combination of easing inflationary pressures and healthy hiring is raising hopes that the Fed can stick a so-called soft landing — beating inflation without triggering an economic downturn.“Overall, layoffs remain low and demand for workers remains strong,'' said Rubeela Farooqi, chief U.S. economist at High Frequency Economics. ”Even as the Fed has taken aggressive action to soften labor market conditions, businesses are not shedding workers at a rapid pace.''Overall, 1.7 million people were collecting unemployment checks the week that ended Sept. 30, up by 30,000 from the week before.。 聚光灯下，国产AI芯片的竞争正在变“重”。
C | 漫步在今年世界人工智能大会（以下简称“WAIC”）的芯片算力展区，会发现往年厂商们引以为傲、精心陈列在橱窗里的单片硅晶圆变少了，取而代之的是看上去“重达数百公斤、塞满核心器件的巨型算力柜”。
D | 其中拿出硬核实力的是华为，这家公司首次在线下展出的昇腾Atlas 950超节点真机，一个旨在将1024张芯片死死绑定在一起的系统级庞然大物。 按华为的官方资料，该产品基于灵衢互联协议和超节点架构，支持1024卡规模，拥有256TB全局统一内存编址空间，并提供1 EFLOPS FP8、2 EFLOPS FP4算力。如果记不住这些参数，那么只需要记住一个变化，也就是国产AI算力竞争重心正在发生变化。
E | 从拼单卡参数走向拼系统交付。
F | 面对先进制程受限、高端HBM断供以及CUDA生态壁垒等一连串硬件短板，中国AI芯片厂商正试图通过超大带宽、低时延互连以及全域调度，将无数个“不完美”的单卡，拼凑成一个“相对完美”的“巨型计算机”。越来越多厂商开始强调这种新趋势。 系统级突围不是抹平单卡差距，是一种向现实妥协的突围，但它绝不是一条捷径。当竞争从微观的芯片设计蔓延至宏观的系统工程，面对复杂的网络互连、艰难的模型迁移，以及数据中心那不堪重负的散热与功耗，厂商们眼前的是一笔更难算清的账目。 为什么今年大家都在讲“超节点”？ 虎嗅和行业上下游十多位从业者交流发现，超节点热的直接原因，是模型和推理需求都变大了。 从需求端来看，模型变大的速度快过了单卡能力提升的速度。随着模型参数向万亿级迈进，以及上下文窗口拉长至1兆以上，单个芯片的性能早已不堪重负。摩尔线程高级副总裁董龙飞将这种“超节点”技术生动地形容为“让256张GPU像一张卡一样工作”，实现跨卡显存的直接访问。 图片来源：摩尔线程 华为昇腾950所强调的统一内存编址与全域调度，本质上也是在解决同一个痛点，就是在单卡能力触及天花板时，必须靠“人多力量大”来拼凑出更大的算力空间。
G | 更具戏剧性的是，智能体让推理算力的消耗方式变了。摩尔线程创始人、董事长兼CEO张建中指出，算力消耗的主体正在从人类转向AI自身，“已经不是我们在用AI，是我们的Agent在用AI”。当Agent开始替人调用模型，Token消耗量呈指数级增长。 一位百度云的工作人员在现场向虎嗅印证了这一趋势。相比训练，目前国产算力在应用端的推理需求正占据绝对主导。这也解释了为什么万卡集群会和Agent推理放在同一套故事里，因为它们都指向算力需求从单次请求转向高并发、长上下文和多模型协同。 然而，在这场由万卡和超节点堆砌的“繁荣”背后，有多少是真实的市场需求，有多少是展会上的“军备竞赛”？ 在业内人士眼中，万卡集群不仅是一个技术指标，更是一张证明自身出货与交付能力的“商业名片”。一位昆仑芯展台的工作人员告诉虎嗅，服务头部客户必须具备万卡级集群能力。 但这种狂热下也有人在理性反思，海光信息的工作人员表示，万卡绝不是百卡系统的简单放大，当规模跨过临界点，系统的稳定性、网络拓扑、功耗和散热挑战将面临指数级飙升。一位芯片架构师告诉虎嗅，公司目前支持的是千卡级扩展，但大部分实际商用场景在8卡或16卡规模下已绰绰有余。 所以，能拿出万卡方案的厂商很多，但真正能落地的有待检验。一位芯片公司参展商工作人员对虎嗅说，“你要问问看这些卡是不是真的被用起来了”。
H | 系统级突围的第一道墙 然而，要将成百上千张芯片绑成一个“超节点”，厂商们撞上的第一道墙，是严苛的物理学定律。 超节点的前提是通信速度。为了让数百张GPU像“交响乐队一样协同”，摩尔线程和华为等中国厂商不得不各自开发了MTLink和灵衢等互连协议。 华为工作人员告诉虎嗅，灵衢本质上是试图在服务器内部和服务器之间建立更可控的数据通路，并推动CPU、网卡和存储等部件都接入同一生态。
I | 但无论是互连协议，还是更高层的调度架构，都无法绕开底层传输介质的物理边界。
J | 铜互连的物理边界很具体，当铜缆距离超过约三米后，信号衰减会明显加剧，所以为了保证信号完整性，线缆需要做得更粗，这又带来了发热、散热、布线和重量的问题。 这种物理极限，正在催生一场“光进铜退”的底层革命。
K | 光电芯片厂商曦智科技展示的“光互连”方案，试图用光纤打破“三米魔咒”，将稳定连接距离扩展至数十米，从而让超节点不再被严格限制在单个机柜内，进而有机会向多机柜形态扩展。
L | 图片来源：虎嗅拍摄 不过，光互连不是对铜互连的一次性替代，随着互连速率从过去的10G级别提升到100G、200G，铜缆能够稳定互联的距离越来越短，光互连因此从柜间继续向柜内甚至机内推进。展台上一位曦智科技产品经理告诉虎嗅，电缆仍会长期存在，不同技术仍会在各自适合的场景中长期共存。 不仅如此，光互连方案还必须面对商业化是否可行的拷问。
M | 一位行业专家坦言，相比于技术尚不成熟、成本高企的光互连，传统的铜互连依然凭借极其低廉的价格和成熟的产业链占据主导地位。对于客户而言，业务真的需要如此大规模的超节点，答案或许是“不一定每个人都需要”。 这个答案直指要害，系统级路线在技术上能连起来只是第一步，商业技术落地才是关键。 超节点不是摆进机房就能跑 互连之外，系统级算力的另一道硬约束在机房。 一个完整的超节点设备造价可能高达数亿元，其功耗也往往会飙升至惊人的400千瓦。
N | 这种庞然大物看似是一台性能怪兽，但也是一个极其脆弱的系统。董龙飞表示，一旦某张卡、某个模组或交换节点故障，就会影响整套系统利用率。这意味着，超节点必须同时解决卡间互连、链路可靠性、模组解耦、散热和软件协同等问题。 一位芯寒智能的工作人员从液冷角度给出了解读，过去业内常以单柜功率10至15千瓦作为是否考虑液冷的参考门槛。但如今，随着高性能AI服务器纷纷上柜，单柜功率轻而易举地突破了这一门槛。
o | 在高功率、高热流密度AI算力柜场景下，液冷正在从可选项变成越来越难绕开的工程选项。芯寒智能是一家专注于智算中心相变液冷技术的创新企业。 但这并不意味着所有机房都会立刻转向液冷。上述技术人员表示，对于大量传统的中小型数据中心而言，转向液冷意味着一场伤筋动骨的重构。
p | 它们不仅缺乏液冷所需的一次侧水机等基础设施，更面临一个致命的商业代价，就是改造机房往往意味着必须中断现有的服务器负载。对于绝大多数承担着核心业务的单位机房来说，拉闸停机是不可承受之重。 华为这次展示的Atlas 850E风冷超节点，正是试图降低传统机房改造门槛。华为方面称，该产品无需对现有风冷IDC机房做液冷基建改造，标准机柜可直接上架部署，并支持单个风冷超节点扩展至96卡商用部署。试图在物理约束和改造成本之间搭建一条折中的道路。 这笔账最后会落到机房改造和运维上。AI芯片的竞争早已不再局限于硅片本身。它是一场包含电力供应、散热物理、机柜结构乃至旧基建运维在内的系统级重资产升级。 芯片路线分化，买方只看算力账本 虎嗅在WAIC现场观察发现，国产AI芯片并不是一条路线。 摩尔线程强调兼顾渲染与仿真的全功能GPU；昆仑芯则认为GPU与AI专用芯片的传统边界正在变得模糊；创始人有着谷歌背景的中昊芯英押注在TPU架构芯片上，奕行智能则展示了RISC-V架构路线，这两家都在试图通过更低的功耗或定制化的架构打开市场缺口。 然而，在挑剔的买方市场面前，技术路线标签并不是最终语言。正如一位公有云服务商（百度云）一线人员所讲，客户在实际采购中根本不关心是什么架构，关心的指标只有具体卡型、价格、软件平台适配度，以及进入国产合规体系所需的工作量。 也就是说，软件生态仍是国产算力最难的一关。
q | 更换底层硬件的“迁移”背后往往是一笔财务支出。但对有些芯片厂商来说，路线决定了其具备一定的竞争优势。上述昆仑芯工作人员表示，其从一开始就走兼容主流生态的路线，包括CUDA和PyTorch。
r | 原因并不复杂，就是客户原来大量模型和底层代码都跑在CUDA体系上。 但对于大多数不得不更换国产芯片的客户来说，迁移是一项繁重的“苦力活”。正如奕行智能技术与解决方案总监廖显所形容，从CUDA生态迁出，本质上是企业要扮演“搬运工”的角色，把模型和算子重新写到新平台上。中昊芯英解决方案架构师刘辉也提到，开源模型迁移相对容易，但闭源模型仍可能需要额外开发算子。 图片来源：虎嗅拍摄 百度云等头部云厂商正试图通过全栈自研体系，向市场兜售低代码改造成本的乐观愿景，但国产算力迁移不是一个统一答案，而是需要耗费巨大人力、时间和不确定性风险的定制化工程项目。如果客户对算力性价比进行考量，软件生态仍是最关键的判断依据。 国产卡最重要的是可用 WAIC展台上，一些产业热词很容易制造一种全面追赶的气氛。但廖显给出的判断颇为冷静：国产AI芯片当前第一关是“可用”，“你不可用，其他都吹牛”。在他看来，市面上仍有不少芯片停留在Demo阶段，一旦真正扔进客户的真实机房，就会暴露出无数的工程漏洞。 当被问及客户是否关注单Token成本时，廖显回答，不能仅着眼于单卡吞吐量的提升，更应综合评估集群部署后的整体TCO（总拥有成本），其中芯片的供应稳定性与稀缺性导致的采购成本同样是不可忽视的变量。 不过，也有芯片行业人士的回答更直接，可用性尚未夯实的阶段，盲目在Token成本上与英伟达贴身肉搏，并不现实，因为“基本上没有办法跟它比”。 这并不是唱衰国产算力，而是说明国产算力目前更现实的任务，不用立刻以绝对成本优势击败英伟达，要先在供应链安全、本地部署、生态适配和特定场景中，建立“不被卡脖子”的防御性替代能力。 在这个过程中，客户更注重眼下的采购经济账，并不为“峰值性能”这样的期货概念买单。 昆仑芯工作人员告诉虎嗅，客户通常先明确自己要跑哪些模型，再拿这些模型到芯片平台上测试性能。
s | 只有性能过关后，才会进入价格和性价比讨论。
t | 对于大客户而言，还要继续考察持续稳定供货能力，“几万张卡、几千张卡，签完合同供不上货也不行”。
u | 图片来源：虎嗅拍摄 这种务实导致了国产算力应用场景分化。
v | 董龙飞把训练和推理的商业账拆得很清楚。也就是，训练对性价比容忍度相对更高，如果产品性能低10%，原本训练30天的任务多跑3天仍可接受；但推理不同，如果成本比别人高10%，商业上就很难竞争。 因此，对成本和并发更敏感的“推理场景”，正成为国产算力最关键的突破口，也是最残酷的考场。它不是让国产卡立刻在公共云低价Token服务里正面击败英伟达，而是先在场景中建立可用性。上述公有云工作人员也表示，目前市场对国产算力的最大需求，正来自模型部署后的推理服务。 这也最终决定了国产算力的核心客户画像。他们并不是那些资金紧绷、追求极致性能的大模型创业公司，而是合规、安全、本地部署和流程改造需求更刚性的国家队、运营商、金融巨头与交通电力系统。 华为昇腾在WAIC展示的行业案例，也说明行业客户衡量国产算力的方式并不是单卡峰值，而是业务指标。无论是在运营商基层流程中缩短的30秒，还是在证券行业客户服务或投资服务场景中降低80%的首次Token响应时延。这些行业客户衡量国产算力的标尺，从来不是被用来市场营销的单卡跑分，而是业务流程能否闭环、系统是否足够稳定，以及在关键时刻有没有人出来为故障兜底。 不是所有推理都要进云端 WAIC现场一个容易被亮点遮住的变化是，端侧算力也在形成自己的系统级路线。
w | 端侧是云侧的另一面，有芯片厂商工作人员跟虎嗅感叹，今年WAIC展会现场已经三七开，三成是端，七成在云。
x | “未来AI的发展一定是端云协同的”，后摩智能联合创始人、产品副总裁信晓旭对虎嗅表示，以情感陪伴机器人等新兴硬件为例，用户与AI的私密对话天然排斥将数据上传至中心化的云端，而低延迟的交互与24小时不间断的在线需求，更适合在本地完成推理。 安谋科技NPU产品线负责人舒浩表示，端侧AI不是云端AI的缩小版，而是由功耗、实时性、软件、数据和可靠性共同定义的新计算市场。他的同事、CPU产品总监朱晓鸣指出，端侧设备无法像数据中心一样用高功耗和大规模散热换性能。
y | 为了突围，安谋科技正在其CPU、NPU以及存内计算之间进行精密的物理空间调度，试图在有限的功耗和面积下，死磕AI推理的效率极限。 更有野心的是，端侧正在复制云端的“系统集成”策略，有的厂商试图将智能体直接封装进桌面设备中。此芯科技在其最新发布的AGX智能体计算平台上，就展现出了明显的“软硬一体化”企图，向下连接CPU、GPU、NPU和扩展AI卡，向上提供Agent OS、模型接入和行业应用。 摩尔线程也在把算力向端侧延伸。WAIC上，这家展品显示，AIBOOK定位为面向开发者的个人智算平台，预装OpenClaw智能体，AICUBE则定位为家庭AI中枢，整合AI PC、AI NAS和智能体能力。 这说明，推理时代的算力不会只往云端集中，也会向端侧重新分配。
z | 云端负责大模型训练、高并发服务和复杂任务；端侧负责隐私、低延时、本地数据和持续在线。两条路线不是替代关系，而是分工关系。 突围，还是绕远？ 图片来源：太初元碁 回到最初的问题，国产算力的“超节点”热的根源。 答案可能并不是二选一。
| 它当然是一种突围。先进制程和高端GPU供应受限后，国产AI芯片不能只等单卡性能追平。通过互联、统一内存、超节点、软件栈和系统集成，把更多“不完美”的芯片组织成可用算力，是中国AI算力产业必须走的一步。 然而，它也确实是更重的一条路。因为系统级的路线从来没有消除问题，它只是将原本属于微观层面的半导体瓶颈，重新分配到了更宏观、也更复杂的商业世界中。
| 在这种路线下，单卡性能的不足必须依赖成百上千张卡的协同来弥补，但这随即把网络拓扑、信号时延与整套系统的可靠性推向了新的物理极限。当庞大的卡群终于被塞进算力柜时，高密度的算力又立刻转化为功耗与散热压力，将电力扩容、液冷改造的代价，变成了必需的成本。
| 硬件的整柜交付也远非终点，隐藏在冰山下方的CUDA软件迁移、算子重写以及框架适配，紧接着变成了一笔企业无法赖掉的工程支出。即使这些障碍被逐一扫除，厂商们最终仍要向客户回答一个本质的问题，这套系统是不是比原先方案更好。
| 这就是系统级突围的现实，它解决了一部分问题，也制造了新的复杂性。WAIC展台上的参数再惊艳，也要看下一场发生在客户机房里的硬仗国产AI算力谁能突围。
Current article:http://ougb.nengqunzangkouhao.cyou/list_zyxi0/m4i2za.html
Published on:15:44:33