10 月 28 日,硅基流动受邀参加耀途资本 2026 年“见微知著,所信成势”人民币基金合伙人年会。联合创始人兼首席产品官胡健发表主题演讲,围绕“Token 工厂”的核心竞争力,分享硅基流动在推理优化、国产算力适配及平台运营方面的思考与实践。

胡健指出,Token 工厂的竞争,是涵盖硬件选择、系统优化、弹性调度和流量运营的综合能力竞争。如何将算力高效转化为满足真实业务需求的 Token,是推理服务实现规模化发展的关键。

推理需求持续拓展,Agent 落地将驱动下一阶段增长

胡健介绍,硅基流动在创业早期便判断,推理将成为更大的市场,模型生态也将逐步走向开放。基于这一判断,公司持续投入推理基础设施建设。

在他看来,Token 用量并非沿着平滑曲线增长,而是随模型能力突破和应用场景成熟,呈现跳跃式、锯齿式的增长。从对话应用到深度推理,再到编程场景,每一次应用拓展都带来了新的需求。面向未来,增长的重要驱动力将来自 Agent 在真实生产和业务场景中的落地。

从产能、利用率到价格,建立精细化经营能力

如何衡量一家 Token 工厂的竞争力?胡健将其归纳为三个关键维度:产能、利用率与价格。

产能决定单位算力能够生成多少 Token。提升产能,需要将推理视为系统工程,通过集群优化,以及对预填充、解码等环节的优化,降低单位 Token 成本。但更高的产能并不自动带来更好的经济性:如果缺乏足够的流量和调度能力,闲置算力就会抵消技术优化的收益。

胡健强调,平台既要能够根据流量变化快速扩缩容,也要建立多元、稳定的流量来源。同时,不同模型、不同应用对 Token 的价值判断存在差异,不能只比较生成成本,还需要综合考虑模型供需、服务要求与价格。

因此,硅基流动围绕模型、芯片和应用场景进行组合优化,并随硬件采购、租赁成本的变化动态调整配置,为不同需求寻找更合适的性价比方案。

深化国产算力适配,将芯片能力转化为实际推理性能

胡健介绍,硅基流动较早布局国产算力,并在 2025 年初 DeepSeek 热度快速上升期间,大规模使用华为算力提供推理服务。公司希望依托国产芯片及中国供应链优势,探索更具成本竞争力的 Token 供给。

国产算力的应用,关键不在于单纯比较芯片的理论指标,而在于能否通过软件优化,在具体模型和场景中释放实际性能。推理任务具有多样性,不同规模的模型对算力和显存的要求也不相同,为不同类型的芯片提供了应用空间。

胡健表示,相比覆盖整个深度学习生态,围绕主流大语言模型及部分图像、视频生成模型开展针对性适配,可以将优化聚焦于更有限的算子和场景。硅基流动已在昇腾、沐曦、摩尔线程等平台完成适配,通过软硬件协同,推动芯片设计能力转化为可交付的推理性能。

以弹性调度应对潮汐流量,让推理服务具备规模化经济性

推理业务的流量具有明显的潮汐特征:提前准备过多算力会增加闲置成本,准备不足则难以及时承接需求。胡健指出,快速调度和弹性扩缩容,是 Token 工厂实现规模化运营的必要能力。

围绕这一挑战,硅基流动通过流量预测、模型加载优化和多种部署组合,动态调整资源配置。在预填充与解码分离的架构下,平台还可探索国产芯片与英伟达芯片的混合使用,让不同硬件承担更适合的任务。

胡健以大模型加载为例介绍,未经优化时,启动可能需要约 30 分钟;经过优化,可缩短至一分钟以内。这类能力直接影响平台承接突发流量的速度,也决定了算力资源能否高效周转。

连接算力供给与客户需求,拓展 Token 服务生态

在推理基础设施之外,硅基流动也在探索更广泛的供需连接。胡健介绍,公司近期推出 TokenPlus,希望通过自身的软件和技术能力,帮助更多算力公司具备 Token 工厂能力,并连接企业、大模型公司及海外客户。

作为独立第三方平台,硅基流动持续积累用户和企业需求。公司注册用户已超过 1000万,服务超过 13000 家企业客户。

面向推理需求的持续增长,硅基流动将围绕多元算力适配、系统化推理优化与精细化运营,提升 Token 供给的性价比,让算力更高效地服务于真实应用。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐