Home/Journal

把 Llama 3 刻进芯片,有什么用?

讨论大多集中在 Taalas 的方案装不下大模型,却忽略了 Agent 系统里大量高频、低延迟的小模型调用,比如路由判断、搜索摘要和数据清洗。

· Chiffonwind · 清凤 · 1,066 字
AI HardwareTaalasLLM InferenceAI Agent

前段时间,Taalas 团队将 Llama 3 8B(4-bit)直接刻进芯片,把单卡输出速度做到了 1.6 万 token/s。

业内很多讨论集中在同一个质疑上:这种固化方案真的能装得下 SOTA 级别的大模型吗?如果要装一个至少 80B 的主力模型,是不是得串联十几张卡?如果还要多卡互联,那相比常规大显存 GPU 究竟还有多少优势?

从做 Agent 系统的实践来看,这类讨论漏掉了另一块体量极大的真实需求:边缘侧与系统编排层对极速小模型(4B–8B)的高频推理需求。


1. Auto Router:每天上亿次的低延迟路由判断

从最常见的产品体验说起:像 ChatGPT 的默认模式(Auto),会在后台自动决定把请求路由到 Instruct、Thinking 还是 Pro 模式。

用户发出一条 Prompt 后,理想情况是 0.1 秒内就能看到响应启动。要做到这个延迟,Auto Router 就不能靠慢速大模型,也不能只靠简单的关键词或浅层语义匹配——后台通常需要专门训练的路由模型,或者一个 4B / 8B 级别的小模型来评估任务难度。

算一笔简单的量级账:

  1. 假设一个活跃用户每天发出 100 次请求;
  2. 平台有 100 万日活用户;
  3. 每天就会产生 1 亿次 路由推理。

这类推理有一个鲜明特征:输入通常是完整上下文,而输出往往只有几个 token(分类标签或路由结果),对延迟极度敏感,且模型权重相对固定。


2. 搜索与工具调用中的中间摘要层

再看 Perplexity 这一类 AI 搜索产品的链路。它能在几秒内完成检索、阅读几十个网页并持续返回进度,背后并不是让旗舰大模型逐字吞下 20 篇完整网页 HTML。

在实际的 Agent 搜索链路里:

  1. 主模型给出检索意图或查询词,调用 Web Search 工具;
  2. 下一步要抓取哪些网页、如何提炼出最相关的片段,不应该交由昂贵且慢速的主模型直接处理——原文一进一出不仅消耗大量 token,还会把首字延迟拖得很长;
  3. 更合理的架构是由高速小模型承担筛选、抓取结果抽取与阶段性摘要,把实时进度喂给前端,再把高信噪比摘要交回主模型。

每一个并发搜索请求都会扇出成多次小模型调用,这块并发需求同样非常庞大。


3. 大规模数据清洗与自动化试错

AI 研发里,数据质量往往决定上限,而海量语料都需要反复清洗和打标。

过去大规模清洗主要依赖规则和传统分类算法,因为通用 LLM 的推理吞吐和成本很难支撑全量清洗,往往只能用在小规模精选集上。如果存在一种成本极低、吞吐达到每秒上万 token 的专用小模型硬件,就可以把原本跑不起的链路变成常规基础设施:

  1. 对大规模原始语料执行语义级过滤、重写与质量评分;
  2. 在合成数据、评测判分与 Agent 轨迹筛选里低成本做高频试错。

小结

围绕 Taalas 的多数舆论都在盯着“能不能装下 80B+ 旗舰模型”这一条路线,却忽略了在真实 AI 产品和 Agent 系统内部,4B–8B 级别的高速固定小模型本身就是一个巨大的刚需市场——包括请求路由、网页抽取摘要、数据清洗与在线护栏。

这些环节不一定需要追最新的旗舰推理能力,但极度需要低延迟、高吞吐和低单位成本。这或许也是这类硬件团队能拿到可观融资、却很少在公开报道里被讲透的原因:只有真正动手搭过完整 Agent 系统,才会切身感受到这层小模型推理瓶颈的存在。