AI 芯片行业又迎来一匹资本黑马。
刚刚过去的9月，由谷歌前 TPU 团队创立的 Groq 宣布完成 7.5 亿美元融资，估值提升至 69 亿美元，成为少数跻身“十亿美元级”估值的新一代 AI 推理芯片初创公司。其核心产品 LPU（Language Processing Unit）主打高吞吐、低延迟、低能耗，正向英伟达 GPU 的推理地位发起挑战。
这不仅是一场“芯片架构之争”，更预示着 AI 从训练时代向推理时代的迁移背景下，基础设施市场可能迎来全新洗牌。
从 TPU 到 LPU，Groq 押注“推理为王”的时代逻辑
与当前主流的大模型训练芯片（如 Nvidia H100、Google TPU、AMD Instinct 等）不同，Groq 的战略起点就聚焦在 AI 推理环节：也就是模型部署后面向用户的前向运算，核心诉求是低延迟 + 高吞吐 + 高能效。
Groq 自研的 LPU 架构主张“计算与内存深度融合”，采取嵌入式内存设计、统一执行路径和确定性调度机制，在延迟控制与功耗管理上表现突出。创始人 Jonathan Ross 曾是谷歌第一代 TPU 架构核心成员，这一设计路径也延续了其“非 GPU 化”的技术理念。
据公司官网与采访信息，Groq 系统在处理大语言模型（LLM）推理任务时可实现极低延迟，适用于搜索增强生成（RAG）、语音助手、嵌入式 AI 系统等场景，力图打造“AI 推理时代的基础设施主力”。
从芯片到数据中心，Groq 能做推理界的 AWS吗？
做芯片之余，Groq还试图构建全球推理服务网络。
除了自研芯片与软件栈，Groq已在美国、加拿大、中东等地部署超 12 个数据中心，并计划在芬兰赫尔辛基设立欧洲首个服务节点，与 Equinix 合作落地当地推理云平台。
芯片、数据中心、软件平台的一体化布局，让 Groq 在服务 AI 企业客户时，具备更强的端到端控制力。这也与目前 Nvidia 通过 DGX Cloud、Amazon Bedrock 等云合作部署 GPU 的模式形成直接竞争。
在本轮融资新闻稿中，公司表示未来将加速全球扩张、提升大模型推理吞吐能力，并强化 OpenAI、Anthropic、Mistral 等 LLM 的对接效率。
市场规模跃升，推理成为 AI 基础设施关键战场
2023 年至今，随着 ChatGPT、Claude、Gemini 等生成式 AI 应用大规模落地，推理（Inference）正在成为 AI 运算资源的新主角。虽然训练阶段仍是大模型发展不可或缺的一环，但一旦模型部署，推理将构成绝大多数用户交互请求、运算能耗与服务器开支。
市场研究机构 Grand View Research 数据显示，2023 年全球 AI 推理硬件市场规模约为 124 亿美元，预计到 2030 年将增长至 超过 420 亿美元，年复合增长率超过 18.2%。其中，语言模型推理（如语音助手、搜索问答、文本生成等）增长速度尤为显著。
同时，GPU 推理正面临算力分配不均、能耗高、延迟波动等痛点，尤其是在边缘计算、金融风控、医疗辅助诊断等对“延迟”敏感的场景，GPU 并非最优解。
这正是 Groq 希望切入的窗口：以“定制化芯片 + 硬件加速 + 全栈控制”，构建一套专为推理而优化的服务体系。
Groq官网页面
投资人下注，英伟达挑战者能走多远？
本轮融资由 Disruptive 领投，BlackRock、Neuberger Berman、Deutsche Telekom Capital Partners 等参投——这些机构在 AI Infra、数据中心、云服务等基础设施领域均有布局。
多位投资人表示，看重的是 Groq 技术架构的非同质性，以及其在低延迟推理领域的实际部署能力。目前已有多个 AI 企业客户采用其系统用于 LLM 推理和多模态模型部署。公司 CEO Jonathan Ross 也在社交平台上频频发布推理延迟和实时响应能力的演示。
不过，距离撼动英伟达还有距离。GPU 在软件生态、开发者社区、编译工具、框架兼容性等方面仍占据压倒性优势。Groq 要真正切入主流市场，不仅需要快，更需要好用。
写在最后：AI 推理的分岔路口
AI 芯片行业的进化似乎已然开始。Groq 不是第一家，也不会是最后一家挑战 Nvidia 的企业。但它所代表的方向——专为 AI 推理优化的基础设施架构 + 云边协同服务平台，的确提供了除 GPU 外的另一种可能。
它可能难以最终“取代英伟达”，但或许将在 AI 推理加速的特定场景中建立新标准，成为下一个基础设施层的垂直组件型企业。
就像云计算从 AWS 单一平台分化为 Fastly、Cloudflare、Snowflake 等不同维度的基础服务商，AI 推理也将进入一个多元、分布、专用的基础设施时代。
Groq 完成7.5 亿美元新融资，也许是这场新竞赛的一记发令枪。
