AI Inference 是什么？

10 秒看懂

Inference 是模型训练好以后，真正拿来回答问题或生成内容的过程。

说人话

Inference 是模型训练好以后，真正拿来回答问题或生成内容的过程。 这是帮助入门的简化说法，不代表所有产品的实现都完全一样。

一个比喻

Training 是学习；Inference 是把学到的模式拿来使用。

比喻只帮助理解，不是完整技术定义。

真实使用例子

你什么时候会遇到它？

API 价格、速度、芯片、模型部署和本地运行讨论中常见。

你需要关心它吗

普通用户主要感受到速度、价格和结果；部署模型的人需要深入了解。

最容易搞混

Training 更新模型内部参数；Inference 使用已经训练好的参数产生结果。

Related Terms

• Parameters
• LLM
• Foundation Model