AirLLM：用分层加载降低大模型的显存需求
了解 AirLLM 的 Python 推理库用途、硬件和磁盘前提，以及低显存运行不等于高速运行。
它解决什么问题？
AirLLM 是供 Python 项目使用的大模型运行库。它尝试把模型权重按层加载，让显卡不必同时装下全部权重，从而降低显存需求。它不是聊天网站，也不是给编辑器直接安装的插件。
适合谁？
适合会使用 Python、想在自己的设备上试运行较大模型，并愿意处理依赖与模型下载的开发者。如果只是想开始聊天或获得稳定的低延迟服务，先选择成熟的模型服务或运行工具通常更直接。
需要什么，费用从哪里来？
需要 Python 环境、PyTorch 等依赖，以及适配目标模型的硬件。模型权重和分层文件可能占用大量磁盘；部分模型还需要 Hugging Face 访问授权。不同模型、操作系统和版本的前提应按官方说明逐项核对。
代码采用 Apache-2.0 许可，但模型权重有自己的许可。自己运行仍有硬件、存储、电费或云主机费用。项目能降低显存需求，不代表所有模型都能在任意电脑上使用。
- 选定一个有权使用的模型，确认模型版本、硬件、依赖和磁盘空间。
- 按照官方示例准备独立的 Python 环境和模型文件。
- 先运行一小段输入，记录加载时间、响应速度和资源占用，再判断是否值得继续。
低显存运行有什么代价？
分层加载需要在存储、内存和显卡之间移动数据，速度受到硬件和模型大小影响。能装下模型与能流畅交互是两个问题，应先用目标模型和一个小任务测量时间，再决定是否适合。
本站核对了官方 README、打包配置与模型加载实现，没有复现上游的显存数字或性能测试。