AirLLM：用分層加載降低大模型的顯存需求
瞭解 AirLLM 的 Python 推理庫用途、硬件和磁盤前提，以及低顯存執行不等於高速執行。
它解決什麼問題？
AirLLM 是供 Python 項目使用的大模型執行庫。它嘗試把模型權重按層加載，讓顯卡不必同時裝下全部權重，從而降低顯存需求。它不是聊天網站，也不是給編輯器直接安裝的外掛。
適合誰？
適合會使用 Python、想在自己的設備上試執行較大模型，並願意處理依賴與模型下載的開發者。如果只是想開始聊天或獲得穩定的低延遲服務，先選擇成熟的模型服務或執行工具通常更直接。
需要什麼，費用從哪裡來？
需要 Python 環境、PyTorch 等依賴，以及適配目標模型的硬件。模型權重和分層文件可能佔用大量磁盤；部分模型還需要 Hugging Face 存取授權。不同模型、操作系統和版本的前提應按官方說明逐項核對。
程式碼採用 Apache-2.0 許可，但模型權重有自己的許可。自己執行仍有硬件、存儲、電費或雲主機費用。項目能降低顯存需求，不代表所有模型都能在任意電腦上使用。
- 選定一個有權使用的模型，確認模型版本、硬件、依賴和磁盤空間。
- 按照官方示例準備獨立的 Python 環境和模型文件。
- 先執行一小段輸入，記錄加載時間、響應速度和資源佔用，再判斷是否值得繼續。
低顯存執行有什麼代價？
分層加載需要在存儲、記憶體和顯卡之間移動資料，速度受到硬件和模型大小影響。能裝下模型與能流暢交互是兩個問題，應先用目標模型和一個小任務測量時間，再決定是否適合。
本站核對了官方 README、打包配置與模型加載實現，沒有復現上游的顯存數字或性能測試。