Tiiny-AI/PowerInfer 是一个 C++ 开源项目，星火仓评分 71 分，A 级。PowerInfer 通过利用大语言模型推理中的激活局部性，在消费级 GPU 上实现高速本地 LLM 推理。
PowerInfer (Tiiny-AI) 开源项目详情