蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,支持图灵及之后的英伟达 GPU 与平头哥真武 810E,以统一量化表示和 JIT 编译覆盖多种权重与激活格式,官方称在多项代表性负载上优于 vLLM Marlin、FlashInfer 与 DeepGEMM。
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming