RedKnot – 小红书开源的长文本推理加速引擎

RedKnot是什么RedKnot 是小红书开源的长文本 LLM 推理加速引擎，将 KV Cache 按注意力头维度解耦，离线分类为需全局重算的全局头与可局部复用的局部头，配合 SegPagedAtt