LongCat-Next – 美团 LongCat 推出的多模态模型

AI项目 2026-03-26

LongCat-Next是什么

LongCat-Next是美团LongCat推出的多模态模型,核心创新是LoZA稀疏注意力机制。模型通过智能筛查模块重要性,将50%低重要模块替换为流式稀疏注意力,形成全局与局部交错的ZigZag结构。LongCat-Next实现1M超长上下文、解码速度提升10倍、算力节省30%,硬件利用率翻倍。包含Flash-Exp(1M上下文实验版)和Flash-Lite(68.5B MoE架构)两个版本,长文本任务表现超越Qwen-3

LongCat-Next

LongCat-Next的主要功能

  • 超长上下文理解:支持100万Token超长文本处理,同等硬件下可处理两倍长度的文档内容。
  • LoZA稀疏注意力:通过智能筛查模块重要性并采用ZigZag交错结构,实现全局与局部注意力的高效协同计算。
  • 推理加速优化:支持128K上下文解码速度提升10倍,256K预加载提速50%,大幅降低长文本处理时间成本。
  • 算力成本节省:模型256K解码阶段算力消耗减少30%,让企业以更低成本部署大模型服务。
  • 双版本灵活选择:提供1M上下文的实验版Flash-Exp和68.5B MoE架构的轻量版Flash-Lite,满足不同场景需求。
  • 稳定长文本性能:在MRCR长文本基准测试中表现超越Qwen-3,复杂文档问答和代码生成任务效果更稳定可靠。

LongCat-Next的关键信息和使用要求

  • 发布方:美团龙猫团队(Meituan LongCat)
  • 核心技术:LoZA(LongCat ZigZag Attention)稀疏注意力机制
  • 上下文窗口:最高支持 1M Token(100万)
  • 模型架构:68.5B MoE(混合专家),单次推理激活2.9B-4.5B参数
  • 性能提升:128K解码快10倍、256K预加载快50%、算力省30%
  • 硬件要求:未公开具体配置,但LoZA机制降低了对高端硬件的依赖
  • API服务:LongCat-Flash-Lite提供API接入,生成速度500-700 token/s

LongCat-Next的核心优势

  • 超长上下文处理能力:支持1M Token(100万)超长文本理解,同等硬件下可处理两倍长度的文档,突破大模型长文本瓶颈。
  • 高效稀疏注意力机制:LoZA技术通过智能筛查模块重要性,将50%低重要模块替换为流式稀疏注意力,实现全局与局部信息的精准协同计算。
  • 显著的速度提升:模型128K上下文解码速度提升10倍,256K预加载提速50%,大幅缩短长文本响应时间。
  • 低算力成本部署:256K解码阶段算力消耗减少30%,让企业以更低硬件成本部署高性能大模型服务。
  • 稳定的性能表现:在MRCR长文本基准测试中超越Qwen-3,日常问答和代码生成任务与原版持平,复杂场景表现更可靠。

如何使用LongCat-Next

  • 获取开源资源:访问GitHub 仓库,下载已发布的模型权重和推理代码进行本地部署。
  • 硬件配置:用LoZA稀疏注意力机制,在现有硬件上实现2倍长文本处理能力,无需升级高端设备。

LongCat-Next的项目地址

  • 项目官网:https://longcat.chat/longcat-next/intro
  • GitHub仓库:https://github.com/meituan-longcat/LongCat-Next
  • HuggingFace模型库:https://huggingface.co/meituan-longcat/LongCat-Next
  • 技术论文:https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf

LongCat-Next的同类竞品对比

对比项 LongCat-Next Qwen-3 GPT-4
长文本基准 MRCR测试超越Qwen-3 此前领先者 未公开MRCR数据
上下文窗口 1M Token 未明确同等长度 约128K Token
核心技术 LoZA稀疏注意力 传统全注意力 未公开细节
推理速度 128K解码快10倍 未公开量化数据 高算力依赖
算力成本 节省30%,硬件利用率翻倍 标准消耗 较高API成本

LongCat-Next的应用场景

  • 长文档智能处理:支持百万字级法律合同、学术论文、技术文档的深度理解、摘要生成与跨章节信息检索,解决传统模型上下文截断问题。
  • 代码仓库级开发辅助:模型能分析整个大型代码库(如百万行级项目),实现跨文件依赖理解、全局重构建议与长上下文代码生成。
  • 企业知识库问答:基于海量内部文档构建智能客服与决策支持系统,以更低算力成本实现高精度长文本检索与推理。
  • 多模态长内容分析:未来将支持长视频脚本解析、长图文内容理解,实现跨模态长序列信息整合与生成。
©️版权声明:若无特殊声明,本站所有文章版权均归AI工具集原创和所有,未经许可,任何个人、媒体、网站、团体不得转载、抄袭或以其他方式复制发表本站内容,或在非我站所属的服务器上建立镜像。否则,我站将依法保留追究相关法律责任的权利。

相关文章