Kimi概念盘初大幅跳水 布局长文本并非越大越好

3月25日，A股三大指数集体低开，Kimi概念盘初大幅跳水，中广天择闪崩触及跌停，华策影视跌超10%，海天瑞声、世纪天鸿、引力传媒等多股大跌。

与之相对，算力板块组织反扑，润建股份二连板，数据港触及涨停，奥飞数据、依米康、浪潮信息集体走强。二级市场Kimi概念热度逐渐回落，投资逻辑回归产业链本质。

Kimi是AI大模型初创企业月之暗面（Moonshot）推出的AI产品，后者披露Kimi 智能助手在长上下文窗口技术上取得突破，无损上下文长度提升了一个数量级到200万字。该消息在二级市场引发多日追涨，也拉动相关公司布局长文本。

据了解，百度旗下文心一言即将于下月进行升级，开放长文本能力，文本范围在200万-500万。

3月23日，360智脑宣布正式内测500万字长文本处理功能，该功能即将入驻360AI浏览器。目前360AI浏览器已向用户免费开放100万字长文本阅读功能，可一分钟读完《三体》，并就文本外的“超纲”问题进行问答和延展学习。

3月22日，阿里通义千问宣布升级，向所有人免费开放1000万字的长文档处理功能，金融、法律、科研、医疗、教育等领域的专业人士可通过通义千问网站和APP快速读研报、分析财报、读科研论文、总结深度文章。

此前接受媒体采访时，月之暗面创始人杨植麟表示，如果说参数量决定了大模型支持多复杂的“计算”，而能够接收多少文本输入（即长文本技术）决定了大模型有多大的“内存”，两者共同决定模型的应用效果。无损长上下文将是通往AGI（通用人工智能）的关键基础技术。从 Word2vec 到 RNN、LSTM，再到Transformer，历史上所有的模型架构演进，本质上都是在提升有效的、无损的上下文长度。

OpenAI也在进行相关布局，经过三次升级，GPT-3.5上下文输入长度从4000增长至1.6万token（模型输入和输出的基本单位），GPT-4从8000增长至3.2万token。另外，Anthropic也将上下文长度扩至10万token。

那么，长文档规模是否越大越好？对此，阶跃星辰CEO、前微软全球副总裁姜大昕对记者表示，考虑长文档规模大小的时候还需要看智能水平，后者也是一项重要挑战，目前包括GPT-4、Gemini、Claude等模型均未达到理想水平。另外，长文档规模与智能水平也需要进行工程方面的ROI考量。

记者以“大模型上下文规模是否越大越好”问题向Kimi提问，后者解读称：长文本规模会带来增强理解能力、改善连贯性、提高信息整合能力、减少信息丢失等优点，但也伴随计算资源消耗、过拟合风险、稀疏性问题、更新与维护难度、能源消耗与环境影响等挑战。

总结来看，Kimi认为上下文规模的选择需要根据具体的应用场景和需求来决定。在某些需要处理大量信息和保持话题连贯性的任务中，较大的上下文规模可能是必要的。然而，在其他一些对计算资源有限制或对实时性要求较高的场景中，适中或较小的上下文规模可能更为合适。

另外，算力挑战也是长文本需面对的首要问题。华西证券认为，国内长文本带动大厂长文本能力迅速迭代，一方面将会缩小国内外大语言模型的代差，一方面将会进一步加大对底层算力的需求，算力需求爆发引发国内异构算力的构建，会带来AI行业的又一次变革，AI模型、语料库、算力租赁、算力运维、国产算力等将会继续受益。

信通院数据显示，2021年全球计算设备算力总规模达到615EFlops（每秒浮点运算次数），同比增长44%，其中基础算力规模为369EFlops，智能算力规模为 232EFlops，超算算力规模为14EFlops，预计2030 年全球算力规模将达到56ZFlps，平均年均增长65%，中国目前计算设备总规模达到202EFlops，全球占比约为 33%，增速高于全球。

银河证券研报显示，人工智能产业快速增长，对算力需求提升持续爆发，产业链环节持续受益。其中算力产业链将持续受益，随着目前大模型对训练和推理需求提升，其中AI芯片及服务器、交换机及光模块、IDC机房及上游产业链等需求均将获得快速增长。