官方网站-首页

【导(dǎo)语(yǔ)】近(jìn)日(rì)，DeepSeek官(guān)方(fāng)宣(xuān)布(bù)发(fā)布(bù)新(xīn)一(yī)代(dài)大(dà)语(yǔ)言(yán)模(mó)型(xíng)DeepSeek-V3.1，其(qí)核(hé)心(xīn)升(shēng)级(jí)在(zài)于(yú)上(shàng)下(xià)文长(zhǎng)度(dù)从(cóng)64k扩(kuò)展(zhǎn)至(zhì)128k，这(zhè)一(yī)突(tū)破(pò)不(bù)仅(jǐn)提(tí)升(shēng)了(le)技(jì)术(shù)参(cān)数(shù)，更(gèng)为(wèi)大(dà)模(mó)型(xíng)的(de)应(yīng)用(yòng)边(biān)界(jiè)和(hé)能(néng)力(lì)深(shēn)化(huà)提(tí)供(gōng)了(le)有(yǒu)力(lì)支(zhī)撑(chēng)。上(shàng)下(xià)文长(zhǎng)度(dù)作(zuò)为模型理解世界和与用户交互的基石，其扩展将解锁更广阔的应用场景，使模型具备处理复杂信息、提供深度洞察的能力。本文将深入探讨上下文长度的概念、对模型的影响以及面临的挑战与解决方案。

近日，DeepSeek官方公众号宣布，正式发布新一代大语言模型DeepSeek-V3.1，其核心升级点在于上下文长度从原有的64k扩展至128k。这一突破不仅是技术参数层面的关键进阶，更直接为大模型拓宽应用边界、深化能力提供了支撑。

图源：unsplash

什么是上下文长度？

但要真正理解这一升级为何重要，我们首先需要厘清一个基础问题，究竟什么是上下文长度？

上下文长度是指模型一次能够处理并生成回应的输入文本的长度，包括用户之前的所有提问、给出的指令、提供的背景材料，以及模型自己生成的历史回答。通俗而言，它决定了模型在回答问题或执行指令时，所能“看到”和“参考”的前文范围有多长。

在技术实现上，这个长度通常以Token作为计量单位。Token是模型处理文本的基本单元，一个Token可能对应一个英文单词、一个中文汉字或词语的一部分。例如，短语“人工智能”可能被拆分为“人工”和“智能”两个Token。因此，一个支持128KToken上下文长度的模型，意味着模型能够一次性处理大约10万字以上的中文文本，这相当于一部长篇小说的体量。

对模型的影响与破局

可以说，上下文长度直接定义了模型的能力边界和应用场景，其重要性体现在以下几个方面：

第一，长文档深度分析与处理。这是最直接的应用，如果模型的上下文窗口大于或等于文档长度，便能将整个文档纳入分析范围。这使得全文总结、关键信息提取、跨章节推理、情感分析等任务成为可能。例如，研究员可以上传一篇完整的学术论文让其提炼创新点和方法论;开发者可以提交一个庞大的代码文件请求其解释逻辑或查找漏洞。倘若上下文不足，模型就只能“盲人摸象”，基于片段信息作出可能偏离整体的判断。

第二，维持长对话的连贯性与深度。在与聊天机器人进行多轮对话时，整个对话历史都会持续占用上下文窗口。更长的上下文意味着模型能记住更早的对话细节、用户申明的偏好以及设定的角色背景。这使得对话能保持一致性、上下文关联性和深度，用户体验得以大幅提升。否则，对话会很快退化为“金鱼记忆”，模型反复询问已提供过的信息，或给出前后矛盾的答案。

第三，提供丰富语境，减少幻觉。大模型的幻觉是其应用中的一大风险。通过延长上下文，用户可以为模型提供一个丰富的背景信息库，如公司内部文档、产品手册、特定数据集。模型在生成回答时，会被更牢固地锚定在这些给定的事实上，而非依赖(lài)于(yú)其(qí)内(nèi)部(bù)可(kě)能(néng)不(bù)准(zhǔn)确(què)或(huò)过(guò)时(shí)的(de)训(xun)练(liàn)数(shù)据(jù)，从(cóng)而(ér)显(xiǎn)著(zhe)提(tí)高(gāo)输(shū)出(chū)的(de)准(zhǔn)确(què)性(xìng)和(hé)可(kě)靠(kào)性(xìng)。

第(dì)四(sì)，实(shí)现(xiàn)复(fù)杂(zá)的(de)多(duō)步(bù)骤(zhòu)任(rèn)务(wu)编排。更长的窗口允许用户在单次提示中嵌入更复杂的指令链、提供大量的示例，甚至定义完整的操作流程。这相当于给了模型一份详尽的工作手册，使其能够执行需要多步推理和条件判断的复杂任务编排。

不过，尽管上下文长度持续突破，其发展过程并非没有代价与挑战。一方面，计算资源的二次增长，传统的Transformer架构在处理长上下文时，其计算复杂度和内存消耗会随着Token数量的增加呈平方级增长。这意味着将上下文从2K扩展到32K，带来的计算负担可能是数百倍的提升，这对硬件和推理成本构成了巨大压力。另一方面，上下文长度是一种短暂的、对话(huà)级(jí)的(de)工(gōng)作(zuò)记(jì)忆(yì)，不(bù)会(huì)在(zài)不(bù)同(tóng)的(de)对(duì)话(huà)会(huì)话(huà)之(zhī)间(jiān)持(chí)续(xù)存(cún)在(zài)。每(měi)次(cì)开(kāi)启(qǐ)一(yī)个(gè)新(xīn)对(duì)话(huà)，模(mó)型(xíng)都(dōu)是(shì)从(cóng)其(qí)固(gù)定(dìng)的(de)训(xun)练(liàn)知(zhī)识(shi)库(kù)开(kāi)始(shǐ)，之(zhī)前(qián)的(de)交(jiāo)互(hù)历(lì)史(shǐ)不(bù)会(huì)被(bèi)自(zì)动(dòng)记(jì)住(zhù)，这(zhè)与(yǔ)人(rén)类(lèi)能(néng)够(gòu)积(jī)累(lèi)和(hé)回(huí)忆(yì)长(zhǎng)期(qī)经(jīng)验(yàn)的(de)能(néng)力(lì)有(yǒu)本(běn)质(zhì)区(qū)别(bié)。

为(wèi)了(le)克(kè)服(fú)这(zhè)些(xiē)挑(tiāo)战(zhàn)，学(xué)术(shù)界(jiè)和(hé)产(chǎn)业(yè)界(jiè)正(zhèng)在(zài)积(jī)极(jí)探(tàn)索(suǒ)新(xīn)的(de)技(jì)术(shù)路径。例(lì)如(rú)，更(gèng)高(gāo)效(xiào)的(de)注(zhù)意(yì)力(lì)机(jī)制(zhì)、模(mó)型(xíng)架(jià)构(gòu)创(chuàng)新(xīn)、外(wài)挂(guà)记(jì)忆(yì)库(kù)以(yǐ)及(jí)先(xiān)进(jìn)的(de)检(jiǎn)索(suǒ)增(zēng)强(qiáng)生(shēng)成(chéng)技(jì)术(shù)，这(zhè)些(xiē)都(dōu)有(yǒu)望(wàng)在(zài)不(bù)过(guò)度(dù)增(zēng)加(jiā)计(jì)算(suàn)负(fù)担(dān)的(de)前(qián)提(tí)下(xià)，实(shí)质(zhì)性(xìng)地(de)提(tí)升(shēng)模(mó)型(xíng)有(yǒu)效(xiào)利(lì)用(yòng)超(chāo)长(zhǎng)上(shàng)下(xià)文的(de)能(néng)力(lì)。

写(xiě)在(zài)最(zuì)后(hòu)：

上(shàng)下(xià)文长(zhǎng)度(dù)是(shì)大(dà)模(mó)型(xíng)理(lǐ)解(jiě)世(shì)界(jiè)和(hé)与(yǔ)用(yòng)户(hù)交(jiāo)互(hù)的(de)基(jī)石(shí)性(xìng)能(néng)力(lì)，从(cóng)本(běn)质(zhì)上(shàng)刻(kè)画(huà)了(le)模(mó)型(xíng)在(zài)此(cǐ)时(shí)此(cǐ)地(de)一(yī)次(cì)性(xìng)能(néng)处(chù)理(lǐ)的(de)信(xìn)息(xi)规(guī)模(mó)。随(suí)着(zhe)技(jì)术(shù)的(de)不(bù)断(duàn)演(yǎn)进(jìn)，更(gèng)长(zhǎng)的(de)、更(gèng)高(gāo)效(xiào)的(de)上(shàng)下(xià)文窗(chuāng)口(kǒu)必(bì)将(jiāng)持(chí)续(xù)解(jiě)锁(suǒ)大(dà)模(mó)型(xíng)更(gèng)广阔的应用场景，使其从对话者进化为真正能够驾驭复杂信息、提供深度洞察的智能伙伴。

供稿单位：重庆天极网络有限公司

作者：田福运 九龙坡区人民医院副主任护师 国家注册营养师

审核专家：李志高 高级工程师/重庆天极网络有限公司总裁

声明：除原创内容及特别说明之外，部分图片来源网络，非商业用途，仅作为科普传播素材，版权归原作者所有，若有侵权，请联系删除。