IT 之家 1 月 20 日音尘，谷歌究诘院发文，公布了" Titans "系列模子架构，相应模子架构最大的特色是遴荐"仿生策画"，蚁集了短期驰念、永久驰念和属观点机制赌钱赚钱官方登录，援救擢升 200 万个 Token 的高下文长度，面前关系论文已发布在 arXiv 上（点此拜访），谷歌揣摸将来将 Titans 关系时期开源。

面前业界流行的 Transformer 模子架构诚然在大大量场景发达优秀，但其高下文窗口（Window）长度的终了，陆续仅为几千到几万个 Token，这使得它们在处理长文本、多轮对话或需要大限制高下文驰念的任务中，常常无法保抓语义连贯性和信息准确性。

而谷歌这一 Titans 系列模子架构通过引入深度神经永久驰念模块（Neural Long-Term Memory Module）有用处分了相应问题，其策画灵感堪称来自东说念主类的驰念系统，蚁集了短期驰念的快速响应与永久驰念的抓久秉性，并通过属观点机制来注意扩充面前的高下文（注意于用户即时输入的教导词，并保留关于以往教导词的准确驰念）。

IT 之家参考论文获悉，Titans 具有三种架构策画变体，远隔是 Memory as a Context（MAC）、Memory as a Gate（MAG）和 Memory as a Layer（MAL），不错把柄不同的任务需求整合短期与永久驰念。其中" MAC "架构变体将永久驰念动作高下文的一部分，允许属观点机制动态蚁集历史信息与面前数据，合适处理需要详确历史高下文的任务。" MAG "架构变体则把柄任务需求，调理及时数据与历史信息的遑急性比例，专注于面前最关系的信息。

谷歌要点强调了" MAL "架构变体，该架构主要将驰念模块策画为深度收集的一层，也等于从模子策画层面，胜利将用户的历史记载和当今输入的高下文推行进行固定压缩，之后交由模子的属观点模块处理，因此效劳相对较高，但输出推行后果不如" MAC "和" MAG "变体。

谷歌宣称赌钱赚钱官方登录，Titans 系列模子架构在长序列处理任务中的发达昭彰优于现存模子，不管是言语建模已经时辰序列展望，Titans 在准确性和效劳上皆展现了"压倒性上风"，以致在某些场景中高出了如 GPT-4 等具罕有十倍参数的模子。