文 | 王方玉

剪辑 | 苏建勋

当今绝大多数生成式 AI 家具的底层时刻皆源于 2017 年谷歌提议的 Transformer 模子架构，而国内一家 AI 创业公司——彩云科技却自出机轴，树立出了全新的模子架构 DCFormer，并基于此推出新家具。

11 月 13 日，彩云科技在北京总部发布了首款基于 DCFormer 架构树立的通用大模子云锦天章。

据 CEO 袁行远先容，云锦天章不错终端在诬捏寰宇不雅的基础上，赋予演义东说念主物编程、数学等基础智商，不错高速针对大皆笔墨进行扩写、缩写，针对著述立场进行大容量更换，同期兼具其他模子的问答、数学、编程等基础智商。

除了擅长的诈欺场景不同，云锦天章与成例大模子最大的各别还在于底层模子。据先容，通过矫正贯注力矩阵，在相似试验数据下，DCFormer 架构最高不错将算力智能升沉率普及至 Transformer 的 1.7 到 2 倍。

此外，DCFormer 是在 Transformer 的基础上进行矫正，概况和现存的模子相似，而不是互斥，因此统统基于 Transformer 架构的大模子皆能在 DCFormer 的基础上裁汰老本。

彩云科技对于 DCFormer 架构效果的相关论文已于本年 5 月在第 41 届海外机器学习大会 ICML 2024 肃穆发表，该会议是海外机器学习界限的三大顶会之一。此外，DC Former 的模子代码、权重和试验数据集，也照旧在 Github 一起开源。

为何弃取匠心独具遴荐 DCFormer 架构？袁行远告诉 36 氪，AI 在运转流程中对动力的弘远需求已成为行业共鸣，改善模子底层架构以提高效用是应酬这一挑战的最好计谋。模子效用的普及，也不错灵验地裁汰东说念主工智能升级迭代的老本，加快 AI 期间的到来。

天然 DC Former 架构不错压缩大模子试验推理的老本，但彩云科技在交易化探索方面相对严慎，照管干预产出比。

当今彩云科技旗下有彩云天气、彩云小梦、彩云小译三款面向 C 端用户的 AI 家具，在寰球市集取得了向上 1000 万好意思元的 ARR（年度通常性收入），是国内为数未几概况终端盈利的东说念主工智能公司。其最近一轮融资是由快手前 CEO 宿华个东说念主投资的 B2 轮，投前估值达到 1.2 亿好意思元。

袁行远告诉 36 氪，彩云科技对 DCFormer 架构的扣问及诈欺树立，主要劳动于自己业务。当今，彩云小梦基于 V3.5 模子赌钱app下载，在保捏逻辑畅通与模式细巧的前提下单次不错创作几百字到一千字的推行，异日有望冲突到 2-5 千字的创作，终端更强的智能水和缓更高的用户活跃度看法。