第896章 天问(2/4)

”顾屿靠在椅背上，双手交叉放在胸前，

“论文的事你俩盯着，按你们的节奏来就行。但今天我来，是要跟你们说下一步的事。”

他停顿了两秒。

任少卿和安德烈同时看过来。

连角落里的楼天城都终于抬起了头。

“Transformer论文是武器，但不是终点。”

“从今天起，全面转向大语言模型。”顾屿直接定调，

“方向只有一个。不搞任何花里胡哨的修补，纯靠海量数据硬喂，只让它做一件事：猜下一个词。”

房间里安静了几秒。

任少卿反应极快：

“不搞复杂的理解框架，直接暴力灌文本让它自己学？”

“对。”

“规模准备做多大？”

“第一阶段，一亿五千万。”顾屿竖起一根手指，

“先证明这条路能走通。等框架和管线成熟了，第二阶段直接拉到十五亿。”

安德烈倒吸了口气。

十五亿参数，按照现在的算力水平，这个数字几乎是在挑战物理极限。

楼天城从他那三块屏幕后面探出半个脑袋，推了推眼镜。

“一亿五千万倒是轻松。”楼天城语速很快，

“就外面那一千两百张K80，如果火力全开，算上分布式通信的损耗，跑一个一亿五千万参数的模型顶多一到两周就能出结果，现有的数据并行完全吃得消。但十五亿这个量级，单卡显存绝对会当场撑爆。我得把张量并行那套东西从论文阶段直接拉到工程化落地，把巨大的矩阵计算硬切分到不同显卡上。”

“你有多久能搞定张量并行？”顾屿问。

“给我四个月。”

“三个月。”

楼天城嘴唇动了动，最终没反驳。

顾屿看着他紧绷的脸，语气稍缓：

“K80的显存墙确实是物理硬伤，这三个月你权当是用极限环境做系统演习。我已经让人带着现金飞去硅谷，跟黄仁勋签明年Pascal架构超算卡的独家包销协议了。等你框架写完，我保证有更暴力的玩具送到你手上。”

听到下一代超算卡，楼天城镜片后的眼睛亮了一下，但他紧接着提出了另一个问题。

“模型架构不是最难的部分。”他站起来，走到白板前，抄起一支马克笔画了个简单的流程图，

“一亿五千万参数的模型，至少需要几百亿Token的高质量语料来喂。十五亿参数那个，可能需要上千亿Token。”

他在“数据”两个字下面重重画了一道线。

“我们现在有