俞兴与周明的会面十分愉快,而有了他的铺垫,晚上再见到纠结扭捏的韦福如,也不觉得出奇了。
人各有志,韦福如要在微软做出成绩也是应有之意,况且,现在不来DLF,以後未必没有缘分。
俞兴对这一点很淡定,也不觉得自己飞一趟就多麽兴师动众,反倒是韦福如感受到碳矽掌门人不远万里而来的胸襟,愈发纠结了。
因为涉及到挖人,也涉及到技术讨论,晚上小宴只有俞、吴、周、韦四人,其他同行来的人多数去市里或者到微软参观。
等到饭桌上的话题转到DLF这次的TD—1模型,韦福如才稍微松了一口气。
吴恩达兴致勃勃的介绍DLF对自注意力机制的研究和探索,也略微提到编码器和解码器方案的利弊,这些同样是周明和韦福如或者说每一个深度学习领域的学者与大厂部门都在思索的。
很快,饭桌上的氛围就转为熟悉的争辩。
自注意力机制展现了让人欣喜的方向,但接下来到底往哪走仍然是巨大的问题。
俞兴在纯技术层面上面的参与度不高,也就边吃边听着他们三个人从共识走向争辩再回归到共识—一规模,还得是规模。
想要模型继续进化,必然需要更多数据的训练,需要更多的资金注入。
「TD—1模型是个证明谷歌机制的好东西,但纯粹编码器的方案可能存在着一个天花板,它对公司当箭的业务看莉,司是,从长远来看,还是需要解码器的生成参与。」韦福如给了一个预测,「想要让模型变聪明,想要让AI真正更加快速的发展,解码器是重要的一环,编码器和解码器的统一就是既能商业又能学术的最佳方案。」
这是他目前在微软着手研究的方向。
俞兴先前已经听过吴恩达总结来自韦福如有别於DLF现在内部争论的第三条路线,现在听到本人的描述,觉得中间的话应该判断的还是比较准确的。
无论如何都不能缺少解码器的生成能力。
他的暗暗点头被韦福如注意到了。
韦福如见状,笑道:「俞总,其实我觉得随着训练量的大幅提高,模型的聪明程度或许会进入一个快速成长期,就好像人类的孩子在几岁之後随着对世界认识的增多,也会突然变得懂事,嗯,怎麽说呢————」
俞兴听到这种说法,眼睛一亮:「涌现,会不会是模型的能力忽然大幅提高的涌现出来?」
韦福如低头琢磨这个词,赞叹道:
本章未完,请点击下一页继续阅读!