第657章【方鸿的建议】(1 / 3)

会议大约持续了四十分钟左右,陈宇给各大开发团队都布置好了任务。

公司技术部门的项目组也不少,涉及到自然语言处理、推荐系统、图像生成、深度强化学习、计算机视觉、机器人技术。

量化资本,外界都把该公司认定为一家投资管理公司,实际上是伪装成投资管理公司的高科技公司。

随着会议结束,其它人都离开了会议室,就只剩下了方鸿和陈宇两人。

“你定的发展路线我认为没有没问题。”方鸿笑着说道:“不过也不能放缓,我这里有可靠消息,谷歌那边,他们的人工智能实验室GCP在一次内部会议上提出了一个想法,即让机器能够‘学习’语言和语法,也跟你一样也在搞语言模型。”

陈宇惊讶道:“谷歌也在搞?技术水平达到什么程度了?”

作为群星资本真正的幕后大BOSS,陈宇相信他这么说,应该是掌握了可靠的资料。

方鸿淡定道:“没你的先进,这一点我可以肯定。”

根据前世的记忆,今年10月份左右,谷歌应该会发布一个基于GPT的语言模型,该模型通过对输入的编码来学习语言,主要是一个预训练的语言模型,不过谷歌在此之前也没有开发过这种语言模型。

听到方鸿这么一说,陈宇顿时放心了不少,这个领域是一步领先往往是步步领先,AI的发展速度往往是以指数级增长的速度快速发展起来。

片刻后,陈宇看向方鸿说道:“我们的AI大模型,第一代的迭代研发任务是实现可以生成人类文本,有百亿量级的参数规模支持,目前已经进入第二代研发,比第一代更大、更强,可以对各种提示产生连贯而有吸引力的回应,参数规模达到了五百亿量级。”

“至于第三代模型应该需要2000亿个参数支持,第三代的目标是更大、更强大、更先进,在多个自然语言处理任务上达到惊人的表现。”

“对于AI大模型的升级,需要强大的底层能力的支持才能玩得转,要通过大算力、大规模训练数据突破AI的瓶颈,运营成本也是非常庞大,现在一个月的运营成本就超过了3亿元人民币的规模。”

闻言,方鸿言简意赅道:“钱不是问题,不够我管够。”

陈宇笑道:“真不够我会找你要。”

其底层能力包括算力资源、数据存储、电力供应、网络带宽等。

这些都是很烧钱的东西。

AI的训练需要使用大规模的算力资源,包括GPU、GPU等,云计算可以为其提供强大、弹性扩张的计算资源。

云计算底层的数据中心可以提供高性能的计算机和硬件设备,并且可以进行优化,提高算力资源的利用率,从而加速AI的训练和生成速度,同时也可以提供强大的并行计算能力,多个计算任务同时分配在不同的计算节点中进行计算,提高训练效率和速度。

除此之外,训练AI需要对网络也有要求,一个是链路负载均衡要做到完美,另一个便是网络出现故障时能快速恢复。

因为“木桶效应”,只要有一条链路出现负载不均导致网络堵塞,成为了木桶的短板,那么即便其它两路畅通无阻,集合通信时间依然会大幅增加,从而影响训练效率。

跟一核有难多核围观有异曲同工之处。

随着集群规模增大,链路故障也在所难免,类似的一条链路故障就会导致整个通信停滞,进而使得模型训练停滞,所以必须要做到出现故障能快速修复。

方鸿翘着二郎腿后仰背靠椅子,一手趁着椅子扶手,若有所思地说:“你的这个AI还差一个元素。”

闻言,陈宇好奇道:“差什么?”

方鸿言简意赅地说:“形象。”