以下是一些关于实验方案中使用的 AI 相关信息:
大型语言模型和搜索预算。以上提到的所有基线方法都被包含在§2.2中介绍的通用框架中。由于成本和访问考虑,我们使用GPT-4(OpenAI,2023)作为提示词提案模型$$M_{proposal}$$,并使用TEXT-DAVINCI-003(Ouyang等人,2022)作为执行底层任务的任务模型$$M_{task}$$。为了确保公平比较,我们对所有提示词优化方法使用相同的搜索预算。对于使用归纳初始化的实验,由$$p_{init}$$生成30个提示词,形成初始候选集$$P^{(0)}$$。优化步骤的数量T设置为3。在每个时间戳,我们选择n=4个表现最佳的提示词,并从每一个中提出m=4个提示词。
接下来3年,机器人技术应该能彻底解决,AI应该会解决一个长期未被证明的定理,在编程竞赛中稳定获胜,应该会出现令人信服的聊天机器人(尽管没有哪个能通过图灵测试)。仅仅4年,每一个过夜的实验,都可能使用巨大的算力,如果拥有正确算法,人们一觉醒来可能会面临AGI的到来——接下来的2到4年内,可能会在对抗的多智能体模拟实验中找出这个算法。要从事研发安全AGI的工作,OpenAI需要:每年都取得最好的AI成果。尤其是随着硬件性能指数级增长,我们要取得更好的成果。以当前的算力水平,我们的DOTA和魔方项目将取得令人瞩目的成绩。明年的项目更能突破常规,但主要取决于我们能有多少算力。尽快将我们的GPU集群从600块GPU增加到5000块。按照上限估算,明年需要1200万美元的资本支出和500万到600万美元的运营支出。接下来每年,我们都需要翻倍增加硬件投入。但我们有理由相信,最终实现AGI需要的硬件成本不会超过100亿美元。扩大我们的团队规模:2017年7月是55人,到2018年1月增加到80人,再到2019年1月的120人,最终在2020年1月达到200人。我们已经学会了如何组织当前的团队,现在的瓶颈主要是能尝试新想法的聪明人不多。锁定压倒性的硬件优势。<****>说,他可以在2年内开发出等效于TPU 3.0的算力芯片,(如果数量足够)可以让我们的算力与Google持平。Cerebras(注:成立于2015年的AI芯片公司)的设计远远领先于它们俩,如果Cerebras的设想成真,拥有它的独家供应将让我们大幅领先竞争对手。经过更多的尽职调查,我们对如何做到这一点有了完整的想法,最好通过电话讨论。
您现在已经完成了实验!在本实验中,您使用了GitHub存储库中提供的各种笔记本generative-ai来探索Vertex AI中的PaLM API。[heading3]下一步[content]查看[Generative AI on Vertex AI文档](https://cloud.google.com/vertex-ai/docs/generative-ai/learn/overview)。[在Google Cloud Tech YouTube频道](https://www.youtube.com/@googlecloudtech/)上了解有关生成式AI的更多信息。