Cointime

扫码下载App
iOS & Android

Sam Altman:OpenAI 的下一步规划

项目方

OpenAI 的目标是尽可能降低「智能的成本」。

撰文:Raza Habib

编译:SinoDAO

上周,我有幸与 Sam Altman 和其他 20 名开发者坐在一起,讨论了 OpenAI 的 API 和他们的产品计划。Sam 非常开放地进行了讨论。讨论涉及了实际开发者问题以及与 OpenAI 使命和人工智能对社会影响相关的更大范畴的问题。以下是要点摘要:

1 目前 OpenAI 严重受限于 GPU

讨论中反复提到的一个共同主题是,目前 OpenAI 在 GPU 方面的限制非常严重,这延迟了他们的许多短期计划。最大的客户抱怨是 API 的可靠性和速度。Sam 承认了他们的关注,并解释说问题的大部分原因是由于 GPU 短缺。

目前无法向更多人推出更长的 32k 上下文。OpenAI 尚未克服注意力机制的 O(n^2) 扩展问题,因此虽然似乎他们很可能很快(今年)推出 100k 到 1M 的上下文窗口,但更大的窗口将需要研究突破。

微调 API 当前也受到 GPU 可用性的瓶颈限制。他们尚未使用像 Adapters 或 LoRa 这样高效的微调方法,因此微调运算非常耗费计算资源。未来将提供更好的微调支持。他们甚至可能提供社区贡献模型的市场。

专用容量提供受到 GPU 可用性的限制。OpenAI 还提供专用容量,为客户提供模型的私有副本。要使用此服务,客户必须愿意预先承诺 10 万美元的支出。

2 OpenAI 的近期路线图

Sam 分享了他认为是 OpenAI API 的临时近期路线图。

2023 年:

更便宜、更快的 GPT-4——这是他们的首要任务。总的来说,OpenAI 的目标是尽可能降低「智能的成本」,因此他们将努力继续降低 API 的成本。

更长的上下文窗口——上下文窗口高达 100 万个标记在不久的将来是可行的。

微调 API——微调 API 将扩展到最新的模型,但具体形式将根据开发者表达的真正需求来确定。

有状态的 API——当您今天调用聊天 API 时,您必须反复传递相同的对话历史并支付相同的

标记费用。将来将推出一个记住对话历史的 API 版本。

2024 年:

多模态——这是 GPT-4 发布的一部分,但在更多 GPU 上线之后才能推广给所有人使用。

3 插件「还没有 PMF」,可能暂时不会出现在 API 中

很多开发者都对通过 API 获得 ChatGPT 插件感兴趣,但 Sam 表示他认为暂时不会发布。插件的使用除了浏览之外,表明它们还没有足够的准备。他提出很多人认为他们想要将应用程序置于 ChatGPT 内部,但实际上他们真正想要的是将 ChatGPT 嵌入到自己的应用程序中。

4 OpenAI 将避免与他们的客户竞争,除了 ChatGPT

相当多的开发者表示在 OpenAI 可能发布与他们竞争的产品时他们感到紧张。Sam 表示,OpenAI 不会在 ChatGPT 之外发布更多的产品。他说,伟大的平台公司都有一个杀手级应用程序的历史,而 ChatGPT 将使他们通过成为自己产品的客户来改进 API。ChatGPT 的愿景是成为一个超智能的工作助手,但还有很多其他 GPT 用例是 OpenAI 不会触及的。

5 需要监管,但开源也同样重要

虽然 Sam 呼吁对未来的模型进行监管,但他认为现有模型并不危险,并认为对它们进行监管或禁止是一个重大错误。他再次强调了开源的重要性,并表示 OpenAI 正在考虑开源 GPT-3。他们尚未开源的部分原因是他对有多少个人和公司能够托管和提供大型 LLM 表示怀疑。

6 缩放定律仍然适用

最近有很多文章声称「巨大 AI 模型的时代已经过去了」。这并不准确。

OpenAI 的内部数据表明,模型性能的缩放定律仍然适用,使模型变得更大将继续带来更好的性能。缩放速率无法保持不变,因为 OpenAI 在几年内已将模型放大了数百万倍,而在未来这样做将不可持续。这并不意味着 OpenAI 不会继续努力使模型更大,只是意味着它们可能每年增加一倍或两倍的大小,而不是成倍增加。

缩放定律仍然适用的事实对于 AGI 的发展时间表具有重要影响。缩放假设是这样一种观点,即我们可能已经具备了构建 AGI 所需的大部分基础,并且剩下的工作大多是将现有方法扩展到更大的模型和更大的数据集。如果缩放时代已经过去,那么我们可能预计 AGI 离我们更远。缩放定律仍然适用的事实强烈暗示了更短的时间表。

评论

所有评论

推荐阅读

  • 8月6日午间重要动态一览

    7:00-12:00关键词:美联储、降息、黄仁勋 1.特朗普和盟友讨论美联储的未来; 2.欧洲央行管委霍尔茨曼:有理由再次降息; 3.CZ申请驳回FTX信托对其提起的17.6亿美元索赔; 4.黄仁勋8月1日至5日期间卖出22.5万股英伟达股票; 5.美财政部扩大短期国债发行,稳定币需求成新增买盘动力; 6.机构:仍不认为美联储今年会降息,通胀粘性仍是关键问题; 7.中国发展出版社出版稳定币科普书《与每个老百姓密切相关的稳定币》。

  • 美 SEC 前幕僚长将流动性质押比作雷曼兄弟倒闭前的重复抵押行为,遭加密货币行业人士反驳

    美国证券交易委员会(SEC)前主席 Gary Gensler 的幕僚长 Amanda Fischer 将加密货币的流动质押机制比作导致雷曼兄弟倒闭的资产重复抵押行为,引发行业广泛争议。Fischer 在社交平台 X 上表示,SEC 对流动质押的立场等同于认可了类似雷曼兄弟的资产重复抵押做法。 多位行业人士对此予以反驳。VanEck 数字资产研究主管 Matthew Sigel 指出 Fischer 的论述前后矛盾;Zero Knowledge Consulting 创始人 Austin Campbell 认为这反映了政策制定者仍用传统视角看待加密货币;区块链律师 Kurt Watkins 则表示 Fischer 过度解读了 SEC 的立场,SEC 的指导意见主要针对不具备自主决策权的流动质押设置。

  • 比特币全网算力创历史新高

    比特币全网算力首次升至1.08 ZH/s,创历史新高。

  • 8月6日隔夜重要动态一览

    21:00-7:00关键词:Galaxy、Coinbase、PROVE、CEA Industries

  • 美SEC:流动性质押活动不被视为证券

    据市场消息,美国证券交易委员会(SEC)发布关于流动性质押活动的声明,称流动性押活动不被视为证券。

  • Coinbase将上线Succinct(PROVE)

    Coinbase交易所宣布将支持以太坊网络上的Succinct(PROVE)代币。该代币将以"实验性"标签推出,PROVE-USD交易对将在满足流动性条件后分阶段开放交易。

  • 京东币链:正在进行香港稳定币牌照申请的准备工作

    市场传闻称,京东等或退出香港稳定币业务。对此,京东币链表示,已关注到市场上的不实报道和谣言,京东币链特此回应,正在进行香港稳定币牌照申请的准备工作。(每经)

  • 美CFTC考虑允许期货交易所开展现货加密货币交易

    美国商品期货交易委员会(CFTC)表示,正在考虑允许在已注册的期货交易所开展现货加密货币交易,并寻求利益相关方的意见,以落实总统特朗普提出的加密货币发展目标。CFTC 代理主席 Caroline Pham 于周一发表声明称,该机构希望利益相关方协助其就如何在 CFTC 注册的期货交易所(也称为指定合约市场,DCM)上挂牌现货加密资产提供监管明确性。

  • 企业加密资产储备突破千亿美元大关

    随着企业大军涌入加密货币市场,银河研究最新报告显示:当前数字资产储备公司的比特币持仓达930亿美元,占流通总量近4%;以太坊持仓41亿美元,占比1%;资产负债表新增SOL、XRP、BNB等10种新兴加密货币;其中Strategy公司以718亿美元比特币持仓(含280亿美元浮盈)稳居榜首。

  • 巴西将举行听证会探讨建立战略性比特币储备

    巴西计划于2025年8月20日召开公开听证会,讨论建立战略性比特币储备事宜。