Cointime

扫码下载App
iOS & Android

OpenAI放出最新文字生成3D模型Shap.E,公开论文、模型和代码!

今天,OpenAI悄悄的发布了文字生成3D的模型Shap.E,并且在Github上开源的模型。

OpenAI总裁发推:

文字生成3D一直Generative AI领域的下一个明珠,就在最近Midjourney也被报道正在进行相关研究,OpenAI和各家大厂也进行过类似的研究。

text to 3d是一种将文本描述转换为三维模型的技术,近年来有很多研究机构和公司在这方面进行了探索和创新:

  • Magic3D:这是NVIDIA研究院的一个新的text to 3d内容创作工具,它可以创建高质量的三维网格模型,并且支持图像条件生成和基于提示的编辑。它利用了低分辨率和高分辨率的扩散模型,以及一个高效的可微渲染器,来优化神经辐射场(NeRF),从而实现了比DreamFusion更快更清晰的text to 3d合成效果。
  • Point-E:这是OpenAI发布的一个text to 3d生成器,它可以从文本输入生成点云模型,而不是网格或表面模型。它的优点是生成速度快,计算资源少,只需要一块GPU就可以在几分钟内完成text to 3d转换。它还可以与OpenAI的点云到网格模型结合,从而得到更完整的三维模型。
  • Imagen:这是Google开发的一个神经网络,它可以从文本描述生成三维模型,并且不需要人工标注数据。它基于一个预训练的图像生成模型,通过自注意力机制和对抗学习,来学习文本和图像之间的对应关系,并且能够处理复杂和抽象的文本输入。

OpenAI公布了详细的论文,以及在Github上公布了模型。

https://github.com/openai/shap-e

根据论文的内容:

作者们提出了一种名为Shap·E的3D生成模型。Shap·E与其他3D生成模型的不同之处在于,它可以同时生成两种类型的3D表示:纹理网格(textured meshes)和神经辐射场(neural radiance fields)。这使得生成的3D模型可以通过多种方式渲染或导入其他3D应用程序。

为了实现这一目标,作者们分两个阶段训练Shap·E模型。首先,他们训练一个编码器,将3D资源确定性地映射到隐含函数的参数。其次,他们在编码器的输出上训练一个条件扩散模型。在大量成对的3D和文本数据集上训练后,Shap·E能够在短短几秒钟内生成复杂且多样化的3D资源。

与最近提出的基于点云的显式3D生成模型Point·E相比,Shap·E收敛得更快,并在相同的模型架构、数据集和条件机制下实现了可比较甚至更好的样本质量。有趣的是,Shap·E和Point·E在图像条件下的成功和失败案例相似,这表明不同的输出表示方式可能会导致类似的模型行为。然而,在直接使用文本描述进行条件化时,两者之间还是存在一些质量上的差异。

尽管Shap·E模型在文本条件下的3D生成样本质量仍不如基于优化的方法,但其推理时间比这些方法快得多,从而可能实现更优的性能权衡。作者在https://github.com/openai/shap-e上发布了模型、推理代码和样本。

作者将Shap·E与其他3D生成技术进行了比较,使用了CLIP R-Precision指标(见表2)。正如Nichol等人所做的那样,他们在这个表格中包括了采样延迟,以强调基于优化的方法在生成质量上的优越性是以显著的推理成本为代价的。

值得注意的是,Shap·E的推理速度比Point·E更快,因为Shap·E不需要额外的上采样扩散模型。

作者也提到了模型目前的缺陷包括:

首先,虽然基于文本的模型可以理解许多具有简单属性的单个物体,但它在组合概念方面的能力有限。例如,该模型在处理需要计数和属性绑定的提示时可能会遇到困难。这些问题可能是由于有限的成对训练数据所导致的,通过收集或生成更大的带注释的3D数据集可能有助于解决这些问题。

其次,尽管Shap·E通常可以生成可识别的3D资产,但生成的样本通常看起来粗糙或缺乏细节。例如,编码器有时会丢失详细的纹理(如仙人掌上的条纹),这表明改进的编码器可能有助于恢复一些丢失的生成质量。

文字生成3D的研究虽然还不如图片成熟,但是这是一个非常重要的方向因为:

  • 它可以提高三维内容创作的效率和质量:text to 3d可以让用户通过简单的文本描述来生成高质量的三维模型,而不需要复杂的建模软件或专业的设计技能。text to 3d还可以结合图像条件生成和基于提示的编辑,让用户更好地控制三维合成的过程和结果。text to 3d可以为各种领域提供更快速、更便捷、更创新的三维内容创作工具。
  • 它可以拓展三维内容的应用场景和价值:text to 3d可以将文本转换为不同格式的三维模型,如网格、点云、神经辐射场等,适合用于不同的应用场景,如游戏、动画、教育、娱乐等。text to 3d还可以与其他技术结合,如虚拟现实、增强现实、3D打印等,为用户提供更丰富和更沉浸的三维体验。
  • 它可以促进三维内容的共享和交流:text to 3d可以将文本作为一种通用和易于理解的媒介,来表达和传递三维内容。text to 3d可以让用户通过文本来搜索、浏览、评论、修改或生成三维内容,而不需要下载或安装任何软件或数据。text to 3d可以为用户提供更方便和更友好的三维内容共享和交流平台
评论

所有评论

推荐阅读

  • 美SEC:流动性质押活动不被视为证券

    据市场消息,美国证券交易委员会(SEC)发布关于流动性质押活动的声明,称流动性押活动不被视为证券。

  • Coinbase将上线Succinct(PROVE)

    Coinbase交易所宣布将支持以太坊网络上的Succinct(PROVE)代币。该代币将以"实验性"标签推出,PROVE-USD交易对将在满足流动性条件后分阶段开放交易。

  • 京东币链:正在进行香港稳定币牌照申请的准备工作

    市场传闻称,京东等或退出香港稳定币业务。对此,京东币链表示,已关注到市场上的不实报道和谣言,京东币链特此回应,正在进行香港稳定币牌照申请的准备工作。(每经)

  • 美CFTC考虑允许期货交易所开展现货加密货币交易

    美国商品期货交易委员会(CFTC)表示,正在考虑允许在已注册的期货交易所开展现货加密货币交易,并寻求利益相关方的意见,以落实总统特朗普提出的加密货币发展目标。CFTC 代理主席 Caroline Pham 于周一发表声明称,该机构希望利益相关方协助其就如何在 CFTC 注册的期货交易所(也称为指定合约市场,DCM)上挂牌现货加密资产提供监管明确性。

  • 企业加密资产储备突破千亿美元大关

    随着企业大军涌入加密货币市场,银河研究最新报告显示:当前数字资产储备公司的比特币持仓达930亿美元,占流通总量近4%;以太坊持仓41亿美元,占比1%;资产负债表新增SOL、XRP、BNB等10种新兴加密货币;其中Strategy公司以718亿美元比特币持仓(含280亿美元浮盈)稳居榜首。

  • 巴西将举行听证会探讨建立战略性比特币储备

    巴西计划于2025年8月20日召开公开听证会,讨论建立战略性比特币储备事宜。

  • ETH跌破3600美元

    行情显示,ETH跌破3600美元,现报3597.36美元,24小时跌幅达到1.43%,行情波动较大,请做好风险控制。

  • BNB跌破750美元

    行情显示,BNB跌破750美元,现报749.9美元,24小时跌幅达到1.94%,行情波动较大,请做好风险控制。

  • CEA Industries 完成 5 亿美元私募并将更名为 BNB Network Company,YZi Labs 领投

    CEA Industries(纳斯达克:VAPE)今日宣布完成 5 亿美元私募融资,并将更名为"BNB Network Company",股票代码将于 8 月 6 日变更为"BNC"。该公司计划将所得资金用于购买 BNB,作为其主要储备资产。 此次私募由 YZi Labs 领投,吸引了包括 Pantera Capital、Blockchain.com 等超过 140 家机构参与。同时,公司任命前 Galaxy Digital 联合创始人 David Namdar 为首席执行官,前加州公务员退休基金(CalPERS)首席信息官 Russell Read 担任首席信息官。

  • Coinbase:加拿大客户可使用PayPal买卖加密货币

    Coinbase:加拿大客户可使用PayPal买卖加密货币。