Cointime

扫码下载App
iOS & Android

Stability AI发布可商用开源语言模型StableLM-大语言模型的Stable Diffusion时刻真的来了!

作者:TechVerse

在Text to image的发展过程中,Stability发布的Stable Diffusion开源模型,让文生图实现了飞速的发展,极大的降低了构建应用的门槛,并且在开源社区中成长出了ControlNet,Lora等层出不穷的好东西。

因此,在OpenAI统治的大语言模型市场上,大家一直期待着能够有Stable Diffusion一样的开源模型出现,也即是大语言模型的"Stable Diffusion“时刻。而今天,Stable Diffusion的创作者,Stability AI正式发布了他们自己的可商用开源语言模型!

Stability AI发布了一款名为StableLM的开源语言模型,旨在让基础AI技术更加透明、易于访问和支持。StableLM模型基于一个新的实验数据集进行训练,可生成文本和代码,支持多种下游应用。Stability AI还发布了一组经过指令微调的研究模型,仅供研究使用。Stability AI的目标是促进AI技术的透明度、可访问性和支持性,以便为广泛的用户和开发者带来经济利益。团队将继续发布更多模型并扩大其规模。

根据Stability官方宣布:

今天,Stability AI发布了一款新的开源语言模型StableLM。该模型的Alpha版本有30亿和70亿参数,接下来将推出150亿至650亿参数的模型。在CC BY-SA-4.0许可条款的约束下,开发者可以自由查看、使用并调整我们的StableLM基础模型,用于商业或研究目的。

2022年,Stability AI推动了Stable Diffusion的公开发布,这是一款革命性的图像模型,代表了透明、开放、可扩展的AI替代品。通过发布StableLM模型套件,Stability AI继续让所有人都能使用基础AI技术。我们的StableLM模型可以生成文本和代码,并将支持一系列下游应用。它们展示了如何通过适当的训练,小型且高效的模型可以实现高性能。

StableLM的发布建立在我们与EleutherAI(一个非营利性研究中心)开源早期语言模型的经验之上。这些语言模型包括GPT-J、GPT-NeoX和Pythia套件,它们是在The Pile开源数据集上训练的。许多最近的开源语言模型继续以这些工作为基础,包括Cerebras-GPT和Dolly-2。

StableLM是在一个基于The Pile的新实验数据集上进行训练的,但其规模是The Pile的三倍,包含1.5万亿个内容标记。我们将在适当的时候发布有关数据集的详细信息。这个丰富的数据集使得StableLM在会话和编码任务方面具有惊人的高性能,尽管其参数规模只有30亿至70亿(相比之下,GPT-3有1750亿参数)。

我们还将发布一组经过指令微调的研究模型。起初,这些微调模型将使用五个最近的开源数据集进行对话代理的训练:Alpaca、GPT4All、Dolly、ShareGPT和HH。这些微调模型仅供研究使用,并在非商业CC BY-NC-SA 4.0许可下发布,符合斯坦福大学的Alpaca许可。

请查看下面的一些示例,由我们的70亿参数微调模型生成:

语言模型将成为数字经济的支柱,我们希望每个人都能参与到它们的设计中。像StableLM这样的模型展示了我们对透明、易于访问和支持的AI技术的承诺:

透明。我们将模型开源,以促进透明度并建立信任。研究人员可以“看到内部”,验证性能、研究解释技术、识别潜在风险并帮助制定保护措施。公共和私营部门的各种组织可以根据自己的需求调整(“微调”)这些开源模型,而无需共享敏感数据或放弃对AI能力的控制。

易于访问。我们针对边缘设计,让普通用户可以在本地设备上运行我们的模型。使用这些模型,开发者可以构建独立的应用程序,与广泛使用的硬件兼容,而无需依赖于一两家公司的专有服务。这样,AI的经济利益将由广泛的用户和开发者共享。模型的开放、细粒度访问让广泛的研究和学术界能够开发比封闭模型更先进的可解释性和安全技术。

支持。我们构建模型是为了支持用户,而不是取代他们。我们专注于高效、专业和实用的AI性能,而不是追求神一般的智能。我们开发工具,帮助普通人和普通公司利用AI释放创造力,提高生产力,开辟新的经济机会。

模型现已在我们的GitHub仓库中提供。我们将在不久的将来发布完整的技术报告,并期待着与开发者和研究人员继续合作,推出StableLM套件。此外,我们将启动我们的群众参与型RLHF计划,并与Open Assistant等社区项目合作,创建开源AI助手数据集。

在Github和HuggingFace上上线了模型。

来源:https://mp.weixin.qq.com/s/zqDfG1qf7vZZaFDMWmB4AA

评论

所有评论

推荐阅读

  • 巴西将举行听证会探讨建立战略性比特币储备

    巴西计划于2025年8月20日召开公开听证会,讨论建立战略性比特币储备事宜。

  • ETH跌破3600美元

    行情显示,ETH跌破3600美元,现报3597.36美元,24小时跌幅达到1.43%,行情波动较大,请做好风险控制。

  • BNB跌破750美元

    行情显示,BNB跌破750美元,现报749.9美元,24小时跌幅达到1.94%,行情波动较大,请做好风险控制。

  • CEA Industries 完成 5 亿美元私募并将更名为 BNB Network Company,YZi Labs 领投

    CEA Industries(纳斯达克:VAPE)今日宣布完成 5 亿美元私募融资,并将更名为"BNB Network Company",股票代码将于 8 月 6 日变更为"BNC"。该公司计划将所得资金用于购买 BNB,作为其主要储备资产。 此次私募由 YZi Labs 领投,吸引了包括 Pantera Capital、Blockchain.com 等超过 140 家机构参与。同时,公司任命前 Galaxy Digital 联合创始人 David Namdar 为首席执行官,前加州公务员退休基金(CalPERS)首席信息官 Russell Read 担任首席信息官。

  • Coinbase:加拿大客户可使用PayPal买卖加密货币

    Coinbase:加拿大客户可使用PayPal买卖加密货币。

  • 分析师:比特币正被视为投资组合多元化工具

    eToro分析师Lale Akoner表示,投资者越来越多地将比特币作为分散投资组合的一种方式。标准普尔500指数偏向大型科技股,尤其是英伟达,防御型股票很少。长期美国国债曾经作为一种多元化投资工具受到追捧,但最近受到了压力。她说,这意味着投资者正在寻找其他资产来保护自己的投资组合免受潜在损失。“我认为这就是为什么我们看到更多的黄金和比特币的原因。”她说,比特币仍然是一种高风险资产,但它可以很好地分散投资。

  • Galaxy 计划发行代币化股票 GLXY

    据市场消息,Galaxy 计划发行代币化股票 $GLXY,并已与 Robert Leshner 旗下 Superstate 签署 RWA 平台协议。

  • 「SOL版微策略」Upexi持仓突破200万枚SOL

    8月5日消息,Solana 财库公司 Upexi 的持仓已突破 200 万枚 SOL,当前总价值达 3.34 亿美元。在 7 月份,Upexi 完成了 2 亿美元融资,并购入超过 126 万枚 SOL,其财资规模增长了 172%。

  • 印尼副总统办公室探讨比特币作为国家储备

    据Bitcoin Magazine报道,印度尼西亚副总统办公室已邀请比特币社区成员前往,讨论将比特币作为国家储备资产的可能性。

  • 比特币财库公司的崛起是超越美元的必经之路?

    以前美元由黄金定价,现在黄金以美元计价,有一天比特币会超越美元,那么其他东西自然会以它计价。