Cointime

扫码下载App
iOS & Android

Stability AI发布可商用开源语言模型StableLM-大语言模型的Stable Diffusion时刻真的来了!

作者:TechVerse

在Text to image的发展过程中,Stability发布的Stable Diffusion开源模型,让文生图实现了飞速的发展,极大的降低了构建应用的门槛,并且在开源社区中成长出了ControlNet,Lora等层出不穷的好东西。

因此,在OpenAI统治的大语言模型市场上,大家一直期待着能够有Stable Diffusion一样的开源模型出现,也即是大语言模型的"Stable Diffusion“时刻。而今天,Stable Diffusion的创作者,Stability AI正式发布了他们自己的可商用开源语言模型!

Stability AI发布了一款名为StableLM的开源语言模型,旨在让基础AI技术更加透明、易于访问和支持。StableLM模型基于一个新的实验数据集进行训练,可生成文本和代码,支持多种下游应用。Stability AI还发布了一组经过指令微调的研究模型,仅供研究使用。Stability AI的目标是促进AI技术的透明度、可访问性和支持性,以便为广泛的用户和开发者带来经济利益。团队将继续发布更多模型并扩大其规模。

根据Stability官方宣布:

今天,Stability AI发布了一款新的开源语言模型StableLM。该模型的Alpha版本有30亿和70亿参数,接下来将推出150亿至650亿参数的模型。在CC BY-SA-4.0许可条款的约束下,开发者可以自由查看、使用并调整我们的StableLM基础模型,用于商业或研究目的。

2022年,Stability AI推动了Stable Diffusion的公开发布,这是一款革命性的图像模型,代表了透明、开放、可扩展的AI替代品。通过发布StableLM模型套件,Stability AI继续让所有人都能使用基础AI技术。我们的StableLM模型可以生成文本和代码,并将支持一系列下游应用。它们展示了如何通过适当的训练,小型且高效的模型可以实现高性能。

StableLM的发布建立在我们与EleutherAI(一个非营利性研究中心)开源早期语言模型的经验之上。这些语言模型包括GPT-J、GPT-NeoX和Pythia套件,它们是在The Pile开源数据集上训练的。许多最近的开源语言模型继续以这些工作为基础,包括Cerebras-GPT和Dolly-2。

StableLM是在一个基于The Pile的新实验数据集上进行训练的,但其规模是The Pile的三倍,包含1.5万亿个内容标记。我们将在适当的时候发布有关数据集的详细信息。这个丰富的数据集使得StableLM在会话和编码任务方面具有惊人的高性能,尽管其参数规模只有30亿至70亿(相比之下,GPT-3有1750亿参数)。

我们还将发布一组经过指令微调的研究模型。起初,这些微调模型将使用五个最近的开源数据集进行对话代理的训练:Alpaca、GPT4All、Dolly、ShareGPT和HH。这些微调模型仅供研究使用,并在非商业CC BY-NC-SA 4.0许可下发布,符合斯坦福大学的Alpaca许可。

请查看下面的一些示例,由我们的70亿参数微调模型生成:

语言模型将成为数字经济的支柱,我们希望每个人都能参与到它们的设计中。像StableLM这样的模型展示了我们对透明、易于访问和支持的AI技术的承诺:

透明。我们将模型开源,以促进透明度并建立信任。研究人员可以“看到内部”,验证性能、研究解释技术、识别潜在风险并帮助制定保护措施。公共和私营部门的各种组织可以根据自己的需求调整(“微调”)这些开源模型,而无需共享敏感数据或放弃对AI能力的控制。

易于访问。我们针对边缘设计,让普通用户可以在本地设备上运行我们的模型。使用这些模型,开发者可以构建独立的应用程序,与广泛使用的硬件兼容,而无需依赖于一两家公司的专有服务。这样,AI的经济利益将由广泛的用户和开发者共享。模型的开放、细粒度访问让广泛的研究和学术界能够开发比封闭模型更先进的可解释性和安全技术。

支持。我们构建模型是为了支持用户,而不是取代他们。我们专注于高效、专业和实用的AI性能,而不是追求神一般的智能。我们开发工具,帮助普通人和普通公司利用AI释放创造力,提高生产力,开辟新的经济机会。

模型现已在我们的GitHub仓库中提供。我们将在不久的将来发布完整的技术报告,并期待着与开发者和研究人员继续合作,推出StableLM套件。此外,我们将启动我们的群众参与型RLHF计划,并与Open Assistant等社区项目合作,创建开源AI助手数据集。

在Github和HuggingFace上上线了模型。

来源:https://mp.weixin.qq.com/s/zqDfG1qf7vZZaFDMWmB4AA

评论

所有评论

推荐阅读

  • 美SEC:流动性质押活动不被视为证券

    据市场消息,美国证券交易委员会(SEC)发布关于流动性质押活动的声明,称流动性押活动不被视为证券。

  • Coinbase将上线Succinct(PROVE)

    Coinbase交易所宣布将支持以太坊网络上的Succinct(PROVE)代币。该代币将以"实验性"标签推出,PROVE-USD交易对将在满足流动性条件后分阶段开放交易。

  • 京东币链:正在进行香港稳定币牌照申请的准备工作

    市场传闻称,京东等或退出香港稳定币业务。对此,京东币链表示,已关注到市场上的不实报道和谣言,京东币链特此回应,正在进行香港稳定币牌照申请的准备工作。(每经)

  • 美CFTC考虑允许期货交易所开展现货加密货币交易

    美国商品期货交易委员会(CFTC)表示,正在考虑允许在已注册的期货交易所开展现货加密货币交易,并寻求利益相关方的意见,以落实总统特朗普提出的加密货币发展目标。CFTC 代理主席 Caroline Pham 于周一发表声明称,该机构希望利益相关方协助其就如何在 CFTC 注册的期货交易所(也称为指定合约市场,DCM)上挂牌现货加密资产提供监管明确性。

  • 企业加密资产储备突破千亿美元大关

    随着企业大军涌入加密货币市场,银河研究最新报告显示:当前数字资产储备公司的比特币持仓达930亿美元,占流通总量近4%;以太坊持仓41亿美元,占比1%;资产负债表新增SOL、XRP、BNB等10种新兴加密货币;其中Strategy公司以718亿美元比特币持仓(含280亿美元浮盈)稳居榜首。

  • 巴西将举行听证会探讨建立战略性比特币储备

    巴西计划于2025年8月20日召开公开听证会,讨论建立战略性比特币储备事宜。

  • ETH跌破3600美元

    行情显示,ETH跌破3600美元,现报3597.36美元,24小时跌幅达到1.43%,行情波动较大,请做好风险控制。

  • BNB跌破750美元

    行情显示,BNB跌破750美元,现报749.9美元,24小时跌幅达到1.94%,行情波动较大,请做好风险控制。

  • CEA Industries 完成 5 亿美元私募并将更名为 BNB Network Company,YZi Labs 领投

    CEA Industries(纳斯达克:VAPE)今日宣布完成 5 亿美元私募融资,并将更名为"BNB Network Company",股票代码将于 8 月 6 日变更为"BNC"。该公司计划将所得资金用于购买 BNB,作为其主要储备资产。 此次私募由 YZi Labs 领投,吸引了包括 Pantera Capital、Blockchain.com 等超过 140 家机构参与。同时,公司任命前 Galaxy Digital 联合创始人 David Namdar 为首席执行官,前加州公务员退休基金(CalPERS)首席信息官 Russell Read 担任首席信息官。

  • 比特币财库公司的崛起是超越美元的必经之路?

    以前美元由黄金定价,现在黄金以美元计价,有一天比特币会超越美元,那么其他东西自然会以它计价。