亚马逊云科技成功助力TII训练400亿参数规模的大语言模型Falcon 40B
6月7日,亚马逊云科技宣布,位于阿联酋首都阿布扎比的全球领先科研中心TII(Technology Innovation Institute)在亚马逊云科技上训练了其性能卓越的开源模型Falcon 40B。Falcon 40B是拥有400 亿参数的大语言模型(LLM),在Apache 2.0许可下提供,并在Hugging Face的开源大语言模型排行榜上位列榜首。该排行榜在多个基准测试中跟踪、排名和
2023-06-08 10:15:49
来源:丁科技网  

6月7日,亚马逊云科技宣布,位于阿联酋首都阿布扎比的全球领先科研中心TII(Technology Innovation Institute)在亚马逊云科技上训练了其性能卓越的开源模型Falcon 40B。Falcon 40B是拥有400 亿参数的大语言模型(LLM),在Apache 2.0许可下提供,并在Hugging Face的开源大语言模型排行榜上位列榜首。该排行榜在多个基准测试中跟踪、排名和评估大语言模型,最终评选出最佳模型。客户现在可以将Falcon 40B部署在Amazon SageMaker JumpStart上,这是一个机器学习中心,提供预训练模型,使客户无需从头构建自己的模型即可获得Falcon 40B最先进的准确性和行业领先的性能。要开始使用Amazon SageMaker JumpStart,请访问aws.amazon.com/sagemaker/jumpstart

大语言模型是机器学习(ML)模型的一个分支,专注于语言领域,可以支持各类生成式AI应用,包括文本处理、总结摘要和会话问答。虽然这些大语言模型具有改变行业的潜力,但构建、训练和部署大语言模型可能需要数周甚至数月的时间,并耗资数千万美元,这将许多公司拒之门外。为了在整个开发过程中实现更好的性能和成本效益,包括Stability AI、AI21 Labs、Hugging Face和LG AI在内的众多客户使用亚马逊云科技端到端的机器学习服务Amazon SageMaker来构建、训练和部署他们的大语言模型。

这也正是TII使用Amazon SageMaker构建其Falcon 40B模型的原因。得益于SageMaker是一项完全托管的服务,TII可以专注于开发自定义的训练机制和优化功能,而无需管理其机器学习基础设施。为了最大限度地降低训练成本并缩短上市时间,TII采取了多项优化措施,包括编写自定义矩阵乘法以加快训练速度。在整个训练过程中,亚马逊云科技还与TII密切合作以利用SageMaker增强可用性,确保训练顺利进行,减少对开发人员的干扰。

TII于2023年5月在Apache 2.0许可下发布了其Falcon 40B模型。自发布以来,Falcon 40B 在各种基准测试中的表现都优于当下的同类模型,展示了无需专门微调的卓越性能。为了让客户更轻松地访问该模型,亚马逊云科技让Falcon 40B可以通过Amazon SageMaker Jumpstart部署。现在,各个行业、各种规模的客户都可以快速轻松地部署自己的Falcon 40B模型,并对其进行定制以满足他们的特定需求,如翻译、问答、信息总结、图像识别等应用程序。

“Falcon 40B的开源版本使机构能够利用其卓越性能来推动AI赋能的解决方案的发展。这是我们致力于促进 AI 创新的重要里程碑,也体现阿联酋深远的科学贡献。”TII跨AI研究中心执行总监兼LLM项目负责人表示,“通过将Falcon大语言模型开源,我们希望将这一先进的技术能力普惠化,为全球研究人员和组织赋能。下一步,我们即将推出新模型,为人工智能和先进技术领域的进一步发展做出贡献。”

最新文章
1
2026年85寸电视选谁?刚出炉的618榜单给出了答案
2
618全周期第一,SQD-MiniLED百吋游戏多赛道夺冠,TCL电视这次赢得太狠
3
全球消费级具身智能开创者元点Zeroth携全球首款自主回充家用机器人亮相 2026 巴黎 VivaTech
4
数字抽真空能成行业标配吗?空调售后标准化难题待解
5
国内微增0.4%,欧洲暴涨81.4%:中国清洁电器正在海外“收割”高端市场
6
618进入最后蓄势爆发区,众多家电品类依然挡不住颓势
7
冰箱不是“保险箱”!夏天避开这些误区,越用越省电、越健康
8
世界杯战火已燃,中国家电的“全球赛”踢到了第几轮?
9
存量博弈新周期,厨电未来五年的机会在哪里?
10
小米首款阔折叠MIX Fold 5正式入网:搭载UWB技术 定位万元高端市场
11
内存、存储成本持续飙升!库克确认:苹果产品涨价不可避免
12
中国电竞显示器5月最新榜单出炉:AOC霸榜第一
13
京东方率先量产8.6代AMOLED产线:从“行业领跑”到“定义赛道”的战略跨越
14
BOE(京东方)中国首条第8.6代AMOLED生产线量产 开启全球高端显示新篇章
15
推荐系统走向新范式 快手技术沙龙聚焦生成式推荐技术落地
16
快手种、快手收:连通种收信号,让种草走向成交
17
端午竞渡燃情凤凰古城!6月18至20日快手龙舟季重磅开启,共赴民俗狂欢
18
开启夏日健康局,快手“老铁健康加油站·健康点亮我家乡”沈阳站收官
19
空调“15分钟抽真空”,是黑科技还是营销噱头?
20
一季度洗碗机下滑7%,地方补贴与新国标能否成为“破局双翼”?
关于我们

微信扫一扫,加关注

商务合作
  • QQ:61149512