(LEAD) KAIST开发下一代超低功耗LLM加速器

发布号 4 2025-10-12 18:53:09

(注:添加细节,评论,照片)金娜英

(LEAD) KAIST开发下一代超低功耗LLM加速器

首尔,3月6日(韩联社)——韩国科学部周三表示,韩国科学技术院(KAIST)的一个研究团队已经开发出世界上第一个能够以超低功耗处理大型语言模型(LLM)的人工智能(AI)半导体。

据科学信息通信技术部透露,KAIST PIM半导体研究中心柳海俊教授团队开发出了处理GPT-2的“互补变压器”AI芯片,该芯片的功耗为400毫瓦,速度为0.4秒。

该部门解释说,利用三星电子的28纳米工艺开发的4.5毫米平方的芯片,与全球人工智能芯片巨头英伟达的A-100 GPU相比,功耗减少了625倍,后者处理llm需要250瓦的功率。

该芯片的面积也比英伟达的型号小41倍,使其能够用于手机等设备,从而更好地保护用户的隐私。

韩国科学技术院(KAIST)研究委员金尚烨(音)在当天举行的记者招待会上表示:“在世界上首次在智能手机Galaxy S24上安装了实时翻译电话、提高相机性能等内置人工智能(AI)的智能手机上,利用LLM加速器成功地演示了多种语言处理任务。”

(LEAD) KAIST开发下一代超低功耗LLM加速器

A photo describing an artificial intelligence chip which processes a large language model with neuromorphic computing technology provided by the Ministry of Science and ICT on March 6, 2024 (PHOTO NOT FOR SALE) (Yonhap)

信息通讯部表示,利用像人类大脑一样运作的神经形态计算技术,特别是脉冲神经网络(SNNs),是实现这一成就的关键。

此前,该技术的准确性低于深度神经网络(dnn),主要用于简单的图像分类,但研究团队成功地提高了该技术的准确性,使其与dnn相匹配,并将其应用于llm。

该团队表示,新型AI芯片利用融合dnn和snn的独特神经网络架构,在保持精度的同时,优化了计算能耗,并有效压缩了llm的大参数。

“神经形态计算是IBM和英特尔等全球科技巨头未能意识到的技术。我们相信我们是第一个使用超低功耗神经形态加速器运行LLM的人。”

nyway(结束)

上一篇:Leni Robredo的Angat Buhay: e-Konsulta自恢复以来帮助了6000名患者
下一篇:玩家辅助神器:“开心十三水胜率对照表”(曝光透视必备猫腻)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~