麻省理工学院发现更小更容易训练的神经网络,或有望推动技术改革

神经网络技术起源于上世纪五、六十年代,当时叫感知机,拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果。2in每天发布大量与生活相关的资讯平台

尽管人工智能取得了很大的进步,但现在大多数基于人工智能的产品仍然依赖于“深度神经网络”。这种网络通常非常大,而且训练成本高得令人望而却步。2in每天发布大量与生活相关的资讯平台

麻省理工学院的研究人员希望改变这一现状。在今天发表的一篇论文中,研究人员揭示了神经网络中包含的“子网络”,比之前的网络小10倍,而且可以更便宜、更快地进行训练。2in每天发布大量与生活相关的资讯平台

为了训练大多数神经网络,工程师给它们提供大量的数据集,但这可能需要几天的时间和昂贵的GPUs。2in每天发布大量与生活相关的资讯平台

2in每天发布大量与生活相关的资讯平台

来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员发现,在这些训练有素的网络中,有更小的子网络,可以做出同样准确的预测。2in每天发布大量与生活相关的资讯平台

CSAIL所谓的“彩票假说”就是基于这样一种观点,即训练大多数神经网络就像买所有的彩票,以确保中奖。相比之下,训练子网就像只买有奖的那张彩票一样。2in每天发布大量与生活相关的资讯平台

问题在于,研究人员还没有想出如何在不构建完整神经网络的情况下找到这些子网,然后修剪掉不必要的位。研究人员目前还没有找到这些子网络的方法。2in每天发布大量与生活相关的资讯平台

如果他们能找到一种方法跳过这一步,直接进入子网络,那么这一过程可以节省数小时的工作。并使训练神经网络不仅仅对大公司开发而且对单个程序员开放。2in每天发布大量与生活相关的资讯平台

但是,如何有效地找到子网络,并明确为什么有些子网在训练上比其他子网表现地更好,可能会让研究人员忙上几年。2in每天发布大量与生活相关的资讯平台

也许你还喜欢

steam图片加载不出来 steam创意工

steam图片加载不出来 解决方法一:检查网络环境 如果您遇到了Steam加载不出图片的问

steam无法添加好友怎么做 steam添

steam无法添加好友怎么做,steam添加好友不符合此功能要求怎么办,steam帐户恢复尝试次数

steamdeck价格是怎样 Steam Deck能

steamdeck价格是怎样,Steam Deck能玩什么游戏,新版steam设置启动项不见了,steam手机版怎

windows7安装教程和操作步骤 win7

windows7安装教程和操作步骤,win7系统版本详细介绍,安装Windows7最低配置要求,如何满足Wi

steam关闭开机自启 steam手机版换

steam关闭开机自启,steam手机版换手机了怎么登录,steam游戏闪退解决方法,steam平台上下载

steam手机版打不开解决方法 steam

steam手机版打不开解决方法,steam客户端打不开商店怎么办,steam打开出错怎么办,steam手机

steam怎么关闭开机自启 Steam新界

steam怎么关闭开机自启,Steam新界面如何设置,steam启动游戏几秒自动关闭,steam游戏自动关

steam为什么不能加好友 steam添加

steam为什么不能加好友,steam添加好友的具体操作方法,steam家庭共享可以一起玩吗,steam游

steam重复次数过多要等多久 怎么解

steam重复次数过多要等多久以及解决办法,steam退款到账时间要多久,steam跳转微信/支付宝

steam怎么改手机号 steam手机令牌

steam怎么改手机号,steam手机令牌怎么移除,steam账号注册规则,steam密码怎么填写,相信大家