首页 国内 国际 要闻 社会 文化 健康 科技 教育 旅游 财经 实时

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

2021-02-22 10:00:42 来源:深圳都市晚报
分享: 微信

在自动驾驶等许多重要应用中,数据都是实时动态的,并且时不时还会出现一些意外情况。为了高效地应对这一问题,MIT 的研究者受生物神经元启发而设计了一种新型神经网络,并且他们还通过理论证明和实验验证体现了该神经网络的有效性。相关代码也已公布。

麻省理工学院(MIT)的研究者开发出了一种新型的神经网络,其不仅能在训练阶段学习,而且还能持续不断地适应。他们将这种灵活的算法命名为「Liquid」网络,因为其能像「液体」一样改变其底层的数学方程以持续适应新的输入数据。这一进展能助力基于动态变化数据的决策任务,比如医疗诊断和自动驾驶中涉及到的任务。

论文地址:https://arxiv.org/pdf/2006.04439.pdf

代码地址:https://github.com/raminmh/liquid_time_constant_networks

「这条路能迈向未来的机器人控制、自然语言处理、视频处理——任何形式的时间序列数据处理。」该研究的主要作者 Ramin Hasani 说,「它的潜力确实很大。」

该研究论文是 AAAI 2021 会议入选论文之一。

Hasani 说,为了理解世界,时间序列数据不仅无处不在,而且至关重要,不可或缺。「真实世界都与序列有关。我们的感知方式也是如此——你感知的不是图像,而是图像的序列。」他说,「因此,时间序列数据实际上创造了我们的现实。」

他指出,视频处理、金融数据和医疗诊断应用都涉及到时间序列,而且这些应用对我们的社会至关重要。这些不断变化的数据流的变化情况难以预测。但是,如果能够实时地分析这些数据,并将它们用于预测未来的行为,那么就能极大促进自动驾驶等技术的发展。

Hasani 等研究者设计了一种能适应实时世界系统的变化的神经网络。神经网络的设计灵感来自生物大脑,而 Hasani 说他们的这种特定神经网络的设计灵感直接来自秀丽隐杆线虫(C. elegans)。他说:「它的神经系统仅有 302 个神经元,但却可以产生超出预期的复杂动态。」

通过仔细观察秀丽隐杆线虫的神经元的激活方式以及彼此通过电脉冲通信的方式,Hasani 编码出了他的神经网络。在其用于构建神经网络的方程式中,参数可基于一组嵌套的微分方程的结果而随时间变化。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

算法 1:由聚合的常微分方程(ODE)求解算法实现的 Liquid 时间常量(LTC)循环神经网络,其中 θ 是参数空间,f 可以是任意激活函数。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

算法 2:通过随时间反向传播(BPTT)训练 LTC。

这种灵活性是其中的关键。在训练阶段之后,大多数神经网络的行为都会固定下来,这意味着它们难以根据输入数据流的变化而进行调整。Hasani 说他的Liquid 网络的流动性使其能更弹性地应对意料之外的数据或噪声数据,比如滂沱的暴雨遮蔽了自动驾驶汽车的摄像机视野。「也就是说,它更加鲁棒。」

Hasani 并补充道网络灵活性还有另一大优势:「它也更能被解释。」

Hasani 说他的Liquid 网络规避了其它神经网络常见的难解性。「只是改变神经元的表征方式,你就可以探索以其它方式无法探索的某种程度的复杂性。」Hasani 采用的改变方式是使用微分方程。得益于这种数量少但却具有高度表征能力的神经元,可以更轻松地窥探网络决策过程的「黑箱」并诊断网络为何具有某种特定的特征。

Hasani 说:「这个模型本身具有丰富的表现力。」这能够帮助工程师理解和提升 Liquid 网络的性能。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

图 1:通过轨迹长度衡量表现力,静态深度网络的轨迹隐含空间会随着输入穿过隐含层而变得更加复杂。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

图 2:通过轨迹长度衡量表现力,使用不同激活函数的 LTC。

Hasani 的网络在一系列测试中都取得了出色表现。在从大气化学到交通模式分析等多种任务中,新提出的方法在预测未来值方面的表现优于其它当前最佳时间序列算法几个百分点。此外,由于该网络尺寸小,因此在测试的计算成本也低得多。「每个人都在谈扩大他们的网络」,Hasani 说,「我们想的是缩小,以便获得更少但更丰富的节点。」

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

时间序列预测结果。

Hasani 计划继续改进该系统,并探索其行业应用。「受大自然启发,我们已经有了一个得到证明的更有表现力的神经网络。但这个过程才刚刚开始。」他说,「显而易见的问题是:我们如何扩展它?我们认为这类网络将成为未来智能系统的关键组件。」

 


(责任编辑:深圳都市晚报)


免责声明:本站所有文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考;文章版权归原作者所有!本站作为信息内容发布平台,信息均由网友投稿发布,页面展示内容的目的在于传播更多信息;本站内容不参与任何的商业性质服务与用途,阁下应知本站所提供的内容不能做为操作依据。如本文内容影响到您的合法权益(含文章中内容、图片等),请及时联系我们,我们核实后会及时删除处理。

相关文章

Redmi Max新款电视即将发布,大到差点进不了电梯!

站长之家(ChinaZ.com)2月23日 消息:小米电视官方微博在今天正式发布预告,即将在2月25日的发布会上,将会推出一款RedmiMax大尺寸的电视产品,这款产品的尺寸可能会大到差点无法进入电梯!除了暗示这款电视产品尺寸很大之外,官...

来源:深圳都市晚报

联想拯救者刃7000P 2021官宣:R7 5800加持 全景侧透

2月23日消息,今天,联想中国游戏台式机产品规划经理@WolStame 宣布了拯救者刃7000P 2021的最新消息,号称“性能跃迁、跨级释放”。据了解,联想拯救者刃7000P 2021搭载AMD R7 5800处理器,240mm水冷散热,200W主板供...

来源:热点资讯播报

女孩坐货拉拉跳车身亡司机被刑拘 原因竟是这样实在令人痛心

女孩坐货拉拉跳车身亡司机被刑拘 原因竟是这样实在令人痛心!既然只是把公司视为一个中介,不过是为司机提供一个平台,搬家车辆上自然也不会安装音视频摄录设备,以确保服务的规范合法...

来源:热点资讯

LG能源解决方案已开始建造特斯拉4680电池试点产线

【TechWeb】2月23日消息,据国外媒体报道,韩国动力电池企业LG化学(LG Chem)分拆出来的电池业务LG能源解决方案(LG Energy Solution)已开始建造特斯拉4680电池试点产线,该生产线的运营时间可能早于松下。知情人士表示,LG能源解...

来源:热点资讯播报

福奇:美国新冠肺炎死亡人数超50万主因是政治分裂

当地时间2月22日,美国新冠死亡人数已超过50万,位列世界首位,该数字与新冠死亡人数排列第二名的巴西相比,是后者的两倍多。对此,美国传染病专家安东尼·福奇博士表示,政治分歧为造成美国目前这个极高新冠死...

来源:热点资讯

韦德布什分析师:多达5% 的上市公司将追随特斯拉购买比特币

【TechWeb】2月23日消息,据国外媒体报道,韦德布什证券(Wedbush Securities)分析师丹•艾夫斯(Dan Ives)表示,特斯拉战略性地拥抱比特币(BTC) ,将极大促进更多企业开始采用这种数字资产。艾夫斯周一在接受采访时表示,特...

来源:广州都市报

双旗舰全系同屏!Redmi K40系列标配全球最小中微孔屏

【TechWeb】2月21日消息,根据此前官宣的消息,全新的Redmi K40系列旗舰将于2月25日正式发布,而随着发布会进入最后的倒计时,Redmi官方的预热行动也进入了最后的冲刺状态,关于该机越来越多的重磅细节也得以最终确认。现在有...

来源:深圳文化之窗

放弃iPad mimi?苹果密谋更大尺寸iPhone:支持手写笔

如果iPhone屏幕尺寸继续增加,同时也解决了便携性的问题,那么大概率苹果是要放弃iPad mini的。据外媒报道称,苹果正在准备一款7英寸可折叠iPhone,并且提供Apple Pencil支持,不过它可能没有这么快到来。据悉,这款设备将搭载OL...

来源:深圳都市晚报

OPPO进一步开放VOOC闪充技术授权 闪充生态建设进入快车道

【TechWeb】2月23日,在刚刚拉开帷幕的MWC21上海大会上,OPPO广东移动通信有限公司(以下简称:OPPO)以“快·进未来”为主题,举行闪充生态沟通会。OPPO将携手一汽大众、NXP(恩智浦半导体)、Anker(安克)等合作伙伴,...

来源:深圳热点资讯

北美半导体生产设备制造商1月份销售额30.4亿美元 首次超过30亿美元

【TechWeb】2月23日消息,据国外媒体报道,在12月份终结连续两个月同比下滑的颓势之后,北美半导体生产设备制造商的月度销售额,在1月份环比仍在增长,并且创下了新高。北美半导体生产设备制造商的月度销售额,是由国际半导体设...

来源:深圳文化之窗

合作联系

联系方式

中华网新媒体 财经频道
互动/投稿邮箱:
852414410@qq.com
网上不良信息举报QQ:852414410
内侵权删除处理QQ:852414410
本站涵盖的内容、图片、视频等内容均由网友自助投稿或发布,本站不对内容真实性承担责任。若涉内容及版权问题,请联系我们进行删除!