AI疯狂进阶——激活函数篇

摘要:北京时间20191215关于【AI疯狂进阶——激活函数篇】的具体情况和说明,让www.scjzy.cn新闻频道的以图文形式为您慢慢道来。

本文作者专注于AI进阶算法,如有兴趣可持续关注后续系列文章。

激活函数对于人工神经网络模型学习、理解非常复杂的数据来说具有十分重要的作用。激活函数给神经元引入了非线性因素,使得神经网络可以逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。目前最常见的激活函数当属ReLU以及在其基础上改进的如PReLU,RReLU,LeakyReLU等。本文在激活函数上进行了进阶总结,下面一一阐述:

1.如何评价激活函数的好坏?

目前学术界总计有50+类型的激活函数,但没有统一的或者明确的标准去衡量激活函数的好坏,最根本的原因是因为神经网络通过训练本质上是去拟合训练数据的非线形分布,然而现实中数据的分布是无法统计的,所以采用哪种激活函数能拟合的更好是无法通过理论去推导出来,因此大部分论文都是通过在几十种不同的任务上做实验去看准确率以及准确率浮动的范围(稳定性)来评判激活函数的好坏。从最近研究出的一些比较好的激活函数中可以总结出好的激活函数必须拥有以下三个特点:

(1) Unboundedness(x>0无饱和区域):传统的激活函数如sigmoid和tanh函数都有饱和区域,所以必须依赖较好的初始化让输入数据处于非饱和区域,否则饱和区域产生的梯度过小会影响收敛速度,而Relu系列都是x>0无饱和区域。

(2)NegativeOutputs(x<0产生非0值):Relu在x<0的值全都是0,而PReLU,RReLU,LeakyReLU最大的共同改进点就是在x<0产生非0值,少量的NegativeOutputs能减少神经元训练过程中出现"die"的概率,提升模型的鲁棒性。

(3)Smoothness(平滑性):Relu,PReLU,RReLU都是阶跃函数,阶跃函数在特征响应图上最明显的现象是断层,而平滑的激活函数更利于梯度信息的回传。

2.ReLU存在的的一些问题

(1)Dead ReLU Problem:《Applying Deep Learning to Airbnb Search》中解释了这个问题,神经网络接受异于常值范围的输入时,在反向传播过程中会产生大的梯度,这种大的梯度,会因梯度消失而永久关闭诸如 ReLU 的激活函数,这主要是ReLU没有NegativeOutputs所带来的问题。下面举了个简单的例子说明这个现象。

(2)Yield High-Confidence Predictions Far Away From the Training Data

:《Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Dataand How to Mitigate》中针对例如将一个在CIFAR 10数据集(10类普通物体)上训练的神经网络,放到SVHN数据集(街景门牌)上做测试,该模型竟然能够以100%的置信度将门牌识别为狗、鸟和飞机等这种现象,通过理论建模,解释ReLU带来的高置信度问题,并提出CEDA和ACET来缓解这种不良情况。

3.存在替换万年ReLU的激活函数吗?

答案是肯定的。本文作者在这里给大家推荐2个激活函数。这2个激活函数在自己的工程项目中都尝试过,相比Relu均有稳定0.5%左右的提升。仅仅改变激活函数就能带来白给的提升,何乐而不为?第一个是Google Brain提出的Swish函数,其形式为f(x) = x · sigmoid(x) ,《SWISH: A SELF-GATED ACTIVATION FUNCTION 》论文在多个任务上实验精度都超过Relu,同时在2019年推出的端侧引擎MobilenetV3中,也是直接用Swish替换掉Relu。另一个是Mish函数,其形式为() = ⋅ h(ln(1 + xp(x)),《Mish: A Self Regularized Non-Monotonic Neural Activation Function 》也是在多个任务上实验最终准确度上比Swish(+.494%)和ReLU(+ 1.671%)都有提高。从下图可以看出Swish和Mish在特征图上数据分布比Relu更加平滑。由于激活函数替换的成本较低,所以当你看到这篇文章的时候,可以尝试在自己的项目中采用这2个激活函数试一试,说不定就能带来一定的提升。

4.小结

激活函数一直是神经网络研究中的一个重要方向,未来也会有更多更好的激活函数出现,如果不知道采用哪个激活函数好,可以采用Auto ML进行搜索。

如需转载,请注明出处。


查看更多
36微拍福利视频|我喜欢的人喜欢渣男小说|dapp|综合天天干|中文字幕无线在线视频|日韩av有字|香蕉视频下载安卓版污|国产精品991|免费人做人爱无码视频|国产a精品 在线|www 11axax.cn|抖音里妈妈诶是什么|影音先锋男人站|老司机福利葵花宝典|成年男人福利小视频|天海翼 ipz847在线观看|野性王国在线播放无码|久久这里只有是精品6|佐鸣漫画|偷偷藏不住小说|

实时推荐

具备通车条件!阳泉这条东西向主干道即将“启程”
推荐 2020-08-09 11:42 768 7065
安师大附属肥东实验学校与实验中学举行教师高级研修班开班典礼
推荐 2020-08-09 11:42 493 9802
德州市陵城区首届“万步有约”健走激励大赛启动
推荐 2020-08-09 11:41 622 5336
新野上庄召开助残脱贫攻坚大排查、大比对、大整改工作会
推荐 2020-08-09 11:41 619 7180
预防肝癌,最“中用”的就是这3条!你顶多知道一个
推荐 2020-08-09 11:41 582 3276
王者荣耀:S20防抓公式来袭,4个节点看小地图,可抵御80%的进攻
推荐 2020-08-09 11:41 363 9999
【聚焦】张为检察长到康平县院调研指导工作
推荐 2020-08-09 11:41 562 3521
女子1200多万买6套房10年未交付!一查惊呆了
推荐 2020-08-09 11:41 807 3475
视窗 | 江苏无锡:点亮运河夜经济
推荐 2020-08-09 11:41 229 4825
15楼起火灭火途中消防栓没水了 物业反要追究业主责任
推荐 2020-08-09 11:41 786 1848
会理县召开2020年“民族团结进步宣传月”工作会
推荐 2020-08-09 11:41 427 1738
合肥派河4座桥梁桩基工程完工 明年5月全部通车
推荐 2020-08-09 11:41 719 6589
字母哥34+13难掩1人高光!7尺3D轰34+6三分创两新高
推荐 2020-08-09 11:41 484 7640
詹科对决!科比迷弟率队5连胜,狂追西部第八,他或弥补球迷遗憾
推荐 2020-08-09 11:41 579 5342
景洪市举行第一届“新时代文明实践号”和“雷锋号”公交车颁证授牌活动
推荐 2020-08-09 11:41 810 1964
古人都爱把银票放袖子里,难道不怕掉下来吗?古人的智慧让人折服
推荐 2020-08-09 11:41 932 2417
魏忠贤与东林党的斗争,为什么失败?不是能力的原因,是势所必然
推荐 2020-08-09 11:41 991 1410
黄晓明热到脱妆,张亮背湿透,赵丽颖穿毛衣录制,状态让人心疼!
推荐 2020-08-09 11:40 866 3229
娱乐圈四大当红小花,顶着盛世美颜演技却一塌糊涂,片酬还高的吓人
推荐 2020-08-09 11:40 239 2947
身上哪些部位出现肿块可能是癌症的预兆 早发现早检查准没错
推荐 2020-08-09 11:40 139 7577
活着难死了冤,《潜伏》里的两个倒霉特务:看着是否可恨又可怜?
推荐 2020-08-09 11:40 665 2357
IG常规赛收官战来临,或将集体整活?粉丝喊话5AD阵容!
推荐 2020-08-09 11:40 871 1593
原创 肖战最受欢迎的4个角色,魏无羡其实还行,而他才是颜值巅峰
推荐 2020-08-09 11:40 96 6617
潮流科技人生 智能触手可及 吉利 ICON光影科技空间展
推荐 2020-08-09 11:40 281 8094
满汉全席宴的来历,总共有多少道菜?
推荐 2020-08-09 11:40 980 5716
阿拉斯加和主人走散,流落在外生活,受了伤也没人上前去帮忙
推荐 2020-08-09 11:40 301 1767
首次搬上中国话剧舞台《解忧杂货店》亮相泉州
推荐 2020-08-09 11:40 417 6157
有种差距叫明星当“导师年龄”:鹿晗奔三,王一博20岁,而他竟未成年!
推荐 2020-08-09 11:40 422 1212
入围MVP候选前3行列算喜讯,当选机会渺茫?哈登该专注一目标
推荐 2020-08-09 11:40 184 4245
7岁孩子患胃癌,19岁少女胃癌晚期,癌症从不嫌你太年轻
推荐 2020-08-09 11:40 910 7545
刚刚送到!无锡今年第一封录取通知书
推荐 2020-08-09 11:40 982 4331
张继科脾气冲上热搜,敢为少年发声,还是发火成习惯?
推荐 2020-08-09 11:40 952 2696
只有iPhone手机值得买?这几款国产旗舰机,也能让你用了再也回不去!
推荐 2020-08-09 11:40 943 2604
「碧蓝幻想」四格漫画「小碧蓝幻想!」TV动画10月开播
推荐 2020-08-09 11:40 145 9135
板蓝根也要谈恋爱!《亲爱的药王大人》带来暑期的甜蜜暴击
推荐 2020-08-09 11:40 996 8627
欢乐谷免票引来旅游热
推荐 2020-08-09 11:40 581 500
以为是烂剧,却“越看越上头”的4部剧,你若全看过,确实是赚了
推荐 2020-08-09 11:40 168 8967
64部国漫!诛仙!龙族!紫川!盗笔!斗罗!斗破!狐妖!魁拔!
推荐 2020-08-09 11:40 743 2570
太皮了!太阳官推打脸ESPN,布克19中15,五连胜创纪录
推荐 2020-08-09 11:40 284 2441
她是马伊琍的闺蜜,却撬了她前男友,如今老公与冯小刚平起平坐
推荐 2020-08-09 11:40 864 6123
这些天然降压药你知道吗?别再只依赖药物了!
推荐 2020-08-09 11:39 561 925
理想汽车称霸美国股市,一天市值增至近千亿,理想ONE功不可没
推荐 2020-08-09 11:39 748 6275
警惕:威胁狗狗健康最大的是这三种疾病
推荐 2020-08-09 11:39 416 5356
青你2总决赛了,这个宿舍却稳如泰山,前九出道位就占了三个
推荐 2020-08-09 11:39 701 5192
李现被跟拍两个月,狗仔一句:你不会又发微博吧?网友:太惨了
推荐 2020-08-09 11:39 477 7841
尤文换帅内幕曝光!C罗逼宫高层解雇萨里,大将为主帅下课点赞
推荐 2020-08-09 11:39 744 4383
潍坊高密市:“小管家”促进“大幸福”,以党建引领城建提质
推荐 2020-08-09 11:39 182 4280
德宏:10个单位党委(党组)书记向州纪委常委会专题报告落实全面从严治党主体责任情况
推荐 2020-08-09 11:39 971 4722
古雷开发区召开城乡居民社会养老保险缴费工作动员部署会
推荐 2020-08-09 11:39 196 6284
白宇再次参加《奔跑吧》,却只与一人主动打招呼,啥时候认识的
推荐 2020-08-09 11:39 327 9035
哈弗大狗,能带你去绝大部分地方的好伙伴?
推荐 2020-08-09 11:39 865 7910
毁林容易种林难 珍惜每一片绿
推荐 2020-08-09 11:39 622 4236
赵丽颖因为《中餐厅》剪辑被吐槽,而她却因剪辑收获路人缘
推荐 2020-08-09 11:39 992 8776
看见金毛爬上床上前训斥,结果它一回头的那刻,主人瞬间笑坏了
推荐 2020-08-09 11:39 510 6397
《中餐厅》第二期播出,丽颖深陷焦虑,店长暖心劝解
推荐 2020-08-09 11:39 888 2886
二哈趁主人不在拆家,主人愤怒这样惩罚它,二哈顿时懵逼了!
推荐 2020-08-09 11:39 160 6044
李重茂是唯一不被正史承认的唐朝皇帝?非也,他是公认的唐朝皇帝
推荐 2020-08-09 11:39 702 9797
考古队在长沙发现一种瞬间消失文物,幸好手快,留下唯一一张照片
推荐 2020-08-09 11:39 484 2705
明朝的左都御史是个什么官职?相当于现在的什么部门?
推荐 2020-08-09 11:39 176 4355
当男星遇上“健身照”,王俊凯帅气,邓伦有型,看到王甜甜:要起飞?
推荐 2020-08-09 11:39 817 9880
跑男吃面条,镜头对baby一晃而过,被网友截到,真吃假吃一目了然
推荐 2020-08-09 11:39 699 2078
这届网友趣味奇特,黄圣依打死也想不到,自己会以这种方式翻红
推荐 2020-08-09 11:39 898 5631
为什么南北会有土壤的酸碱之分?有什么影响?
推荐 2020-08-09 11:39 628 2045
停赛前已是队内得分王,复赛后得分还能翻番,球队老大又要易主?
推荐 2020-08-09 11:39 283 6388
莫小棋有多美?这组活动照曝光后,网友热评:除了她真没人敢这么穿!
推荐 2020-08-09 11:39 399 6448
婚后依然沉迷夜店,不顾老婆待产,郑恺这次该怎么喊冤?
推荐 2020-08-09 11:39 742 1430
黎姿变美甲师为三个女儿涂指甲油,自夸手艺专业,女儿们非常满意
推荐 2020-08-09 11:39 855 9939
记者袁方终于低头认错:真诚向所有人道歉
推荐 2020-08-09 11:39 117 9963
望江县高士派出所狠抓常态化练兵 提升队伍实战本领
推荐 2020-08-09 11:39 919 1806
原创 有种“差距”叫男星哭戏落泪,邓伦哭出双眼皮、任嘉伦咬手指,而他面无表情
推荐 2020-08-09 11:38 942 1128
二季度农产品抽检总体合格率97.1% 同比上升0.3个百分点
推荐 2020-08-09 11:38 559 8169
炖红烧肉时,到底是放冰糖还是放白砂糖?大厨今天就告诉你
推荐 2020-08-09 11:38 957 6840
一个茄子,一个青椒,午饭做一锅,家人都爱吃,比吃鱼肉香
推荐 2020-08-09 11:38 561 5802
“不忘初心跟党走”书画名家挥毫泼墨谱真情
推荐 2020-08-09 11:38 612 1182
绝地求生预告丨决赛最终日,夏季赛冠军即将诞生!
推荐 2020-08-09 11:38 621 9632
平遥县召开扬尘污染整治工作推进会
推荐 2020-08-09 11:38 936 3280
不知道这些别说自己会电脑 最详细计算机的组成及分类介绍(上)
推荐 2020-08-09 11:38 248 7691
RNG最后一场后小虎是否退役,FPX是否控分选择有利的半区?
推荐 2020-08-09 11:38 736 6257
王楠罕见写真,烈焰红唇,姿态端庄,神似海清,贵妇范十足!
推荐 2020-08-09 11:38 203 651
如果关羽在华容道上杀了曹操,会怎样?三个后果,没人能够承担
推荐 2020-08-09 11:38 152 4810
郭晓峰《锦衣之下》:陆绎带来一句逝者已矣,令杨程万思绪万千
推荐 2020-08-09 11:38 509 8463
原创 都说“段家宝”跟热巴很像,本来还不信,看到出道旧照:我没眼花吧?
推荐 2020-08-09 11:37 824 1457
微软或于本月公布Xbox Series X的系统架构信息
推荐 2020-08-09 11:37 271 918
原创 历史上的“起居注”,为何皇帝都不能观看?
推荐 2020-08-09 11:37 895 619
这位弥勒人在石洞里读书,当了大官
推荐 2020-08-09 11:37 610 3026
潘金莲真是水性杨花的女子吗?看完她的真实经历,才知我们都错了
推荐 2020-08-09 11:37 920 4321
申花战大连首发浮现:3外援最强出击,于汉超顶替曹赟定重组锋线
推荐 2020-08-09 11:37 466 4180
#广东险胜北京#王者归来!易建联复出18+14+3+3率队晋级总决赛!
推荐 2020-08-09 11:37 381 1051
2U超级电池最新进展,2U新能源汽车造型首次亮相
推荐 2020-08-09 11:37 268 3834
潍坊市中医院提醒睡梦中突然头痛恶心可能是蛛网膜下腔出血
推荐 2020-08-09 11:37 867 3412
芒市2020年全民健身活动暨健康促进市创建工作正式启动
推荐 2020-08-09 11:37 180 3471
折腾来去后,WE又回到了第八名,硬伤不解决可能很难走远
推荐 2020-08-09 11:37 623 9958
DNF:时间结晶“崩盘”,旭旭宝宝23W个进入拍卖行
推荐 2020-08-09 11:37 189 5804
我们用1小时,让你爱上靓丽内蒙古
推荐 2020-08-09 11:37 722 1829
本溪高峪派出所三项举措为群众财产上“锁”
推荐 2020-08-09 11:37 270 2395
凌晨出击、午夜行动、高温猎“赖”、冒雨执行......全市法院掀起新一轮执行高潮
推荐 2020-08-09 11:37 248 7109
《中餐厅》看点多,双厨CP承包笑点,李浩菲情商高赵丽颖有点惨
推荐 2020-08-09 11:37 241 7653
乡村旅游品质升级 富民县首届半山蔬菜园艺博览会精彩纷呈
推荐 2020-08-09 11:37 229 5932
句容市——海州区开展联建对接活动
推荐 2020-08-09 11:37 265 8282
为何古代打仗一方高挂免战牌,对手真就听话不进攻?强攻会怎样?
推荐 2020-08-09 11:37 711 2290