AI疯狂进阶——激活函数篇

摘要:北京时间20191215关于【AI疯狂进阶——激活函数篇】的具体情况和说明,让www.scjzy.cn新闻频道的以图文形式为您慢慢道来。

本文作者专注于AI进阶算法,如有兴趣可持续关注后续系列文章。

激活函数对于人工神经网络模型学习、理解非常复杂的数据来说具有十分重要的作用。激活函数给神经元引入了非线性因素,使得神经网络可以逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。目前最常见的激活函数当属ReLU以及在其基础上改进的如PReLU,RReLU,LeakyReLU等。本文在激活函数上进行了进阶总结,下面一一阐述:

1.如何评价激活函数的好坏?

目前学术界总计有50+类型的激活函数,但没有统一的或者明确的标准去衡量激活函数的好坏,最根本的原因是因为神经网络通过训练本质上是去拟合训练数据的非线形分布,然而现实中数据的分布是无法统计的,所以采用哪种激活函数能拟合的更好是无法通过理论去推导出来,因此大部分论文都是通过在几十种不同的任务上做实验去看准确率以及准确率浮动的范围(稳定性)来评判激活函数的好坏。从最近研究出的一些比较好的激活函数中可以总结出好的激活函数必须拥有以下三个特点:

(1) Unboundedness(x>0无饱和区域):传统的激活函数如sigmoid和tanh函数都有饱和区域,所以必须依赖较好的初始化让输入数据处于非饱和区域,否则饱和区域产生的梯度过小会影响收敛速度,而Relu系列都是x>0无饱和区域。

(2)NegativeOutputs(x<0产生非0值):Relu在x<0的值全都是0,而PReLU,RReLU,LeakyReLU最大的共同改进点就是在x<0产生非0值,少量的NegativeOutputs能减少神经元训练过程中出现"die"的概率,提升模型的鲁棒性。

(3)Smoothness(平滑性):Relu,PReLU,RReLU都是阶跃函数,阶跃函数在特征响应图上最明显的现象是断层,而平滑的激活函数更利于梯度信息的回传。

2.ReLU存在的的一些问题

(1)Dead ReLU Problem:《Applying Deep Learning to Airbnb Search》中解释了这个问题,神经网络接受异于常值范围的输入时,在反向传播过程中会产生大的梯度,这种大的梯度,会因梯度消失而永久关闭诸如 ReLU 的激活函数,这主要是ReLU没有NegativeOutputs所带来的问题。下面举了个简单的例子说明这个现象。

(2)Yield High-Confidence Predictions Far Away From the Training Data

:《Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Dataand How to Mitigate》中针对例如将一个在CIFAR 10数据集(10类普通物体)上训练的神经网络,放到SVHN数据集(街景门牌)上做测试,该模型竟然能够以100%的置信度将门牌识别为狗、鸟和飞机等这种现象,通过理论建模,解释ReLU带来的高置信度问题,并提出CEDA和ACET来缓解这种不良情况。

3.存在替换万年ReLU的激活函数吗?

答案是肯定的。本文作者在这里给大家推荐2个激活函数。这2个激活函数在自己的工程项目中都尝试过,相比Relu均有稳定0.5%左右的提升。仅仅改变激活函数就能带来白给的提升,何乐而不为?第一个是Google Brain提出的Swish函数,其形式为f(x) = x · sigmoid(x) ,《SWISH: A SELF-GATED ACTIVATION FUNCTION 》论文在多个任务上实验精度都超过Relu,同时在2019年推出的端侧引擎MobilenetV3中,也是直接用Swish替换掉Relu。另一个是Mish函数,其形式为() = ⋅ h(ln(1 + xp(x)),《Mish: A Self Regularized Non-Monotonic Neural Activation Function 》也是在多个任务上实验最终准确度上比Swish(+.494%)和ReLU(+ 1.671%)都有提高。从下图可以看出Swish和Mish在特征图上数据分布比Relu更加平滑。由于激活函数替换的成本较低,所以当你看到这篇文章的时候,可以尝试在自己的项目中采用这2个激活函数试一试,说不定就能带来一定的提升。

4.小结

激活函数一直是神经网络研究中的一个重要方向,未来也会有更多更好的激活函数出现,如果不知道采用哪个激活函数好,可以采用Auto ML进行搜索。

如需转载,请注明出处。


查看更多

实时推荐

“大美宿州”专列苏沪“接亲”返乡
推荐 av在线看 2020-01-23 09:14 291 8416
兰州:花灯璀璨迎新春
推荐 av在线看 2020-01-23 09:14 276 5371
甘肃省政府同意设立培黎职业学院
推荐 av在线看 2020-01-23 09:14 543 2501
福建省计量院成为国家市场监管总局科普基地
推荐 av在线看 2020-01-23 09:14 501 5241
临夏州群众开启了“买买买”的购置年货模式
推荐 av在线看 2020-01-23 09:14 302 5829
“海丝平安驿站”在泉州启动
推荐 av在线看 2020-01-23 09:14 588 8212
兴县:消防救援大队录制新春贺岁视频 向全县人民拜年
推荐 av在线看 2020-01-23 09:14 277 763
三十六载"中华第一车" 我为"你"值乘最后一个冬季
推荐 av在线看 2020-01-23 09:14 863 9732
【新春走基层】"第一书记"当起推销员带领村民甩掉穷帽子
推荐 av在线看 2020-01-23 09:14 668 9903
「人文芷江」“芷”迎新春,“鼠”你精彩
推荐 av在线看 2020-01-23 09:14 250 3709
临沭县青云镇开展春节期间农村人居环境整治工作
推荐 av在线看 2020-01-23 09:14 969 9807
收下交通礼包 安全“鼠”于你
推荐 av在线看 2020-01-23 09:14 401 3200
甘肃省生态环境厅发布14个城市12月份环境空气质量排名情况
推荐 av在线看 2020-01-23 09:14 195 3685
保利国际影城淄博文化中心店开票仪式举行
推荐 av在线看 2020-01-23 09:13 577 4551
太原市部署新型冠状病毒感染的肺炎疫情防控工作
推荐 av在线看 2020-01-23 09:13 730 1553
“魔术师”约翰逊篮球艺术指挥官,感染艾滋病毒近三十年依旧健在
推荐 av在线看 2020-01-23 09:13 339 3006
《陈情令》日版定档海报曝光 将在每周四4集连播
推荐 av在线看 2020-01-23 09:13 475 8500
一场热身赛看出卡帅意图,左后卫真要内部挖掘,李学鹏替代者浮现
推荐 av在线看 2020-01-23 09:13 804 5500
247.5万美元!霍华德挂牌出售豪华公寓,别替他的奶粉钱操心
推荐 av在线看 2020-01-23 09:13 558 7204
宾得DFA70-210/4定价和规格曝光
推荐 av在线看 2020-01-23 09:13 652 8849
索尼可能会在奥运会前发布新300/2.8FE
推荐 av在线看 2020-01-23 09:13 873 5881
王者归来!昔日中超1亿先生或强势翻身,新赛季有望重返主力阵容
推荐 av在线看 2020-01-23 09:13 648 9956
一场令西班牙人与武磊“双赢”的输球
推荐 av在线看 2020-01-23 09:13 938 9109
春节假期“大站快车”公交线路停运 市民乘车时需留意
推荐 av在线看 2020-01-23 09:13 698 2407
1月21日晚7:30与您相约临泽县迎新春文艺晚会
推荐 av在线看 2020-01-23 09:13 319 8744
阿司匹林应该一直吃,还是吃一段停一段?
推荐 av在线看 2020-01-23 09:13 383 7862
明星吃喝玩乐就可以把钱赚?看到易烊千玺行程表后:我太天真了
推荐 av在线看 2020-01-23 09:13 707 7676
我想听清这个世界的声音
推荐 av在线看 2020-01-23 09:13 295 6250
寒冬送福暖人心
推荐 av在线看 2020-01-23 09:13 317 4958
新春走基层·暖冬|一个个惊心动魄的瞬间,是“蓝焰特种兵”的日常
推荐 av在线看 2020-01-23 09:13 475 8194
62岁环卫阿姨唱歌吸引3千粉丝:一下班就涂口红换上高跟鞋
推荐 av在线看 2020-01-23 09:13 892 5049
刚刚买了新车过年开还没上牌咋办?不急!宝鸡车管所有人值班
推荐 av在线看 2020-01-23 09:13 421 8905
老北京秋冬润肺之小吊梨汤
推荐 av在线看 2020-01-23 09:13 930 5597
“好色”男人伪装的再好,看看这三个地方,一眼就可以看穿
推荐 av在线看 2020-01-23 09:12 518 9767
英国电动车市场份额小 政府将加倍增加资金安装充电点
推荐 av在线看 2020-01-23 09:12 788 9452
冬青奥会丨自由式滑雪女子大跳台颁奖仪式在瑞士莱森举行
推荐 av在线看 2020-01-23 09:12 506 4377
郑东新区龙湖办事处非遗民俗文化节暨年货大集圆满落幕
推荐 av在线看 2020-01-23 09:12 438 6718
市中心广场南广场:春节、元宵节音乐光影喷泉开放表演
推荐 av在线看 2020-01-23 09:12 986 3648
U23亚洲杯最新战报 韩国4年两进决赛 携手沙特锁定奥运会资格
推荐 av在线看 2020-01-23 09:12 460 8763
冬季女人吃点姜有好处 生姜怎么吃好
推荐 av在线看 2020-01-23 09:12 159 4175
唐河县桐河乡举行合作社产业奖补金发放仪式
推荐 av在线看 2020-01-23 09:12 793 9447
苏州市体育中心多场馆春节期间免费开放
推荐 av在线看 2020-01-23 09:12 107 9745
关爱农民工 千里送温暖
推荐 av在线看 2020-01-23 09:12 742 826
1月权益新基金募集超900亿 追逐“爆款”要理性
推荐 av在线看 2020-01-23 09:12 955 8338
河北省投入1.35亿元改造42家特困人员供养服务设施
推荐 av在线看 2020-01-23 09:12 101 5030
金华婺城三招破解农产品销售难
推荐 av在线看 2020-01-23 09:12 155 8946
太原铁路局:为职工配发口罩等必要的防控用品
推荐 av在线看 2020-01-23 09:12 524 4490
日照莒县三小:第四届“最美孝德少年”——于润芝
推荐 av在线看 2020-01-23 09:12 998 5045
武汉公交地铁今日停运,机场火车站离汉通道关闭
推荐 av在线看 2020-01-23 09:12 575 541
州总工会到锦宁泸矿开展“金秋助学”回访工作
推荐 av在线看 2020-01-23 09:12 496 3722
河北省重点工作大督查推进会在石家庄召开
推荐 av在线看 2020-01-23 09:12 980 4139
智能电商撬动手机回收千亿规模新市场
推荐 av在线看 2020-01-23 09:12 467 9776
年菜网购不打烊 各地线上囤酒忙
推荐 av在线看 2020-01-23 09:12 741 6721
微软将于年底前开售Xbox Series X 8K游戏机
推荐 av在线看 2020-01-23 09:12 907 6477
快讯!黑龙江气象台发布23日起未来两天天气预报
推荐 av在线看 2020-01-23 09:12 574 1780
为了旅客,一切都值得
推荐 av在线看 2020-01-23 09:12 558 6886
春节期间太原天气晴冷为主 26日至27日部分地区或有小雪
推荐 av在线看 2020-01-23 09:12 924 2633
全时四驱+水平对置+整车进口!斯巴鲁XV售19.18万起
推荐 av在线看 2020-01-23 09:12 493 7862
家访,让教育更有温度——日照莒县华材希望小学史云娜家访纪实
推荐 av在线看 2020-01-23 09:12 689 4335
狗狗除了狗粮,还要多给它吃这5种食物,它会更加健康
推荐 av在线看 2020-01-23 09:12 99 2336
西安曲江艺术博物馆斯洛文尼亚文物特展
推荐 av在线看 2020-01-23 09:12 594 2982
欢欢喜喜过大年 节后这六大品牌将密集投放新车型
推荐 av在线看 2020-01-23 09:12 517 9292
我在贵州过大年 | 贵阳:喜气迎新年,欢乐“鼠”不尽
推荐 av在线看 2020-01-23 09:11 438 9507
打出改革特色牌 长宁区推出优化营商环境36条
推荐 av在线看 2020-01-23 09:11 295 6767
上海话剧艺术中心新版话剧《原野》迎来第100场
推荐 av在线看 2020-01-23 09:11 422 6238
609万!恭喜泗洪一彩民喜中大奖
推荐 av在线看 2020-01-23 09:11 590 1702
高新区:翰墨香 新春暖
推荐 av在线看 2020-01-23 09:11 188 4102
百福千联纳吉祥——迎新春送福送春联为民服务活动圆满结束
推荐 av在线看 2020-01-23 09:11 706 5782
原创 《向往3》迎来低素质女星,吃饭唠叨还用筷子指人,难怪不被喜欢
推荐 av在线看 2020-01-23 09:11 938 4654
原创 《小欢喜》演员新合影!方一凡季杨杨变黑,林磊儿摘掉眼镜大变样
推荐 av在线看 2020-01-23 09:11 215 1118
原创 《少年派》张嘉译闫妮陷入中年“婚姻危机”,但离肯定是离不成的
推荐 av在线看 2020-01-23 09:11 711 9679
原创 TFBOYS开会时易烊千玺好任性,学王俊凯把上衣当裙子穿,太可爱了
推荐 av在线看 2020-01-23 09:11 202 5321
刘亦菲素颜与朋友聚会 五官精致但仙气不再
推荐 av在线看 2020-01-23 09:11 163 4846
中高轨道卫星只靠惯性,为何会越来越远离地球?
推荐 av在线看 2020-01-23 09:11 283 8369
1月23日滨州发布橙色大雾预警,请多加防范
推荐 av在线看 2020-01-23 09:11 745 9556
百万亿年后宇宙还剩下什么?若想延续人类文明只有一条路
推荐 av在线看 2020-01-23 09:11 121 2845
留深过年怎么玩?南山六大景区春节主题活动精彩纷呈
推荐 av在线看 2020-01-23 09:11 625 8177
货币政策委员会委员马骏:降准反映到LPR有个时滞 市场应有耐心
推荐 av在线看 2020-01-23 09:11 167 2513
地球上的撞击坑可能会告诉我们关于我们星球冰冻的过去
推荐 av在线看 2020-01-23 09:11 720 946
原创 《中餐厅3》王俊凯喝酒一口闷!小凯喝完的反应暴露酒量,很一般
推荐 av在线看 2020-01-23 09:11 802 780
身体不同部位汗多,分别说明什么?
推荐 av在线看 2020-01-23 09:11 801 6013
安顺:以抓党建带动纪检监察工作高质量发展
推荐 av在线看 2020-01-23 09:11 229 4360
探寻市民"年货密码":酒水、进口水果仍是市民"心头好"
推荐 av在线看 2020-01-23 09:11 241 1035
市民政局残疾儿童康复中心改造后正式启用:特别的爱给特别的你
推荐 av在线看 2020-01-23 09:11 143 7917
行花街,做慈善!义工摊位温暖迎春花市
推荐 av在线看 2020-01-23 09:11 495 3918
今日美衣分享|独家高定!高级色!牛仔外套
推荐 av在线看 2020-01-23 09:11 890 6488
渭南植物园:焕然一新迎新春 欢欢喜喜过大年
推荐 av在线看 2020-01-23 09:11 388 3434
新春走基层·暖途|港站登船梯操作工周金波每天提前一小时到岗
推荐 av在线看 2020-01-23 09:11 712 4271
向全市人民致以美好的新春祝福
推荐 av在线看 2020-01-23 09:11 161 6853
「荣耀2019」日照公安十大创新之打造“社区智慧警务+”项目“新样板”
推荐 av在线看 2020-01-23 09:11 552 9146
成都市红花实验学校教育故事征文活动评选结果揭晓
推荐 av在线看 2020-01-23 09:11 937 6838
宁河法院积极开展“联村包户保平安”工作
推荐 av在线看 2020-01-23 09:11 153 8585
夫妻生活中,女人“享受”的几个技巧,学学还是好的
推荐 av在线看 2020-01-23 09:11 403 5104
买个游戏手机有必要吗?黑鲨手机2高配2299元,价格就是答案
推荐 av在线看 2020-01-23 09:11 423 6922
为了让百姓用上好电 再辛苦也值得
推荐 av在线看 2020-01-23 09:11 835 5281
武磊上一场没上场,今晨又无进球,赛后还传来1坏消息
推荐 av在线看 2020-01-23 09:11 833 1081
原创 Angelababy和吴亦凡录节目,晒合影却忘记P图,脸部浮肿老了太多
推荐 av在线看 2020-01-23 09:10 165 1550
原创 《双世宠妃2》大结局,可我却不期待《双世宠妃3》
推荐 av在线看 2020-01-23 09:10 867 6807
原创 《中餐厅3》曝光王俊凯19岁体重,比17岁更瘦了,现在和千玺一样
推荐 av在线看 2020-01-23 09:10 298 1980
原创 《中餐厅3》仝卓把秦海璐惹哭了!高天鹤机智救场,展现兄弟情
推荐 av在线看 2020-01-23 09:10 327 6092