导图社区 经典网络解析
部分经典网络的详细特征介绍,分享了AlexNet、ZLNet、VGG、GoogleNet、resnet的知识,欢迎大家学习。
这是我的mysql学习笔记,主要是基础篇入门的各项指令等,具体是看的黑马程序员的mysql视频,然后边学边自己整理出来的,希望对大家有帮助。
Segment Anything Model的论文行文思路,SAM是一个通过海量训练形成的分割模型,感兴趣可以看看。
DA-DETR的文章深度解读,解决方案DA-DETR可以使用一级探测器、使用单个鉴别器进行域间对齐网络、引入混合注意力机制确定应对其功能的模块,简化了领域自适应通道。
社区模板帮助中心,点此进入>>
互联网9大思维
安全教育的重要性
组织架构-单商户商城webAPP 思维导图。
个人日常活动安排思维导图
域控上线
西游记主要人物性格分析
17种头脑风暴法
python思维导图
css
CSS
经典网络解析
AlexNet
结构
共8层
5层卷积层
3层全连接层
作用
从数据中学习对于分类有意义的结构特征
描述输入图像中的结构信息
描述结果存储在256个6x6特征响应图里
ZLNet
跟AlexNet结构一样
改进
将前面卷积核改小
增大步长,使之顺利提取特征
增大后期卷积核数量
VGG
16层神经网络
13卷积层
3全连接层
使用尺寸更小3x3卷积核串联来获得更大的感受野
深度更深、非线性更强,网络参数更少
去掉AlexNet的LRN层
总结
小卷积核优势
多个小尺寸卷积核串联可以得到与大尺寸卷积核相同的感受野,且所需训练参数更少
卷积到512原因
参数多可以尽可能收集和表现特征
再多参数的话容易过拟合,不宜训练
GoogleNet
22层
创新点
提出inception结构,能保留输入信号的更多特征信息
增加瓶颈层,改变卷积的通道数
去掉全连接层,用平均池化,使得其只有500w个参数,比AlexNet少12倍
在网络中部引入了辅助分类器,克服了训练过程中的梯度消失问题
平均池化向量化与直接展开向量化区别
特征响应图上的每个位置的值都反应了图像对应位置的结构与卷积核记录的语义结构的相似程度
平均池化丢失了语义结构的空间位置信息
忽略语义结构的位置信息,有助于提升卷积层提取到的特征的平移不变性
resnet
加深网络层数
出现更深层次网络不如浅层次网络
原因
训练过程中网络的正反信息流动不畅、网络没有被充分训练
创新
提出残差模块
通过堆叠残差模块可以构建任意深度的神经网络,而不出现“退化”现象
提出批归一化
对抗梯度消失,降低网络训练过程中对于权重初始化的依赖
提出一种针对ReLU激活函数的初始化方法
残差网络性能好的原因
可以看作一种集成模型