更多
通知
  • 医学文献
  • 知识库
  • 评价分析
  • 全部
  • 中外期刊
  • 学位
  • 会议
  • 专利
  • 成果
  • 标准
  • 法规
    高级检索 检索偏好
    • 临床诊疗知识库
    • 中医药知识库
    • 机构
    • 作者
    热搜词：
    换一批
    论文 期刊
    取消
    高级检索

    检索历史 清除

    医学文献>>
    • 全部
    • 中外期刊
    • 学位
    • 会议
    • 专利
    • 成果
    • 标准
    • 法规
    知识库 >>
    • 临床诊疗知识库
    • 中医药知识库
    评价分析 >>
    • 机构
    • 作者
    高级检索 检索偏好
    热搜词：
    换一批
    首页 > 小型微型计算机系统 > 缩放残差前置GRU模型

    缩放残差前置GRU模型

    GRU Module with Scale Residual Before Layer Normalization

    导出 在线阅读 下载全文 终端阅读

    二维码有效期 120s

    点击刷新
    注：终端设备浏览有效期：
     学术成果认领
    打印 收藏 分享
    • 新浪微博
    • 微信
    • QQ空间
    • 豆瓣
     纠错

    摘要门控循环单元网络(Gated Recurrent Unit,GRU)伴随模型深度的增加,通常会引发退化与梯度消失问题,进而降低模型训练速度及性能.该文通过改进直连结构缓解退化现象,并结合标准化层缓解梯度消失问题,提出一种缩放残差前置GRU模型.该模型构建缩放残差连接通过线性信息筛选模块对直连结构信息进行筛选,最大限度保留有效信息并缓解退化现象;同时结合层标准化方法,构建直连前置结构防止为直连结构引入额外的非线性计算.在语音识别任务和语言模型任务上进行验证,结果表明该文提出的缩放残差前置GRU模型增加少量参数可以有效缓解梯度消失和退化现象,在两组任务中均取得最优表现.

    更多

    相关知识

    查看相关文献
    广告
    作者 吴晓丹 [1] 石争 [1] 郑玉蒙 [1] 武优西 [2] 商博雅 [1] 学术成果认领
    作者单位 河北工业大学智慧医疗实验室,天津300401 [1] 河北工业大学人工智能与数据科学学院,天津300401 [2]
    关键词 门控循环单元残差连接层标准化退化现象梯度消失
    分类号 TP183
    栏目名称 人工智能与算法研究
    DOI 10.20009/j.cnki.21-1106/TP.2021-0362
    发布时间 2022-12-16
    基金项目
    河北省自然科学基金
    • 浏览1
    • 被引0
    • 下载1
    小型微型计算机系统

    小型微型计算机系统

    2022年43卷12期

    2528-2534页

    加载中！

    相似文献

    • 中文期刊
    • 外文期刊
    • 学位论文
    • 会议论文

    加载中！

    加载中！

    加载中！

    加载中！

    • 浏览1
    • 被引0
    • 下载1

    相关期刊

    加载中！

    特别提示：本网站仅提供医学学术资源服务，不销售任何药品和器械，有关药品和器械的销售信息，请查阅其他网站。

    • 客服热线：4000-115-888 转3 (周一至周五：8:00至17:00)

    • |

    • 客服邮箱：yiyao@wanfangdata.com.cn

    • 违法和不良信息举报电话：4000-115-888，举报邮箱：problem@wanfangdata.com.cn，举报专区

    官方微信
    万方医学小程序
    new翻译 充值 订阅 收藏 移动端

    官方微信

    万方医学小程序

    使用
    帮助
    Alternate Text
    调查问卷