“英特尔创新大师杯”深度学习挑战赛 赛道3：CCKS2021中文NLP地址相关性任务

Related tags

Deep Learning ccks2021-track3-top1
Overview

ccks2021-track3

CCKS2021中文NLP地址相关性任务-赛道三-冠军方案

团队：我的加菲鱼- wodejiafeiyu

初赛第二/复赛第一/决赛第一

前言

19年开始，陆陆续续参加了一些比赛，拿到过一些top，比较懒一直都没分享过，这次比较幸运又拿了top1，打算分享下

分类的任务用这个框架基本都能top10，之前个人参加的《全球人工智能大赛-赛道一》和这个也差不多，只是有些具体任务的trick不同

比赛主页

https://tianchi.aliyun.com/competition/entrance/531901/introduction

环境

  • torch==1.6.0
  • transformers=3.0.2

预训练模型

- nezha-base 
- nezha-wwm
- macbert
  • 下载预训练模型，放到文件夹user_data/model_param/pretrain_model_param/下，文件夹和模型名字一一对应

全流程脚本

sh run.sh

核心思路

  • 预训练mlm中的mask策略使用ngram-mask，相比原始的动态mask，提升了预训练难度
  • 标签也包含语义信息，预训练部分融入标签信息，提升预训练效果
  • 混合精度预训练，损失一部分精度，提升整体的训练速度，实际测试结果精度损失不大，速度提升明显
  • 对抗训练，已经是一个比较常用的trick了
  • 后12层加上embedding的cls动态加权平均
  • multi-sample dropout
  • 推理的时候，阈值搜索
  • 三折交叉验证，每折使用不同的随机数种子使用dynamic pad
  • 加权平均，模型融合

总结

模块 提分点分析 提升
ngram-mask 相比于单个字的遮蔽，ngram-mask加大了预训练任务的难度，从而提升效果 2.6个千分点
融入标签信息预训练 标签也含有语义信息，模型学习的更多 1个千分点
后12层加上embedding的cls动态加权平均+multi-sample dropout 加权平均能增强向量的语义表征能力从而提升效果。multi-sample dropout能加速训练，增强泛化能力 3.3个千分点
对抗训练fgm 生成对抗样本，对抗样本的训练，增加模型泛化能力 2.2个千分点
多分类阈值搜索 缩放系数使得f1最优 0.7个千分点
模型融合 提升模型的鲁棒性和泛化能力 1.5个千分点
动态pad和预训练混合精度训练和每折使用不同的随机数种子 提升模型训练速度，不同的随机数种子加大了模型的差异，提升融合的效果
You might also like...
Comments
  • CVE-2007-4559 Patch

    CVE-2007-4559 Patch

    Patching CVE-2007-4559

    Hi, we are security researchers from the Advanced Research Center at Trellix. We have began a campaign to patch a widespread bug named CVE-2007-4559. CVE-2007-4559 is a 15 year old bug in the Python tarfile package. By using extract() or extractall() on a tarfile object without sanitizing input, a maliciously crafted .tar file could perform a directory path traversal attack. We found at least one unsantized extractall() in your codebase and are providing a patch for you via pull request. The patch essentially checks to see if all tarfile members will be extracted safely and throws an exception otherwise. We encourage you to use this patch or your own solution to secure against CVE-2007-4559. Further technical information about the vulnerability can be found in this blog.

    If you have further questions you may contact us through this projects lead researcher Kasimir Schulz.

    opened by TrellixVulnTeam 0
  • 请问一下FileNotFoundError: [Errno 2] No such file or directory: 'user_data/model_param/saved_model/nezha_base/0/pytorch_model.bin'

    请问一下FileNotFoundError: [Errno 2] No such file or directory: 'user_data/model_param/saved_model/nezha_base/0/pytorch_model.bin'

    运行run.sh，训练过程没问题，到test.py时，报错： FileNotFoundError: [Errno 2] No such file or directory: 'user_data/model_param/saved_model/nezha_base/0/pytorch_model.bin' 貌似没有保存模型……请问是什么原因啊

    opened by pony-m 3
Owner
shaochenjie
shaochenjie
GitHub