Official implementations for various pre-training models of ERNIE-family, covering topics of Language Understanding & Generation, Multimodal Understanding & Generation, and beyond.

Overview

English|简体中文

./.metas/ERNIE_milestone.png

ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架,该框架将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的知识,实现模型效果不断进化。ERNIE在累积 40 余个典型 NLP 任务取得 SOTA 效果,并在 GLUE、VCR、XTREME、SemEval 等国际权威评测上斩获十余项冠军。ERNIE 在 2020年荣获了中国人工智能学会优秀科技成果奖及世界人工智能大会最高荣誉 SAIL奖,该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道,相关创新成果也被国际顶级学术会议AAAI、ACL、NAACL、IJCAI收录。ERNIE在工业界得到了大规模应用,如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。

提醒: ERNIE老版本代码已经迁移至repro分支,欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发。另外,也欢迎上EasyDL体验更丰富的功能(如ERNIE 2.0、ERNIE 2.1、ERNIE领域模型等)。

【了解更多】

新闻

  • 2021.12.3:

  • 2021.5.20:

    • ERNIE 最新开源四大预训练模型:
      • 多粒度语言知识模型ERNIE-Gram 正式开源
      • 超长文本双向建模预训练模型ERNIE-Doc 正式开源
      • 融合场景图知识的跨模态预训练模型ERNIE-ViL 正式开源
      • 语言与视觉一体的预训练模型ERNIE-UNIMO 正式开源
  • 2020.12.29:

    • ERNIE开源工具套件全面升级 PaddlePaddle v2.0
    • 所有demo教程均引入AMP(混合精度训练), 平均提速达2.3倍。
    • 引入Gradient accumulation, 8G显存也可运行ERNIE-large模型。
  • 2020.9.24:

    • ERNIE-ViL 技术发布! (点击进入)
      • 面向视觉-语言知识增强的预训练框架,首次在视觉-语言预训练引入结构化的知识。
        • 利用场景图中的知识,构建了物体、属性和关系预测任务,精细刻画模态间细粒度语义对齐。
      • 五项视觉-语言下游任务取得最好效果,视觉常识推理榜单取得第一。
  • 2020.5.20:

    • 欢迎试用动态图实现的 ERNIE:
      • 动态执行, 所见即所得。
      • 大规模分布式训练。
      • 易于部署。
      • 通过Aistudio 教程快速入门NLP。
      • 向后兼容老版 checkpoint。
    • ERNIE-GEN 模型正式开源! (点击进入)
      • 最强文本生成预训练模型正式开源,相关工作已被 IJCAI-2020 收录。
        • 首次把 ERNIE 预训练技术能力扩展至文本生成领域,在多个典型任务上取得最佳。
        • 您现在即可下载论文报告的所有模型(包含 base/large/large-430G)。
      • 首次在预训练阶段加入span-by-span 生成任务,让模型每次能够生成一个语义完整的片段。
      • 提出填充式生成机制和噪声感知机制来缓解曝光偏差问题。
      • 精巧的 Mulit-Flow Attention 实现框架。
  • 2020.4.30 发布ERNIESage, 一种新型图神经网络模型,采用ERNIE做为aggreagtor. 由PGL实现。

  • 2020.3.27 在SemEval2020五项子任务上夺冠

  • 2019.12.26 GLUE榜第一名

  • 2019.11.6 发布ERNIE Tiny

  • 2019.7.7 发布ERNIE 2.0

  • 2019.3.16 发布ERNIE 1.0

导航

快速上手

import numpy as np
import paddle as P
from ernie.tokenizing_ernie import ErnieTokenizer
from ernie.modeling_ernie import ErnieModel

model = ErnieModel.from_pretrained('ernie-1.0')    # Try to get pretrained model from server, make sure you have network connection
model.eval()
tokenizer = ErnieTokenizer.from_pretrained('ernie-1.0')

ids, _ = tokenizer.encode('hello world')
ids = P.to_tensor(np.expand_dims(ids, 0))  # insert extra `batch` dimension
pooled, encoded = model(ids)                 # eager execution
print(pooled.numpy())                        # convert  results to numpy

教程

手边没有GPU?欢迎在AIStudio中直接试用 ERNIE. (请选择最新版本的教程并申请GPU运行环境)

  1. 从0开始学ERNIE
  2. 情感识别
  3. 完形填空
  4. 知识蒸馏
  5. 万事不决问ERNIE
  6. 加载并读取老式checkpoint
  7. ERNIE作诗

安装

1. 安装 PaddlePaddle

本项目依赖PaddlePaddle 1.7.0+, 请参考这里安装 PaddlePaddle。

2. 安装 ERNIE 套件
pip install paddle-ernie

或者

git clone https://github.com/PaddlePaddle/ERNIE.git --depth 1
cd ERNIE
pip install -r requirements.txt
pip install -e .

propeller是辅助模型训练的高级框架,包含NLP常用的前、后处理流程。你可以通过将本repo根目录放入PYTHONPATH的方式导入propeller:

export PYTHONPATH=$PWD:$PYTHONPATH
3. 下载预训练模型(可选)
Model 细节参数 下载简写
ERNIE 1.0 Base 中文 Layer:12, Hidden:768, Heads:12 ernie-1.0
ERNIE Tiny Layer:3, Hdden:1024, Heads:16 ernie-tiny
ERNIE 2.0 Base 英文 Layer:12, Hidden:768, Heads:12 ernie-2.0-en
ERNIE 2.0 Large 英文 Layer:24, Hidden:1024, Heads16 ernie-2.0-large-en
ERNIE Gen Base 英文 Layer:12, Hidden:768, Heads:12 ernie-gen-base-en
ERNIE Gen Large 英文 Layer:24, Hidden:1024, Heads:16 ernie-gen-large-en
ERNIE Gen Large 430G英文 Layer:24, Hidden:1024, Heads:16 + 额外430G 预训练语料 ernie-gen-large-430g-en
ERNIE Doc Base 中文 Layer:12, Hidden:768, Heads:12 ernie-doc-base-zh
ERNIE Doc Base 英文 Layer:12, Hidden:768, Heads:12 ernie-doc-base-en
ERNIE Doc Large 英文 Layer:24, Hidden:1024, Heads:16 ernie-doc-large-en
ERNIE Gram Base 中文 L12H768A12 ernie-gram-zh
ERNIE Gram Base 英文 L12H768A12 ernie-gram-en
4. 下载数据集

英文数据集

运行脚本,下载GLUE datasets.

请将数据目录整理成以下格式,方便在后续 demo 教程中使用(通过--data_dir参数将数据路径传入训练脚本);

data/xnli
├── dev
│   └── 1
├── test
│   └── 1
└── train
    └── 1

示例数据(MNLI任务测试、训练集合)。

中文数据

数据集 描述
XNLI XNLI 是由 Facebook 和纽约大学的研究者联合构建的自然语言推断数据集,包括 15 种语言的数据。我们用其中的中文数据来评估模型的语言理解能力。链接
ChnSentiCorp ChnSentiCorp 是一个中文情感分析数据集,包含酒店、笔记本电脑和书籍的网购评论。
MSRA-NER MSRA-NER (SIGHAN2006) 数据集由微软亚研院发布,其目标是识别文本中具有特定意义的实体,包括人名、地名、机构名。
NLPCC2016-DBQA NLPCC2016-DBQA 是由国际自然语言处理和中文计算会议 NLPCC 于 2016 年举办的评测任务,其目标是从候选中找到合适的文档作为问题的答案。链接
CMRC2018 CMRC2018 是中文信息学会举办的评测,评测的任务是抽取类阅读理解。链接

支持的NLP任务

  • 使用 动态图 模型进行finetune:
python3 ./demo/finetune_classifier.py \
       --from_pretrained ernie-1.0 \
       --data_dir ./data/xnli
  • 加入--use_amp以启用AMP功能(请在支持TensorCore设备上启用AMP)

  • 通过--bsz指定全局batch_size(一步优化中模型所能见到的样本数), 通过--micro_bsz 指定输入给每一张GPU卡的样本数 若--bsz > --micro_bsz 脚本会自动开启梯度累计功能.

  • 分布式 finetune

paddle.distributed.launch 是一个进程管理器,我们采用它在每一张GPU上启动一个python进程,并配置相应的环境变量以进行分布式训练:

当采用分布式训练时,我们采用max_steps做为终止条件而非epoch, 这样处理是为了避免进程间死锁。 你可以通过EPOCH * NUM_TRAIN_EXAMPLES / TOTAL_BATCH的方式计算出所需执行的max_steps. 另外值得注意的是训练集需要在不同的进程间进行切分;以避免所有进程训练同一份数据造成的过拟合。

示例脚本(请确保你有两张以上GPU卡, 在线模型下载功能在paddle.distributed.launch下无法工作, 你可能需要一个先通过单卡finetune方式下载预训练模型,或者根据这里手动下载并解压预训练模型):

python3 -m paddle.distributed.launch \
./demo/finetune_classifier_distributed.py \
    --data_dir data/mnli \
    --max_steps 10000 \
    --from_pretrained ernie2.0-en

更多示例脚本:

  1. 情感分析
  2. 语义匹配
  3. 命名实体识别(NER)
  4. 机器阅读理解 (需要多卡环境运行;参见上面"分布式 finetune"一节)
  5. 文本摘要生成
  6. 使用静态图完成文本分类

推荐超参数设置:

任务 batch size learning rate
CoLA 32 / 64 (base) 3e-5
SST-2 64 / 256 (base) 2e-5
STS-B 128 5e-5
QQP 256 3e-5(base)/5e-5(large)
MNLI 256 / 512 (base) 3e-5
QNLI 256 2e-5
RTE 16 / 4 (base) 2e-5(base)/3e-5(large)
MRPC 16 / 32 (base) 3e-5
WNLI 8 2e-5
XNLI 512 1e-4(base)/4e-5(large)
CMRC2018 64 3e-5
DRCD 64 5e-5(base)/3e-5(large)
MSRA-NER(SIGHAN2006) 16 5e-5(base)/1e-5(large)
ChnSentiCorp 24 5e-5(base)/1e-5(large)
LCQMC 32 2e-5(base)/5e-6(large)
NLPCC2016-DBQA 64 2e-5(base)/1e-5(large)
VCR 64 2e-5(base)/2e-5(large)

预训练 (ERNIE 1.0)

请见这里

在线预测

如果finetune_classifier.py中指定了--inference_model_dir参数,funetune脚本会将你的模型序列化并产出可以直接部署线上预测的inference_model.

关于生产环境中使用线上预测代码的实现细节,请见C++ inference API. 或者你可以使用propeller启动一个多GPU预测服务(需要GPU环境),只需执行:

python -m propeller.tools.start_server -m /path/to/saved/inference_model  -p 8881

即可启动预测服务;随后在Python端采用如下命令访问该服务(仅限 python3):

from propeller.service.client import InferenceClient
from ernie.tokenizing_ernie import ErnieTokenizer

client = InferenceClient('tcp://localhost:8881')
tokenizer = ErnieTokenizer.from_pretrained('ernie-1.0')
ids, sids = tokenizer.encode('hello world')
ids = np.expand_dims(ids, 0)
sids = np.expand_dims(sids, 0)
result = client(ids, sids)

你也可从此处下载一个预先制作好的ernie-1.0 base模型的 inference_model. 该模型没有经过finetune,一般可以用做上层模型结构的 feature-base finetune或者做为一个文本特征抽取器。 因为该模行由老版API 产出,在进行客户端请求时需要在输入tensor后面追加一个维度:

ids = np.expand_dims(ids, -1) # ids.shape==[BATCH, SEQLEN, 1]

蒸馏

知识蒸馏是进行ERNIE模型压缩、加速的有效方式;关于知识蒸馏的实现细节请参见这里

文献引用

ERNIE 1.0

@article{sun2019ernie,
  title={Ernie: Enhanced representation through knowledge integration},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Chen, Xuyi and Zhang, Han and Tian, Xin and Zhu, Danxiang and Tian, Hao and Wu, Hua},
  journal={arXiv preprint arXiv:1904.09223},
  year={2019}
}

ERNIE 2.0

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019}
}

ERNIE-GEN

@article{xiao2020ernie-gen,
  title={ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation},
  author={Xiao, Dongling and Zhang, Han and Li, Yukun and Sun, Yu and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:2001.11314},
  year={2020}
}

ERNIE-ViL

@article{yu2020ernie,
  title={ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph},
  author={Yu, Fei and Tang, Jiji and Yin, Weichong and Sun, Yu and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:2006.16934},
  year={2020}
}

ERNIE-Gram

@article{xiao2020ernie,
  title={ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding},
  author={Xiao, Dongling and Li, Yu-Kun and Zhang, Han and Sun, Yu and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:2010.12148},
  year={2020}
}

ERNIE-Doc

@article{ding2020ernie,
  title={ERNIE-DOC: The Retrospective Long-Document Modeling Transformer},
  author={Ding, Siyu and Shang, Junyuan and Wang, Shuohuan and Sun, Yu and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:2012.15688},
  year={2020}
}

ERNIE-UNIMO

@article{li2020unimo,
  title={UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning},
  author={Li, Wei and Gao, Can and Niu, Guocheng and Xiao, Xinyan and Liu, Hao and Liu, Jiachen and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:2012.15409},
  year={2020}
}

ERNIE-M

@article{ouyang2020ernie,
  title={Ernie-m: Enhanced multilingual representation by aligning cross-lingual semantics with monolingual corpora},
  author={Ouyang, Xuan and Wang, Shuohuan and Pang, Chao and Sun, Yu and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:2012.15674},
  year={2020}
}

若希望复现 paper 中的所有实验,请切换至本repo的repro分支。

讨论组

  • ERNIE官方主页
  • Github Issues: bug reports, feature requests, install issues, usage issues, etc.
  • QQ 群: 760439550 (ERNIE discussion group).
  • QQ 2群: 958422639 (ERNIE discussion group-v2).
  • Forums: discuss implementations, research, etc.
Comments
  • 模型转换为pytorch的ckpt并加载之后,同样的id 进行embedding的结果不同

    模型转换为pytorch的ckpt并加载之后,同样的id 进行embedding的结果不同

    我在自己的数据集上,取得了比较大的提升,因此想要继续修改模型。

    因为paddle文档比较少,因此想要把转换成pytorch。

    我使用 #37 上的脚本,将paddle的ckpt转换为dict,再通过简单的名字对应和tensor的转换,将对应权重加载到pytorch中。

    但是加载后做测试,结果相差很多。

    为了找到不同的地方,我将两个框架的模型跑同一数据的前向传播,将每一步的数据进行对比。 结果发现,两个框架上同样的embedding权重(weight),对相同id的embedding居然不同。 我暂时没有对比两个框架的实现方法有何异同。

    我推测要么是两个框架的embedding实现方法有差别,要么就是这个脚本保存的权重出现了一点问题。

    希望有在做同样的事情的同学和我联系,一起交流。

    wontfix 
    opened by randomtutu 21
  • BERT、ERNIE、TextCNN做文本分类任务性能对比

    BERT、ERNIE、TextCNN做文本分类任务性能对比

    以下模型的推理速度、内存占用等均在‘CPU’上考察 【TextCNN、pytorch_bert、tensorflow_bert、ERNIE文本分类任务性能对比】 【以下性能考察结果均经过多次测试】

    推理时的数据最长文本有75万中文字符,利用100个文本进行测试。 从内存占用及推理速度指标来看,四种算法中,TextCNN均是最优的。 由于bert及ERNIE并未经过多次fine-tune就已经达到较好泛化效果,因此可以认为其泛化能力会相对textcnn更好些。 pytorch_bert、tensorflow_bert、ERNIE三者相比较,在内存占用方面相差不是很大;但ERNIE在推理速度方面稍差(这个蛮重要),不过ERNIE版本更新很快、另可直接联系其工作团队解答疑问 长文本预测时,尝试了将文本截断(例如:文本长度100000, 则分n=100000//510次)预测,因为长文本前510长度有可能没有重要信息。(例如:【‘娱乐’, ‘赌博’】二分类,截断n次,只要有一次预测为‘赌博’那文本就是赌博类别)

    【TextCNN】 推理时模型占用内存大约:546M(稳定) 推理时预测一个文件(完整长文本)平均所需时间:0.095s 多次训练,保存泛化效果最好模型,其在测试集上准确率:95.312%

    【Pytorch_bert】 推理时模型占用内存:942M(峰值) 推理时预测一个文本(前128+后382字符)平均所需时间:1.149S 推理时预测一个文本(前510 * 1长度+尾部数据;相当于预测截断成n个510文本)平均所需时间:2.658s 推理时预测一个文本(前510 * 2长度+尾部数据)平均所需时间:3.529s 推理时预测一个文本(前510 * 5长度+尾部数据)平均所需时间:5.233s 推理时预测一个文本(完整长文本)平均所需时间:38.77s fine-tune模型,其在测试集上准确率:98.82%

    【tensorflow_bert】 推理时模型占用内存:988M(峰值) 推理时预测一个文本(前128+后382字符)平均所需时间:1.332S 推理时预测一个文本(前510 * 1长度+尾部数据)平均所需时间:1.485s 推理时预测一个文本(前510 * 2长度+尾部数据)平均所需时间:3.570s 推理时预测一个文本(前510 * 5长度+尾部数据)平均所需时间:7.033s 推理时预测一个文本(完整长文本)平均所需时间:56.18s fine-tune模型(调节的参数与pytorch_bert一致),其在测试集上准确率:98.90%

    【ERNIE】 推理时模型占用内存:1072M(峰值) 推理时预测一个文本(前128+后382字符)平均所需时间:2.227s 推理时预测一个文本(前510 * 1长度+尾部数据)平均所需时间:3.934s 推理时预测一个文本(前510 * 2长度+尾部数据)平均所需时间:6.001s 推理时预测一个文本(前510 * 5长度+尾部数据)平均所需时间:9.835s 推理时预测一个文本(完整长文本)平均所需时间: fine-tune模型,其在测试集上准确率:98.74%

    wontfix 
    opened by Biaocsu 17
  • Pretrain代码执行不通问题

    Pretrain代码执行不通问题

    Code中存在下面2个错误

    1. make_pretrain_data中 from propeller.data import feature_pb2, example_pb2 路径错误
    2. readme中的脚本,需要加上save_dir 参数,pretrain 中batch_size需要设置

    修改后执行一直卡在如图界面,python 3.6.2,paddlepaddle-gpu 2.0.1 image 执行顺序按照readme python3 ./demo/pretrain/make_pretrain_data.py ./demo/pretrain/test.txt ./demo/pretrain/output_file.gz --vocab /home/ytkj/root1/lizheng/2021April/MRC/experiment/DuReader-Checklist-BASELINE/finetuned_model/vocab.txt

    python3 -m paddle.distributed.launch ./demo/pretrain/pretrain.py --data_dir "/home/ytkj/root1/lizheng/2021April/pretrain/ERNIE-develop/demo/pretrain/output_file.gz" --from_pretrained /home/ytkj/root1/lizheng/2021April/model/model-ernie1.0.1 --save_dir ./demo/pretrain/Output

    使用数据为readme给出示例 AQ96_ SEB_`~Q9EGL4V IE3

    执行view_pretrian_gz.py显示如下,未出现空的问题

    ***content
    0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
    179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
    ***end
    ==============================
    ***content
    0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
    644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
    ***end
    ==============================
    ***content
    0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
    179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
    ***end
    ==============================
    ***content
    0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
    644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
    ***end
    ==============================
    ***content
    0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
    179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
    ***end
    ==============================
    ***content
    0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
    644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
    ***end
    ==============================
    ***content
    0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
    179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
    ***end
    ==============================
    ***content
    0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
    644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
    ***end
    ==============================
    

    降低paddle版本到1.8又出现版本报错 RuntimeError: propeller 0.2 requires paddle 2.0+, got 1.8.5

    wontfix 
    opened by 447428054 15
  • 使用ERNIE进行长文本分类,若max_seq_len=512则无法fine-tune且超慢

    使用ERNIE进行长文本分类,若max_seq_len=512则无法fine-tune且超慢

    因为是长文本,我将max_seq_len设置为512,由于显存限制batch_size设置10,epoch=3。利用ERNIE进行fine-tune时15个小时一个epoch都没跑完(大概1/2个epoch),然而利用pytorch_bert同样时间已经fine-tune结束了。请问有什么好的建议吗?

    opened by Biaocsu 11
  • readme和代码实现中mask方法的逻辑不一致

    readme和代码实现中mask方法的逻辑不一致

    readme中:这个方法与bert最大的区别在于不是mask随机字,而是mask随机词。 代码batching中:以词为单位,首字和其他字的mask方法不一致! 非首字按bert方法mask,首字按15%,15%,70%分别mask,replace,不变。 个人看法:保持首字和其余字的mask方法一致,效果会更好。

    opened by xiaochang129 11
  • 您好,官方给出ERNIE预训练代码跑不通,输出一直是0it [00:00, ?it/s],无法用其进行预训练,请问是什么原因

    您好,官方给出ERNIE预训练代码跑不通,输出一直是0it [00:00, ?it/s],无法用其进行预训练,请问是什么原因

    使用的是官方给出的demo目录下的pretrain/pretrain_dygraph.py 代码,无法正常输出loss。 在自己的gpu服务器和aistudio都跑过,都会出现这种问题。 输出一直是0it [00:00, ?it/s] 环境: paddle1.7+ numpy pyzmq==18.0.2 six==1.11.0 sklearn==0.0 sentencepiece==0.1.8 jieba==0.39 visualdl>=2.0.0b7

    wontfix 
    opened by Cxh-001 10
  • 运行run_ChnSentiCorp.sh报错

    运行run_ChnSentiCorp.sh报错

    在下载完模型和任务数据之后,运行bash script/run_ChnSentiCorp.sh。之后报错如下:

    Theoretical memory usage in training: 10522.327 - 11023.390 MB
    W0318 14:37:05.017385 13682 device_context.cc:263] Please NOTE: device: 0, CUDA Capability: 75, Driver API Version: 10.0, Runtime API Version: 9.0
    W0318 14:37:05.017417 13682 device_context.cc:271] device: 0, cuDNN Version: 7.0.
    Load pretraining parameters from /home/lab/liujiepeng/Framework/LARK/ERNIE/model/model_data/params.
    Traceback (most recent call last):
      File "run_classifier.py", line 283, in <module>
        main(args)
      File "run_classifier.py", line 204, in main
        train_exe.run(fetch_list=[])
      File "/home/lab/liujiepeng/Framework/LARK/venv_paddle/lib/python3.5/site-packages/paddle/fluid/parallel_executor.py", line 303, in run
        self.executor.run(fetch_list, fetch_var_name)
    paddle.fluid.core.EnforceNotMet: Invoke operator softmax error.
    Python Callstacks: 
      File "/home/lab/liujiepeng/Framework/LARK/venv_paddle/lib/python3.5/site-packages/paddle/fluid/framework.py", line 1317, in append_op
        attrs=kwargs.get("attrs", None))
      File "/home/lab/liujiepeng/Framework/LARK/venv_paddle/lib/python3.5/site-packages/paddle/fluid/layer_helper.py", line 56, in append_op
        return self.main_program.current_block().append_op(*args, **kwargs)
      File "/home/lab/liujiepeng/Framework/LARK/venv_paddle/lib/python3.5/site-packages/paddle/fluid/layers/nn.py", line 1788, in softmax
        attrs={"use_cudnn": use_cudnn})
      File "/home/lab/liujiepeng/Framework/LARK/ERNIE/model/transformer_encoder.py", line 120, in scaled_dot_product_attention
        weights = layers.softmax(product)
      File "/home/lab/liujiepeng/Framework/LARK/ERNIE/model/transformer_encoder.py", line 148, in multi_head_attention
        dropout_rate)
      File "/home/lab/liujiepeng/Framework/LARK/ERNIE/model/transformer_encoder.py", line 274, in encoder_layer
        name=name + '_multi_head_att')
      File "/home/lab/liujiepeng/Framework/LARK/ERNIE/model/transformer_encoder.py", line 337, in encoder
        name=name + '_layer_' + str(i))
      File "/home/lab/liujiepeng/Framework/LARK/ERNIE/model/ernie.py", line 136, in _build_model
        name='encoder')
      File "/home/lab/liujiepeng/Framework/LARK/ERNIE/model/ernie.py", line 81, in __init__
        self._build_model(src_ids, position_ids, sentence_ids, self_attn_mask)
      File "/home/lab/liujiepeng/Framework/LARK/ERNIE/finetune/classifier.py", line 49, in create_model
        use_fp16=args.use_fp16)
      File "run_classifier.py", line 97, in main
        ernie_config=ernie_config)
      File "run_classifier.py", line 283, in <module>
        main(args)
    C++ Callstacks: 
    CUDNN_STATUS_EXECUTION_FAILED at [/paddle/paddle/fluid/operators/math/softmax.cu:56]
    PaddlePaddle Call Stacks: 
    0       0x7fc944af6dbdp void paddle::platform::EnforceNotMet::Init<std::string>(std::string, char const*, int) + 365
    1       0x7fc944af7107p paddle::platform::EnforceNotMet::EnforceNotMet(std::string const&, char const*, int) + 87
    2       0x7fc94628bd8ep paddle::operators::math::SoftmaxCUDNNFunctor<float>::operator()(paddle::platform::CUDADeviceContext const&, paddle::framework::Tensor const*, paddle::framework::Tensor*) + 830
    3       0x7fc9450ec423p paddle::operators::SoftmaxCUDNNKernel<float>::Compute(paddle::framework::ExecutionContext const&) const + 595
    4       0x7fc9450ec4d3p std::_Function_handler<void (paddle::framework::ExecutionContext const&), paddle::framework::OpKernelRegistrarFunctor<paddle::platform::CUDAPlace, false, 0ul, paddle::operators::SoftmaxCUDNNKernel<float>, paddle::operators::SoftmaxCUDNNKernel<double>, paddle::operators::SoftmaxCUDNNKernel<paddle::platform::float16> >::operator()(char const*, char const*, int) const::{lambda(paddle::framework::ExecutionContext const&)#1}>::_M_invoke(std::_Any_data const&, paddle::framework::ExecutionContext const&) + 35
    5       0x7fc946504c33p paddle::framework::OperatorWithKernel::RunImpl(paddle::framework::Scope const&, boost::variant<paddle::platform::CUDAPlace, paddle::platform::CPUPlace, paddle::platform::CUDAPinnedPlace, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_> const&) const + 659
    6       0x7fc9465024a5p paddle::framework::OperatorBase::Run(paddle::framework::Scope const&, boost::variant<paddle::platform::CUDAPlace, paddle::platform::CPUPlace, paddle::platform::CUDAPinnedPlace, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_, boost::detail::variant::void_> const&) + 341
    7       0x7fc94637881ap paddle::framework::details::ComputationOpHandle::RunImpl() + 250
    8       0x7fc946371ef6p paddle::framework::details::OpHandleBase::Run(bool) + 118
    9       0x7fc94630a10dp
    10      0x7fc94630ab0dp paddle::framework::details::ThreadedSSAGraphExecutor::RunOp(std::shared_ptr<paddle::framework::BlockingQueue<paddle::framework::details::VarHandleBase*> > const&, paddle::framework::details::OpHandleBase*) + 1309
    11      0x7fc94630c784p paddle::framework::details::ThreadedSSAGraphExecutor::Run(std::vector<std::string, std::allocator<std::string> > const&) + 2324
    12      0x7fc94630380ap paddle::framework::details::ScopeBufferedSSAGraphExecutor::Run(std::vector<std::string, std::allocator<std::string> > const&) + 394
    13      0x7fc944c31ca2p paddle::framework::ParallelExecutor::Run(std::vector<std::string, std::allocator<std::string> > const&, std::string const&) + 562
    14      0x7fc944ae712ep
    15      0x7fc944b21c4ep
    16            0x4ea137p PyCFunction_Call + 119
    17            0x53c176p PyEval_EvalFrameEx + 23030
    18            0x5401efp
    19            0x53b83fp PyEval_EvalFrameEx + 20671
    20            0x53b294p PyEval_EvalFrameEx + 19220
    21            0x53fc97p
    22            0x5409bfp PyEval_EvalCode + 31
    23            0x60cb42p
    24            0x60efeap PyRun_FileExFlags + 154
    25            0x60f7dcp PyRun_SimpleFileExFlags + 444
    26            0x640256p Py_Main + 1110
    27            0x4d0001p main + 225
    28      0x7fc976ec5830p __libc_start_main + 240
    29            0x5d6999p _start + 41
    

    请问如何解决?谢谢!

    wontfix 
    opened by MrRace 10
  • paddle 1.8 ernie生成文本分类模型后,使用paddle inference tensorRT库报错

    paddle 1.8 ernie生成文本分类模型后,使用paddle inference tensorRT库报错

    docker环境 docker pull hub.baidubce.com/paddlepaddle/paddle:1.8.0-gpu-cuda10.0-cudnn7-trt6 python2.7 / ernie v2.4.0 操作步骤: 运行 finetune_classifier_dygraph.py,得到model后,使用paddle_inference_demo中的例子做推理加速。

    错误信息:

    Error Message Summary:

    Error: Operator skip_layernorm has not been registered [Hint: op_info_ptr should not be null.] at (/paddle /trt_refine_int8/paddle/fluid/framework/op_info.h:140)

    相关代码&模型: 链接: https://pan.baidu.com/s/1xVIyc2ntboVq_f7hse4uyg 提取码: gudn 复制这段内容后打开百度网盘手机App,操作更方便哦

    wontfix 
    opened by lonelydancer 9
  • 使用finetune_sentiment_analysis_dygraph.py训练模型报错

    使用finetune_sentiment_analysis_dygraph.py训练模型报错

    用4张2080Ti训练模型报错

    Error Message Summary:

    Error: Place CUDAPlace(0) is not supported, Please check that your paddle compiles with WITH_GPU option or check that your train process hold the correct gpu_id if you use Executor at (/paddle/paddle/fluid/platform/device_context.cc:67)

    还有一个报错信息是AttributeError: 'Popen' object has no attribute 'join'

    wontfix 
    opened by dmsong-star 9
  • 用ERINE训练自己的NER数据集时,F1和precision都是0

    用ERINE训练自己的NER数据集时,F1和precision都是0

    跑测试的msra_ner可以跑通,f1能达到95,但是当我用ERINE跑自己的NER数据时,f1和precision都是0 测试结果:

    epoch: 6, progress: 5248/6144, step: 2580, loss: 0.269858, f1: 0.000000, precision: 0.000000, recall: 0.000000, speed: 3.507191 steps/s epoch: 6, progress: 5408/6144, step: 2590, loss: 0.245142, f1: 0.000000, precision: 0.000000, recall: 0.000000, speed: 2.484499 steps/s epoch: 6, progress: 5568/6144, step: 2600, loss: 0.295873, f1: 0.000000, precision: 0.000000, recall: 0.000000, speed: 2.440172 steps/s [dev evaluation] f1: 0.000000, precision: 0.000000, recall: 0.000000, elapsed time: 6.710833 s [test evaluation] f1: 0.000000, precision: 0.000000, recall: 0.000000, elapsed time: 6.444398 s epoch: 6, progress: 5728/6144, step: 2610, loss: 0.175324, f1: 0.000000, precision: 0.000000, recall: 0.000000, speed: 0.579638 steps/s epoch: 6, progress: 5888/6144, step: 2620, loss: 0.284426, f1: 0.000000, precision: 0.000000, recall: 0.000000, speed: 3.364358 steps/s epoch: 6, progress: 6048/6144, step: 2630, loss: 0.073127, f1: 0.000000, precision: 0.000000, recall: 0.000000, speed: 2.896042 steps/s

    我已经按照教程里的ner数据格式整理过自己的数据集了,字符之间的特殊符号也教程里的'\x02'。 以下是我的tsv数据还有label_map.json.

    胸部CT未见转移征象 B-RadiologyI-RadiologyI-RadiologyI-RadiologyOOOOOO

    { "B-AnatomyPart": 0, "I-AnatomyPart": 1, "B-Diagnosis": 2, "I-Diagnosis": 3, "B-Drug": 4, "I-Drug": 5, "B-Lab": 6, "I-Lab": 7, "B-Procedure": 8, "I-Procedure": 9, "B-Radiology": 10, "I-Radiology": 11, "O": 12 }

    image 360截图18060115626665

    image

    wontfix 
    opened by SuMarsss 9
  • enric_encoder.py 报错 Invoke operator fill_constant error 和 Windows not support stack backtrace yet.

    enric_encoder.py 报错 Invoke operator fill_constant error 和 Windows not support stack backtrace yet.

    你好,我运行 enric_encoder.py 到 exe.run(startup_prog) 会出现错误,具体错误信息如下:

    File "C:\Users\Python\Python36\site-packages\paddle\fluid\executor.py", line 591, in _run
      exe.run(program.desc, scope, 0, True, True, fetch_var_name)
    paddle.fluid.core.EnforceNotMet: Invoke operator fill_constant error.
    Python Callstacks: 
     File "C:\Users\Python\Python36\site-packages\paddle\fluid\framework.py", line 1382, in _prepend_op
       attrs=kwargs.get("attrs", None))
     File "C:\Users\Python\Python36\site-packages\paddle\fluid\initializer.py", line 167, in __call__
       stop_gradient=True)
     File "C:\Users\Python\Python36\site-packages\paddle\fluid\framework.py", line 1300, in create_parameter
       initializer(param, self)
     File "C:\Users\Python\Python36\site-packages\paddle\fluid\layer_helper.py", line 339, in create_parameter
       **attr._to_kwargs(with_initializer=True))
     File "C:\Users\Python\Python36\site-packages\paddle\fluid\layer_helper.py", line 424, in append_bias_op
       attr=bias_attr, shape=size, dtype=input_var.dtype, is_bias=True)
     File "C:\Users\Python\Python36\site-packages\paddle\fluid\layers\nn.py", line 297, in fc
       pre_activation = helper.append_bias_op(pre_bias, dim_start=num_flatten_dims)
     File "D:\pycharm\course\IR_chat\LARK-develop\LARK-develop\ERNIE\model\ernie.py", line 155, in get_pooled_output
       bias_attr="pooled_fc.b_0")
     File "D:/pycharm/course/IR_chat/LARK-develop/LARK-develop/ERNIE/ernie_encoder.py", line 79, in create_model
       cls_feats = ernie.get_pooled_output()
     File "D:/pycharm/course/IR_chat/LARK-develop/LARK-develop/ERNIE/ernie_encoder.py", line 131, in main
       args, pyreader_name='reader', ernie_config=ernie_config)
     File "D:/pycharm/course/IR_chat/LARK-develop/LARK-develop/ERNIE/ernie_encoder.py", line 185, in <module>
       main(args)
    C++ Callstacks: 
    Enforce failed. Expected allocating <= available, but received allocating:11440875110 > available:11143610112.
    Insufficient GPU memory to allocation. at [D:\1.3.2\paddle\paddle\fluid\platform\gpu_info.cc:216]
    PaddlePaddle Call Stacks: 
    Windows not support stack backtrace yet.
    W0411 20:25:15.478150 40984 device_context.cc:263] Please NOTE: device: 0, CUDA Capability: 52, Driver API Version: 9.0, Runtime API Version: 8.0
    W0411 20:25:15.478150 40984 device_context.cc:271] device: 0, cuDNN Version: 7.0.
    W0411 20:25:15.478150 40984 device_context.cc:295] WARNING: device: 0. The installed Paddle is compiled with CUDNN 7.1, but CUDNN version in your machine is 7.0, which may cause serious incompatible bug. Please recompile or reinstall Paddle with compatible CUDNN version.
    

    这个问题该怎么解决呢?谢谢

    opened by Walleclipse 9
  • 主动学习的代码是被删了吗?

    主动学习的代码是被删了吗?

    从这个项目里面看到 https://aistudio.baidu.com/aistudio/projectdetail/4897371?channelType=0&channel=0 但是下载后没发现对应文件 /applications/tasks/text_classification/examples/cls_ernie_fc_ch_train_with_dal_infer.json run_infer_with_active_learning.py 是我找错了还是已经删除了?

    opened by zouhan6806504 0
  • ERNIE-ViL在vcr任务上读取抽取的图像特征时报错:lmdb.InvalidError: ./VCR_gt_resnet101_faster_rcnn_genome.lmdb: MDB_INVALID: File is not an LMDB file

    ERNIE-ViL在vcr任务上读取抽取的图像特征时报错:lmdb.InvalidError: ./VCR_gt_resnet101_faster_rcnn_genome.lmdb: MDB_INVALID: File is not an LMDB file

    我下载了ViLBERT公开的VCR数据图像特征(VCR_resnet101_faster_rcnn_genome.lmdbVCR_gt_resnet101_faster_rcnn_genome.lmdb),但是在读取时出现了报错:lmdb.InvalidError: ./VCR_gt_resnet101_faster_rcnn_genome.lmdb: MDB_INVALID: File is not an LMDB file。有人遇到过这个问题吗?

    报错的代码在_image_features_reader.py, line 27,如下是摘出来的报错部分:

    import lmdb
    
    path = "./VCR_gt_resnet101_faster_rcnn_genome.lmdb"
    env = lmdb.open(path, map_size=int(1e12), max_readers=1, readonly=True, lock=False, readahead=False, meminit=False) # 此处报错
    

    这是我放特征文件的目录结构: 屏幕截图(23)

    ps.试过把两个lmbd目录的名字里加上_pickle2(按conf文件里的设置一样),还是相同的报错。

    opened by GoGoJoestar 0
Releases(v2.5.0)
  • v2.5.0(Jan 25, 2021)

  • v2.4.0(Jun 30, 2020)

    Reimplemeted ERNIE with paddle.fluid.dygraph (a.k.a eager execution mode), featuring:

    1. Pretrain and finetune ERNIE with PaddlePaddle v1.8.
    2. Eager execution with paddle.fluid.dygraph.
    3. Distributed training.
    4. Easy deployment.
    5. Learn NLP in Aistudio tutorials.
    6. Backward compatibility for old-styled checkpoint
    Source code(tar.gz)
    Source code(zip)
  • v2.3.0(Feb 24, 2020)

    Update some new Features:

    1. ERNIE-tiny: a distilled ERNIE model for faster online inference (only chinese README provided)
    2. inference demo: C++ code used for CPU/GPU online inference.
    Source code(tar.gz)
    Source code(zip)
  • v2.2.0(Oct 12, 2019)

    Update some new Features:

    1. Distillation demo.
    2. Paddle High level API: Propeller
    3. python3.5 & python3.7 compatibiliy

    More features comming soon:

    1. ERNIE Tiny
    2. ERNIE Service
    Source code(tar.gz)
    Source code(zip)
  • v2.1.0(Aug 28, 2019)

    update some new features:

    1. auto mixed precision training
    2. multi-processing training
    3. python3 compatibility

    more features coming soon:

    1. ERNIE Service
    2. Distillation
    Source code(tar.gz)
    Source code(zip)
Owner
null
Code for Findings of ACL 2022 Paper "Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors"

SWRM Code for Findings of ACL 2022 Paper "Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors" Clone Clone th

null 14 Jan 3, 2023
Beyond the Imitation Game collaborative benchmark for enormous language models

BIG-bench ?? The Beyond the Imitation Game Benchmark (BIG-bench) will be a collaborative benchmark intended to probe large language models, and extrap

Google 1.3k Jan 1, 2023
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context This repository contains the code in both PyTorch and TensorFlow for our paper

Zhilin Yang 3.3k Dec 28, 2022
Indobenchmark are collections of Natural Language Understanding (IndoNLU) and Natural Language Generation (IndoNLG)

Indobenchmark Toolkit Indobenchmark are collections of Natural Language Understanding (IndoNLU) and Natural Language Generation (IndoNLG) resources fo

Samuel Cahyawijaya 11 Aug 26, 2022
MASS: Masked Sequence to Sequence Pre-training for Language Generation

MASS: Masked Sequence to Sequence Pre-training for Language Generation

Microsoft 1.1k Dec 17, 2022
Pre-training BERT masked language models with custom vocabulary

Pre-training BERT Masked Language Models (MLM) This repository contains the method to pre-train a BERT model using custom vocabulary. It was used to p

Stella Douka 14 Nov 2, 2022
Universal End2End Training Platform, including pre-training, classification tasks, machine translation, and etc.

背景 安装教程 快速上手 (一)预训练模型 (二)机器翻译 (三)文本分类 TenTrans 进阶 1. 多语言机器翻译 2. 跨语言预训练 背景 TrenTrans是一个统一的端到端的多语言多任务预训练平台,支持多种预训练方式,以及序列生成和自然语言理解任务。 安装教程 git clone git

Tencent Minority-Mandarin Translation Team 42 Dec 20, 2022
Biterm Topic Model (BTM): modeling topics in short texts

Biterm Topic Model Bitermplus implements Biterm topic model for short texts introduced by Xiaohui Yan, Jiafeng Guo, Yanyan Lan, and Xueqi Cheng. Actua

Maksim Terpilowski 49 Dec 30, 2022
Code for Discovering Topics in Long-tailed Corpora with Causal Intervention.

Code for Discovering Topics in Long-tailed Corpora with Causal Intervention ACL2021 Findings Usage 0. Prepare environment Requirements: python==3.6 te

Xiaobao Wu 8 Dec 16, 2022
Full Spectrum Bioinformatics - a free online text designed to introduce key topics in Bioinformatics using the Python

Full Spectrum Bioinformatics is a free online text designed to introduce key topics in Bioinformatics using the Python programming language. The text is written in interactive Jupyter Notebooks, which allow you to try out and modify example code and analyses.

Jesse Zaneveld 33 Dec 28, 2022
A Non-Autoregressive Transformer based TTS, supporting a family of SOTA transformers with supervised and unsupervised duration modelings. This project grows with the research community, aiming to achieve the ultimate TTS.

A Non-Autoregressive Transformer based TTS, supporting a family of SOTA transformers with supervised and unsupervised duration modelings. This project grows with the research community, aiming to achieve the ultimate TTS.

Keon Lee 237 Jan 2, 2023
Simple tool/toolkit for evaluating NLG (Natural Language Generation) offering various automated metrics.

Simple tool/toolkit for evaluating NLG (Natural Language Generation) offering various automated metrics. Jury offers a smooth and easy-to-use interface. It uses datasets for underlying metric computation, and hence adding custom metric is easy as adopting datasets.Metric.

Open Business Software Solutions 129 Jan 6, 2023
History Aware Multimodal Transformer for Vision-and-Language Navigation

History Aware Multimodal Transformer for Vision-and-Language Navigation This repository is the official implementation of History Aware Multimodal Tra

Shizhe Chen 46 Nov 23, 2022
A design of MIDI language for music generation task, specifically for Natural Language Processing (NLP) models.

MIDI Language Introduction Reference Paper: Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions: code This

Robert Bogan Kang 3 May 25, 2022
A modular framework for vision & language multimodal research from Facebook AI Research (FAIR)

MMF is a modular framework for vision and language multimodal research from Facebook AI Research. MMF contains reference implementations of state-of-t

Facebook Research 5.1k Dec 26, 2022
GAP-text2SQL: Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training

GAP-text2SQL: Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training Code and model from our AAAI 2021 paper

Amazon Web Services - Labs 83 Jan 9, 2023
PyTorch Implementation of "Bridging Pre-trained Language Models and Hand-crafted Features for Unsupervised POS Tagging" (Findings of ACL 2022)

Feature_CRF_AE Feature_CRF_AE provides a implementation of Bridging Pre-trained Language Models and Hand-crafted Features for Unsupervised POS Tagging

Jacob Zhou 6 Apr 29, 2022