这个里面有一段：

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=lm_datasets["train"][:1000],
    eval_dataset=lm_datasets["validation"][:100],
    data_collator=data_collator,
)

可能是我的版本问题，datasets切片之后类型是dict，好像不能直接赋值给dataset，这样会报错：

***** Running training *****
  Num examples = 3
  Num Epochs = 1
  Instantaneous batch size per device = 8
  Total train batch size (w. parallel, distributed & accumulation) = 8
  Gradient Accumulation steps = 1
  Total optimization steps = 1
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-113-3435b262f1ae> in <module>()
----> 1 trainer.train()

4 frames
/usr/local/lib/python3.7/dist-packages/torch/utils/data/_utils/fetch.py in <listcomp>(.0)
     42     def fetch(self, possibly_batched_index):
     43         if self.auto_collation:
---> 44             data = [self.dataset[idx] for idx in possibly_batched_index]
     45         else:
     46             data = self.dataset[possibly_batched_index]

KeyError: 2

因为切片之后，len就不是样本长度，而是dict的K的数量（3个）

原始数据： Dataset({ features: ['attention_mask', 'input_ids', 'labels'], num_rows: 19240 }) 切片之后dict： Type: dict String form: {'attention_mask': [[1, 1,。。。。。。后面太长了 其实应该要的是 Dataset({ features: ['attention_mask', 'input_ids', 'labels'], num_rows:1000 }) ==================这边的我的参考代码===========

from datasets import Dataset
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=Dataset.from_dict(lm_datasets["train"][:1000]),
    。。。。

=======因为可能是版本问题，我这边给出一些版本说明===== datasets-1.11.0 fsspec-2021.7.0 huggingface-hub-0.0.12 pyyaml-5.4.1 sacremoses-0.0.45 tokenizers-0.10.3 transformers-4.9.2 xxhash-2.0.2 Pytorch版本：1.9.0+cu102

首先，十分感谢您的整理，此教程受益匪浅。但有几处疑问希望您给予一些指导。 =======客套话结束====== 1.目前发现4.6的环境可能稍有问题 ! pip install datasets transformers sacrebleu sentencepiece 至少建议被更改为 ! pip install datasets transformers "sacrebleu>=1.4.12,<2.0.0" sentencepiece 其中1.4.12是代码中表明的，2.0.0是本次发现的不兼容版本，1.5.1是兼容的 否则，这边环境（默认是安装sacrebleu2.0.0）的出错为：

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-1-4d4d0ea64237> in <module>()
      2 
      3 #raw_datasets = load_dataset("wmt16", "ro-en")
----> 4 metric = load_metric("sacrebleu")

10 frames
/root/.cache/huggingface/modules/datasets_modules/metrics/sacrebleu/eae4b006c615cfaacce2df4eec95acba813e69f28db6fff9e0e1398c50a0ed47/sacrebleu.py in Sacrebleu()
    114         force=False,
    115         lowercase=False,
--> 116         tokenize=scb.DEFAULT_TOKENIZER,
    117         use_effective_order=False,
    118     ):

AttributeError: module 'sacrebleu' has no attribute 'DEFAULT_TOKENIZER

====我看了一下PyPI的信息==== 在2021年8月10日，更新了此包到2.0.0，而这个更新和本教程可能不兼容，您可能需要在教程中注明

首先，十分感谢您的整理，此教程受益匪浅。但有几处疑问希望您给予一些指导。

1. BERT结构疑似有部分错误：

   • BertEmbeddings
   • BertEncoder
     • BertLayer
       • BertAttention
       • BertIntermediate
       • BertOutput
     • BertPooler #这部分应该是和BertEmbeddings平级，而不是和BertLayer平级`

2. 原文：总计dense全连接层出现了(1+1+1)x12+1=37次，并不是每个dense都配了激活函数 这个建议您校核一下，因为：self-attention就有3个FC生成QKV，1个输出；FFN有两个，所以每层至少6个FC。poor输出一个，，，所以理论上有6*12+1

============分割线，我这边给出一个自己的统计=======

1. BERT Tokenization 分词模型（BertTokenizer）
2. BERT Model 本体模型（BertModel）
   • BertEmbeddings(Embd*3,LN,DO)
   • BertEncoder(BertLayer*12)
     • BertLayer
       • BertAttention
         • BertSelfAttention(FC*3生成QKV,在QK之后加一个DO)
         • BertSelfOutput(FC,DO,ADD残差,LN)
       • BertIntermediate(FC,gelu)
       • BertOutput(FC,DO,ADD残差,LN)
   • BertPooler(FC,tanh)

突然发现这个教程，看了一下，受益匪浅 ======客套话结束，正式开始====== 1.WNLI (Winograd Natural Language Inference) Determine if a sentence with an anonymous pronoun and a sentence with this pronoun replaced are entailed or not.在[[4.1-文本分类.ipynb]]和[[4.1-文本分类.md]]均未翻译，您可以翻译为：输入句子对，并判断前后句子中代词指代消解是否正确 2.在markdown中，您可以加一个链接，直接指向colab：https://colab.research.google.com/github/datawhalechina/learn-nlp-with-transformers/blob/main/docs/篇章4-使用Transformers解决NLP任务/4.1-文本分类.ipynb ======正式结束，客套话开始====== 再次感谢这个教程

老实说，我觉得这是教程里面写的最不好的一章，甚至需要重新写。 一开始引写ransformer，上来就是一顿输出，也没讲attention如何引出transformer。中间又去回顾词嵌入的几个模型，最后又来了一顿讲解。讲了半天，最重要的亮点mask一笔带过。整个体系支离破碎。词嵌入的几个模型比较可以放在文末做一个补充，比如先将transformer的输入，词嵌入是怎么样的，标注一下这种方式跟之前的模型有很大改进（具体可以看文末附录）。这样才不会冲碎整个主线。 讲模型，引入-结构-原理-优缺点总结等等，顺势而为。这是主线，其它的补充部分觉得需要提出的都放在末尾，不要冲淡主线。

看了代码有个地方应该是少写了一个2 主要看了encoder和decoder的结构。分词器和注意力没细看，导致有一点不太确定，希望能请教一下。 1.代码中memory是encoder最后一层输出，是不是就是教程里的Z，形状和encoder输入一样？ 2.在decoder中第二层encoder-decoder-attention层的k和v是来自memory，但每层这个k、v是一样的，还是得乘以每层不同的权重矩阵？ 3.sgt是上一层输出，第一层是目标序列的输入对吧？比如第一个预测字符，后续的预测结果加入这个输入序列 4.看代码encoder和decoder每层内部（自注意力和FFNN）已经有了norm，是不是默认最后输出还要进行一次norm？ 5.为啥最后encoder和decode输出还要要norm？ 暂时这几个问题，麻烦各位大佬了