您好，想请问下您的具体配置，主要是版本问题，谢谢。 我的情况是，已经按照您给出的requirements进行了预装，其他环境如下： Python 3.7.6, CUDA 10.0,Tensorflow-gpu 2.0.0, Keras 2.3.1, Pytorch 1.3.1, cudNN 7.6 NVIDIA GeForce RTX 2080 Ti （矩池云） 在进行train.py时出现了Segmentation fault (core dumped)报错，无log文件也无具体报错信息。查询之后发现与TensorFlow等包的版本有关，想麻烦您share下更具体的信息，谢谢！

输入的新闻正文为:参差感，或者说多元化，是今年《创造营2021》带来的一个大惊喜。学员的选角和发起人团的构成中，除了国际化这一特点外，学员们还有街舞、电竞、上班族等不同背景，发起人团成员来自影视、音乐、团体等不同领域——通过十期节目，《创造营2021》真实且深刻地呈现了不同成长背景下，多元文化、多元价值观碰撞与交流的过程。 生成的第1个标题为：“创造营2025” 生成的第2个标题为：《创造营space]营螂》真实于是什么样的？ 生成的第3个标题为：学者：国际化的选角和发起人团体

神评论：GPT2新技能：预测未来！坐等创造营2025

输入的新闻正文为:从刘宇身上，能感受到的是十余年中国舞学习经历中所习得的文雅；赞多和力丸两位来自日本的世界级街舞舞者，展现出强悍的舞蹈实力，但同时二人身上又始终透露着来到异国他乡的彷徨失措；从夏威夷追梦到日本、再来到中国的米卡，则处处透露出对音乐的热爱，对友情的真诚。 生成的第1个标题为：中国舞蹈者：用力模仿奇幻 生成的第2个标题为：大写给力量 生成的第3个标题为：刘宇之父：中国的米卡

神评论：中国的米卡成为了刘宇的父亲，米卡改国籍还可以收获一个儿子！

感谢您的工作，因为初学所以对一些概念会比较抠字眼想搞明白，大佬见谅哈哈。您在模型优化时只计算了标题的loss，那么优化的就是P(标题|正文)，一种条件概率，感觉这是一种seq2seq呀（有条件的语言模型），transformer同时作为了编码器和解码器，就和UniLM一样的思想，只是正文和标题您这里都用的GPT的单向注意力，而UniLM正文用双向，标题用单向。如果是严格意义的GPT，我的理解是无条件的语言模型，建模的是P(Y)，而不是P(Y|X)，会完整地“自己预测自己”，比如将正文标题拼接后作为一个完整的文本，然后错开一位，完整自己预测自己，当然这样的实现没有显式区分二者边界也不太适合实现标题生成，不知我的理解是否有误，谢谢大佬

您好:

我想使用您在百度云上传的checkpoint接着往后训练几轮，但是报了一个警告好像是因为lr scheduler造成的。UserWarning: To get the last learning rate computed by the scheduler, please use get_last_lr(). warnings.warn("To get the last learning rate computed by the scheduler, " 跳过了第一轮epoch。

想向您请教如何解决这个问题？

非常感谢！

Hi,我使用预训练的GPT2模型（https://github.com/Morizeyao/GPT2-Chinese）并在微博数据上进行了实验，test_loss和train_loss都得到了大幅提升，如下图所示： 但是我是用测试集上的数据进行测试，却发现标题生成的效果似乎变差了， 不知道您对这个结果有什么看法？

def convert_feature(self, sample): ... input_ids = [] token_type_ids = [] # 对新闻正文进行tokenizer.tokenize分词 content_tokens = self.tokenizer.tokenize(sample["content"]) # 对新闻标题进行tokenizer.tokenize分词，注意tokenizer中已经将[Space]作为一个分隔符，不会切割成多个字符 title_tokens = self.tokenizer.tokenize(sample["title"].replace(" ", "[Space]")) # 判断如果正文过长，进行截断 if len(content_tokens) > self.max_len - len(title_tokens) - 3: content_tokens = content_tokens[:self.max_len - len(title_tokens) - 3] ...

是不是会出现 len(title_tokens) > self.max_len 的情况，这样会引起下面的 assert错误？

def collate_func(batch_data): """ DataLoader所需的collate_fun函数，将数据处理成tensor形式 Args: batch_data: batch数据 Returns: """ batch_size = len(batch_data) # 如果batch_size为0，则返回一个空字典 if batch_size == 0: return {} input_ids_list, token_type_ids_list = [], [] # 获取一个batch数据中的最大长度 max_len = max([len(instance["input_ids"]) for instance in batch_data]) for instance in batch_data: # 按照batch中的最大数据长度,对数据进行padding填充 input_ids_temp = instance["input_ids"] input_ids_temp.extend([0]*(max_len-len(instance["input_ids"]))) token_type_ids_temp = instance["token_type_ids"] token_type_ids_temp.extend([0] * (max_len - len(instance["token_type_ids"]))) # 将list数据转换为tensor数据 # input_ids_list.append(torch.from_numpy(np.array(input_ids_temp, dtype=np.int32)).long()) # token_type_ids_list.append(torch.from_numpy(np.array(token_type_ids_temp, dtype=np.int32)).long()) input_ids_list.append(torch.tensor(input_ids_temp, dtype=torch.long)) token_type_ids_list.append(torch.tensor(token_type_ids_temp, dtype=torch.long)) return {"input_ids": pad_sequence(input_ids_list, batch_first=True, padding_value=0), "token_type_ids": pad_sequence(token_type_ids_list, batch_first=True, padding_value=0)}

这个使用pad_sequence了，是不是就不需要在上面extend了？

出现一下错误怎么解决呢

Traceback (most recent call last): File "E:\py\gpt1\generate_title.py", line 15, in from model import GPT2LMHeadModel File "E:\py\gpt1\model.py", line 14, in from transformers.modeling_gpt2 import GPT2PreTrainedModel, GPT2Model ModuleNotFoundError: No module named 'transformers.modeling_gpt2'

大佬，请问一下，在文件的实例化tokenizer和model下面的函数 这个图里面问题怎么解决 /usr/local/lib/python3.6/dist-packages/transformers/tokenization_utils_base.py:1656: FutureWarning: Calling BertTokenizer.from_pretrained() with the path to a single file or url is deprecated and won't be possible anymore in v5. Use a model identifier or the path to a directory instead. FutureWarning, load model ending! 我在本地运行python http_server.py是没有出现这个问题的，我根据提示将tokenizer = BertTokenizer.from_pretrained(args.vocab_path, do_lower_case=True)改为 tokenizer = BertTokenizer.from_pretrained('vocab/vocab.txt')do_lower_case=True 结果还是一样的结果 改为tokenizer = BertTokenizer.from_pretrained('vocab/vocab.txt')也不正确 改为tokenizer = BertTokenizer.from_pretrained('/cx/GPT2-NewsTitle-main/vocab/vocab.txt')`结果都是一样的，运行代码没有出现网页，求教