CoSENT、STS、SentenceBERT

Overview

CoSENT_Pytorch

比Sentence-BERT更有效的句向量方案

实验结果

实验效果来了。 预训练模型用的是孟子, 学习率2e-5,batch_size=64,等价苏神代码中的batch_size=32. 只用了训练集训练,然后在测试集上做测试。 分别训练了5个epoch,使用斯皮尔曼系数评价

BQ数据集上的效果:

  • Epoch:0 | corr: 0.710114
  • Epoch:1 | corr: 0.722789
  • Epoch:2 | corr: 0.714183
  • Epoch:3 | corr: 0.713727
  • Epoch:4 | corr: 0.712173

LCQMC数据集上的效果:

  • Epoch:0 | corr: 0.779130
  • Epoch:1 | corr: 0.785519
  • Epoch:2 | corr: 0.786981
  • Epoch:3 | corr: 0.785071
  • Epoch:4 | corr: 0.784286

苏神的结果: train训练、test测试:

ATEC BQ LCQMC PAWSX STS-B Avg
BERT+CoSENT 49.74 72.38 78.69 60.00 80.14 68.19
Sentence-BERT 46.36 70.36 78.72 46.86 66.41 61.74
RoBERTa+CoSENT 50.81 71.45 79.31 61.56 81.13 68.85
Sentence-RoBERTa 48.29 69.99 79.22 44.10 72.42 62.80

最终结果比苏神略低。在BQ上增幅明显,在LCQMC数据集上略低。 其他数据的实验 随后补上。

You might also like...
Comments
  • 关于Spearman相关系数的用在文本匹配任务

    关于Spearman相关系数的用在文本匹配任务

    def compute_corrcoef(x, y): """Spearman相关系数 """ return scipy.stats.spearmanr(x, y).correlation 您好,看了下模型用的是这个指标来做结果的评估,但是为什么不用P值、R值、F1值来衡量结果呢?最后的标签输出都是0或者1。 换句话说,用这个Spearman系数比准召(混淆矩阵)有什么好处吗? 感谢大佬回复。

    opened by PYMAQ 1
Owner
肖路 微信公众号: AI炼丹师
null
CoSENT 比Sentence-BERT更有效的句向量方案

CoSENT 比Sentence-BERT更有效的句向量方案

苏剑林(Jianlin Su) 201 Dec 12, 2022
Abhijith Neil Abraham 2 Nov 5, 2021
CoSENT 比Sentence-BERT更有效的句向量方案

CoSENT 比Sentence-BERT更有效的句向量方案

苏剑林(Jianlin Su) 201 Dec 12, 2022