CoSENT_Pytorch

比Sentence-BERT更有效的句向量方案

实验结果

实验效果来了。预训练模型用的是孟子, 学习率2e-5,batch_size=64,等价苏神代码中的batch_size=32. 只用了训练集训练，然后在测试集上做测试。分别训练了5个epoch，使用斯皮尔曼系数评价

BQ数据集上的效果:

LCQMC数据集上的效果:

苏神的结果: train训练、test测试：

	ATEC	BQ	LCQMC	PAWSX	STS-B	Avg
BERT+CoSENT	49.74	72.38	78.69	60.00	80.14	68.19
Sentence-BERT	46.36	70.36	78.72	46.86	66.41	61.74
RoBERTa+CoSENT	50.81	71.45	79.31	61.56	81.13	68.85
Sentence-RoBERTa	48.29	69.99	79.22	44.10	72.42	62.80

最终结果比苏神略低。在BQ上增幅明显，在LCQMC数据集上略低。其他数据的实验随后补上。

关于Spearman相关系数的用在文本匹配任务

def compute_corrcoef(x, y): """Spearman相关系数 """ return scipy.stats.spearmanr(x, y).correlation 您好，看了下模型用的是这个指标来做结果的评估，但是为什么不用P值、R值、F1值来衡量结果呢？最后的标签输出都是0或者1。换句话说，用这个Spearman系数比准召（混淆矩阵）有什么好处吗？感谢大佬回复。

opened by PYMAQ 1