A PyTorch implementation of unsupervised SimCSE

import torch
import torch.nn as nn
import torch.nn.functional as F
from transformers import BertTokenizer,BertModel,BertConfig

tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")
batch_x = tokenizer(["中国人民公安大学年硕士研究生目录及书目","中国人民公安大学年硕士研究生目录及书目"], return_tensors="pt", padding=True, truncation=True, max_length=128)

class SimCSE(nn.Module):
    def __init__(self, pretrained="bert-base-chinese", pool_type="pooler", dropout_prob=0.3):
        super().__init__()
        conf = BertConfig.from_pretrained(pretrained)
        conf.attention_probs_dropout_prob = dropout_prob
        conf.hidden_dropout_prob = dropout_prob
        self.encoder = BertModel.from_pretrained(pretrained, config=conf)
        assert pool_type in ["cls", "pooler"], "invalid pool_type: %s" % pool_type
        self.pool_type = pool_type

    def forward(self, input_ids, attention_mask, token_type_ids):
        output = self.encoder(input_ids,
                              attention_mask=attention_mask,
                              token_type_ids=token_type_ids)
        if self.pool_type == "cls":
            output = output[0][:, 0]
        elif self.pool_type == "pooler":
            output = output[1]
        return output

model = SimCSE()
pred = model(input_ids = batch_x["input_ids"],attention_mask=batch_x["attention_mask"],token_type_ids=batch_x["token_type_ids"])

您好，我按照这样的思路输入两次，但是最后输出的pred[0]和pred[1]是完全一样的，所以想请教下您的随机输出是怎么实现的？

你好，看了你的代码受益匪浅，但是在代码SimCSERetrieval.py 中encode_file() 有一些问题如下：

  if len(texts) >= self.batch_size:
      vecs = self.encode_batch(texts)
      vecs = vecs / vecs.norm(dim=1, keepdim=True)
      all_texts.extend(texts)
      all_ids.extend(idxs)
      all_vecs.append(vecs.cpu())
      texts = []
      idxs = []

如果 fname中的样本数N， N%self.batch_size = d，那么会遗漏d个样本。 我在测试中使用样本数为： N = 559 batch_size = 64 得到all_vecs.shape[0]=512