比如我在一段文本里面选择10个关键词 content=...#内容 r=SnowNLP(content) result=r.keywords(10, False) 第一次运行结果： ['執', '這', '壺', '年', '版', '星期日', '下午', '收', '也出', '土'] 第二次： ['出', '年', '版', '星期日', '下午', '執壺', '種', '級', '低', '岛'] 第三次： ['壺', '種', '年', '星期日', '下午', '岛', '也出', '也收藏', '物館', '明這']

我怀疑原因和python版本有关，见jieba分词的类似问题 https://github.com/fxsjy/jieba/issues/228

用自己的训练集训练：

def train():
    from snownlp import sentiment
    sentiment.train('filter_neg.txt', 'filter_pos.txt')
    sentiment.save('sentiment.marshal')

然后调用marshal进行情感分析结果输出：

from snownlp import sentiment
    sentiment.data_path = 'sentiment.marshal'

    with open('test.txt') as f:
        data = f.xreadlines()
        for line in data:
            line = line.decode('utf-8').replace('\r', ' ').replace('\n', ' ').replace('\t', ' ')
            snlp = SnowNLP(line)
            print snlp.sentiments

可是得到的结果和没有调用新的marshal一样，请问是哪里写得有问题吗？

Hi! Thanks for this library. I'm running it on some chinese sentences that have been segmented already with jieba.

But the tf/idf only seems to work with single characters.

Can it works with full chinese words? eg 接力 not 接 and 力 separately?

sub 妈 接力 活动 还 没 结束 吗 ？
你好 我家 宝宝 牛奶 过敏 一个 加号 ， 亲舒 可以 喝
sentences
['妈 接力 活动 还 没 结束 吗', '你好 我家 宝宝 牛奶 过敏 一个 加号', '亲舒 可以 喝']
tags
[   ('妈', 'n'),
    ('接力', 'vn'),
    ('活动', 'vn'),
    ('还', 'd'),
    ('没', 'd'),
    ('结束', 'v'),
    ('吗', 'y'),
    ('？', 'w'),
    ('你好', 'l'),
    ('我家', 'n'),
    ('宝宝', 'n'),
    ('牛奶', 'n'),
    ('过敏', 'v'),
    ('一个', 'm'),
    ('加号', 'Bg'),
    ('，', 'w'),
    ('亲', 'a'),
    ('舒', 'nr'),
    ('可以', 'v'),
    ('喝', 'v')]
tf
[   {'妈': 1},
    {'力': 1, '接': 1},
    {'动': 1, '活': 1},
    {'还': 1},
    {'没': 1},
    {'束': 1, '结': 1},
    {'吗': 1},
    {'\n': 1, '你': 1, '好': 1, '？': 1},
    {'家': 1, '我': 1},
    {'宝': 2},
    {'奶': 1, '牛': 1},
    {'敏': 1, '过': 1},
    {'一': 1, '个': 1},
    {'加': 1, '号': 1},
    {'，': 1},
    {'亲': 1, '舒': 1},
    {'以': 1, '可': 1},
    {'喝': 1}]
idf
{   '\n': 2.456735772821304,
    '一': 2.456735772821304,
    '个': 2.456735772821304,
    '亲': 2.456735772821304,
    '以': 2.456735772821304,
    '你': 2.456735772821304,
    '力': 2.456735772821304,
    '加': 2.456735772821304,
    '动': 2.456735772821304,
    '可': 2.456735772821304,
    '号': 2.456735772821304,
    '吗': 2.456735772821304,
    '喝': 2.456735772821304,
    '奶': 2.456735772821304,
    '好': 2.456735772821304,
    '妈': 2.456735772821304,
    '宝': 2.456735772821304,
    '家': 2.456735772821304,
    '我': 2.456735772821304,
    '接': 2.456735772821304,
    '敏': 2.456735772821304,
    '束': 2.456735772821304,
    '没': 2.456735772821304,
    '活': 2.456735772821304,
    '牛': 2.456735772821304,
    '结': 2.456735772821304,
    '舒': 2.456735772821304,
    '过': 2.456735772821304,
    '还': 2.456735772821304,
    '，': 2.456735772821304,
    '？': 2.456735772821304}

 * Running on http://127.0.0.1:8001/ (Press CTRL+C to quit)
 * Restarting with stat
Traceback (most recent call last):
  File "weibo_sentiment/main.py", line 24, in <module>
    from weibo_sentiment import (
  File "/home/www/weibo_sentiment/weibo_sentiment/weibo_model.py", line 10, in <module>
    from snownlp import SnowNLP
  File "/usr/local/lib/python2.7/dist-packages/snownlp/__init__.py", line 5, in <module>
    from . import seg
  File "/usr/local/lib/python2.7/dist-packages/snownlp/seg/__init__.py", line 12, in <module>
    segger.load(data_path, True)
  File "/usr/local/lib/python2.7/dist-packages/snownlp/seg/seg.py", line 23, in load
    self.segger.load(fname, iszip)
  File "/usr/local/lib/python2.7/dist-packages/snownlp/seg/y09_2047.py", line 51, in load
    data = f.read()
  File "/usr/lib/python2.7/gzip.py", line 254, in read
    self._read(readsize)
  File "/usr/lib/python2.7/gzip.py", line 313, in _read
    self._add_read_data( uncompress )
  File "/usr/lib/python2.7/gzip.py", line 331, in _add_read_data
    self.extrabuf = self.extrabuf[offset:] + data
MemoryError

It is running on Aliyun ECS 1GB RAM.

File "/usr/local/lib/python2.7/dist-packages/snownlp/seg/y09_2047.py", line 51, in load
    data = f.read()

Change to readlines ?

from snownlp import sentiment sentiment.train('neg.txt', 'pos.txt') sentiment.save('sentiment.marshal4') 生成一个sentiment.marshal4.3的文件，在snownlp\sentiment目录中进行.重命名后替换成.marshal， 替换neg和pos文件，但是分数和默认还是一样的。求教哪里的问题。

您好 1. 根據您的程式碼，關於情感分析的部分，沒理解錯誤的話，其背後的演算法是基於Bayes的相關模型？ 去看過TextBlob的實作後，發現他也是應用Bayes相關的模型(https://textblob.readthedocs.io/en/dev/advanced_usage.html#sentiment-analyzers)

看了你們的東西，但我對於其背後的原理沒有很懂，想知道你們是怎麼用Bayes相關的模型，來進行情感分析的？ 想請問您有沒有相關的文獻，或是網站可以參考呢？

TextBlob有做polarity，subjective/objective的分析，不過您的範例只有positive value 那個value值，是否代表越接近1，代表情緒越正向；越接近0，代表情緒越負向呢？

因為TextBlob，在針對英文上面，情緒分析做得很完善 只是中文分析上面，好像還沒有一個針對「極性、正負向」的情緒分析，一個全面且很有效的套件？ 目前貌似只有您踏出第一步(而且相當大的一步，感謝)，所以想先充分理解您的東西，未來看有沒有機會來完善中文文字探勘這一塊的缺漏

您好，关于textrank算法中，感觉有点问题，以keywordTextRank为例， 当计算节点k的rank值时，您的代码是 for k, v in self.words.items(): m[k] = 1-self.d for j in v: if k == j or len(self.words[j]) == 0: continue m[k] += (self.d/len(self.words[j])*self.vertex[j]) if abs(m[k] - self.vertex[k]) > max_diff: max_diff = abs(m[k] - self.vertex[k]) 根据k，v的关系，v中包含的是指向节点k的所有节点集合，如果这样，在内循环中的len(self.words[j]这里算的是节点j的入度，即指向节点j的数量。但实际的textrank算法中，这里应该是节点j的出度，即节点j外链接的数量。请问作者，这里的代码是否有问题？感谢！

通过pip安装后

import snownlp

报错，提示seg.marshal文件有问题

具体错误信息如下： /opt/local/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/site-packages/snownlp/init.py in () 3 4 from . import normal ----> 5 from . import seg 6 from . import tag 7 from . import sentiment

/opt/local/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/site-packages/snownlp/seg/init.py in () 10 'seg.marshal') 11 segger = TnTseg.Seg() ---> 12 segger.load(data_path, True) 13 14

/opt/local/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/site-packages/snownlp/seg/seg.py in load(self, fname, iszip) 21 22 def load(self, fname, iszip=True): ---> 23 self.segger.load(fname, iszip) 24 25 def train(self, fname):

/opt/local/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/site-packages/snownlp/seg/y09_2047.py in load(self, fname, iszip) 45 try: 46 f = gzip.open(fname, 'rb') ---> 47 d = marshal.loads(f.read()) 48 except IOError: 49 f = open(fname, 'rb')

ValueError: bad marshal data (unknown type code)

在向服务器部署时，进程意外终止

感谢您的分享，很实用的库，学习中 不过在部署服务器的时候，出现了一点问题

场景复现

服务器环境：centos，内存2G，CPU Intel(R) Xeon(R) E5-2420 1.9GHz

在执行模块导入时

from snownlp import SnowNLP

进程be killed 使用top命令查看CPU占用超过100%，Memory 27% 而在更低配置的个人电脑上就没有问题，一直没有分析出原因，不知您有可行的建议么

st = SnowNLP([[u'吃饭',u'睡觉',u'打豆豆'], [u'吃饭',u'烤肉',u'懒觉',u'打游戏'], ['吃吃喝喝']]) st.sim([u'吃饭',u'睡觉',u'打豆豆'])

and result is [0.4836218923228314, -0.4170005091967271, 0] so what is the meaning of minus simularity

In your publication you demonstrate the scores of your segmentation algorithm on various datasets (PKU, MSR, AS etc.). However, these datasets differ in the standards they are based on. What is the default dataset (=> CWS standard) for the default version of snownlp?