大家有什么推荐 [提取关键词] 的开源吗?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 3352 天前的主题，其中的信息可能已经有所发展或是发生改变。

今天试了下 jieba 和 snownlp
jieba 使用自定义词典权重不好控制
snownlp 貌似不支持自定义词典需要自己训练文本

搜下了论坛里面的帖子看到 @Livid 用的是 jieba 后面好像换了？
换的是什么工具能说下吗？
大家推荐几个我自己再去试试找到个我自己合适的

10 条回复 • 2015-10-28 09:17:11 +08:00

pandachow

2015-10-27 16:36:12 +08:00

LDA?

jimmyBrother

2015-10-27 16:42:35 +08:00

你怎么定义关键词啊，是出现的次数比较多就算关键词么，还是有别的什么定义的方法；

dai269619118

2015-10-27 16:44:38 +08:00

@jimmyBrother 匹配到词典里面的词然后按权重排序

shoumu

2015-10-27 16:47:11 +08:00

自己写一个 TF-IDF 吧，然后根据你的训练数据跑一个 IDF ，再根据你的效果调一下参数什么的就好了

dai269619118

2015-10-27 16:51:15 +08:00

@shoumu 嗯嗯文本匹配字典有什么算法吗？

shoumu

2015-10-27 16:55:55 +08:00

@dai269619118
Hash ？ Trie 树？
你是想直接从字典中匹配出关键词吗？

dai269619118

2015-10-27 17:01:27 +08:00

@shoumu 有思路了谢谢啊

iewgnaw

2015-10-27 18:55:29 +08:00

Gestalt

2015-10-28 08:57:26 +08:00

V2EX 帖子的关键词提取目前是用我司的 API http://bosonnlp.com/ 之前在这个帖子里有提到： http://v2ex.com/t/147911#reply32

dai269619118

2015-10-28 09:17:11 +08:00

@Gestalt 测试了一个文本分析的很准！谢谢