首页天道酬勤敏感词过滤软件在线,如何设计一级二级标题

敏感词过滤软件在线,如何设计一级二级标题

张世龙 05-06 08:41 84次浏览
需求分析系统有千万个词级别的禁止词, 需要过滤含有人名特殊符号的语句网站单词组合敏感词等初步设计1 .解决千万词级禁止词的存储和检索问题2 .解决过滤文本内容过多的问题详细设计1 .采用ES作为禁止词典进行千万词级数据检索需要满足需求2 .不应用分词器需要完全匹配的分词后,很多词是合法的群体加起来再敏感词3 .过滤后的文本内容分词不完整,利用了IK分词器分词,结果不适合现在的业务场景, 只能用字符串分割方式匹配ES库的问题是,为了在低效的同步多线程中以千字异步模式解决大数据量,需要考虑需要审计的状态将近4秒
敏感词过滤算法有几种,python敏感词过滤代码