首页天道酬勤敏感词过滤算法有几种,python敏感词过滤代码

敏感词过滤算法有几种,python敏感词过滤代码

张世龙 05-06 08:40 113次浏览

用谷歌编写敏感词过滤的工具主要提供检测用户昵称中是否存在敏感词,同时去除迁移字符的功能。

首先,可以将敏感词典保存在map中。 敏感单词请参考这里。 https://github.com/fw wdn /敏感停止- words

在传递map和昵称时,程序会检查昵称的每个子列,以确定它们是否在map敏感词典中。 复杂度o(Len(name )2) ) ) ) ) ) )

packageutilimport (' github.com/pkg/errors ' ' strings ' ) typefilterstruct { datastringmaxlimitlenint } funcnewkeywowors error ) iflen ) str ) maxlimitlen ) returnnil,errors.Errorf ('长度: %d,不可超过: %d ',len max limit len } return filterorf nil}func(f*filter ) GetData ) string ) returnf.data ) func ) f*filter ) filterkeywords ) keywords map [ string ] bor i {for j :=i 1; j=len(f.data ); j { substr 3360=f.data [ I : j ] if _,found :=keywords[subStr]; found {err=errors.Errorf (昵称违规,建议更正(}}return ) func(f*filter ) trimallcharset(ch[]string ) ) error c :=range ch { f.data=strings.replace (f.data,c,',-1) } if len (f.data )==0 {err=errors.New )

c语言屏蔽一段代码快捷键,java敏感词过滤算法