脏词过滤

最新推荐文章于 2024-06-06 09:32:39 发布
最新推荐文章于 2024-06-06 09:32:39 发布
阅读量1.1k 收藏
点赞数
分类专栏： Server开发
    原文地址：http://tech.ddvip.com/2008-12/1230004061102174_2.html

    思想是很值得借鉴的：
        
java用DFA实现脏词过滤以及用FileAlterationListenerAdaptor实现对资源文件修改的动态监听
u011734144的专栏
05-29 1756
最近在跟朋友做一个博客网站，里面涉及一些脏词过滤算法，查了很多资料总结来说DFA算法是比较理想的，效率高。脏词本身是一个可以配置的东西，所以不能在程序中将脏词写死，否则要修改或者添加一些新的脏词还需要修改代码重新启动服务器，这显然是不可行的，所以脏词需要做成一个配置文件，并且当配置文件修改后，我不需要重启服务器就可以自动监测到修改后的脏词，这个是用FileAlterationListenerAda
脏词过滤 c#
u012536120的博客
07-04 1315
1【背景】这个在网络上也叫“敏感词过滤”，比如一些论坛、贴吧，涉及政治类词、骂爹骂娘的词，就得过滤掉。我是闲着无聊，就看了下。一开始想着用好几个replace不就好了吗，后来网上说这种效率太低了。查了下，发现这一块还是比较深，最后我找了2种方法（方法是别人写的，从网上找的），都是精确匹配脏词的。效率如何不怎么关心，反正是有点意思的，所以想发一下。（精确匹配脏词）这种方法得有个脏词库，目的就是将X文...
DirtyWordsFilter(脏字过滤)
yunteng521的博客
05-23 342
DirtyWordsFilter(脏字过滤) 基于256 tree c++ golang 两个版本
过滤器应用之过滤脏词
qq_40652667的博客
09-14 405
1聊天界面-chat.jsp <%-- Created by IntelliJ IDEA. User: yxl Date: 2019/9/6 Time: 14:14 To change this template use File | Settings | File Templates. --%> <%@ page contentType="text/html...
tokenizer:一个简单的中文分词算法，可用于网游脏词过滤、搜索引擎文档解析、自然语言处理等需要中文分词的场合
04-27
洋文单词以空格天然分词，相比较而言因为一句中文是由连贯的字组成的，分词就麻烦一些。最困难的情况是对二义性句子的分割问题。比如“搜索引擎”这四个字，可以拆成“搜索”和“引擎”，但“索引”也是一个中文词汇。在脏词过滤的逻辑中最简单的做法是不使用分词，用所有脏词和一句话匹配，如果任意一个脏词是这句话的子串就认定为脏句，这种做法虽然避免了漏网之鱼，但是会因过于严格而让正常的句子变成脏句，分词可以改善这种问题。本项目提供一种简单的中文分词算法，并用近乎伪代码的 Python 编写。期待有人写出更好的版本：比如对效率的优化；在分词过程中引入词性的判定，进而过滤掉在词法上有效但语法上无效的节点等。 目前算法支持二义性划分，如词典里有“喜”，“欢”，“喜欢”三个词，则“喜欢”会拆成[喜欢]和[喜, 欢]两种划分；还支持新词划分，对于未知的词汇，会分割成单字。详见代码本身示例。
一个简单的中文分词算法，可用于网游脏词过滤、搜索引擎文档解析、自然语言处理等需要中文分词的场合
02-23
一个简单的中文分词算法，可用于网游脏词过滤、搜索引擎文档解析、自然语言处理等需要中文分词的场合 洋文单词以空格天然分词，相比较而言因为一句中文是由连贯的字组成的，分词就麻烦一些。最困难的情况是对二义性...
C++实现的简易脏词过滤替换工具
在本项目中，C++被用作实现脏词过滤类的主要开发工具。 2. 字典树（Trie）数据结构 字典树是一种树形结构，常被用于处理字符串检索问题。在本项目中，字典树用于高效地存储和检索脏词。每个节点代表一个字符，从根...
探索中文分词算法：从网游脏词过滤到自然语言处理
资源摘要信息:"本项目提供的tokenizer是一个简单的中文分词算法，该算法可用于网游脏词过滤、搜索引擎文档解析、自然语言处理等场合。中文分词与洋文单词分词不同，由于中文是由连贯的字组成，分词过程较为复杂。...
探索高效的脏词过滤库：cuss
最新发布
gitblog_00016的博客
06-06 599
探索高效的脏词过滤库：cuss cuss???? Map of profane words to a rating of sureness项目地址:https://gitcode.com/gh_mirrors/cu/cuss 如果你在处理自然语言数据时需要识别和理解潜在的敏感词汇，那么cuss这个开源项目就是一个理想的工具。它提供了一个智能的评级系统，能帮助你在处理文本时，区分那些可能被视为不当或有攻...
一款高性能敏感词(非法词/脏字)检测过滤组件，附带繁体简体互换，支持全角半角互换，汉字转拼音，模糊搜索等功能。
11-15
一款高性能敏感词(非法词/脏字)检测过滤组件，附带繁体简体互换，支持全角半角互换，汉字转拼音，模糊搜索等功能。
php 接入黑词库,php敏感词过滤使用第三方扩展trie_filter
weixin_39955142的博客
04-07 252
安装ubuntu 14.04安装 libdatrie//http://linux.thai.net/~thep/datrie/datrie.html#Download下不下来，只好直接装sudo apt-get install libdatrie-dev安装 trie_filter 扩展> git clone https://github.com/wulijun/php-ext-trie-f...
过滤敏感词，脏词
wangrensi的专栏
01-02 1017
http://blog.csdn.net/lyflower/article/details/5890132
字符串 + 字符串数组实现脏数据过滤
qq_44804494的博客
12-17 415
/** * 字符串 + 字符串数组实现脏数据过滤： eg: 这个商品MMP 就是 垃圾 NND 。。 */ public class Task_05 { public static void main(String[] args) { String str[] = {"垃圾", "mmp", "nnp", "独裁" }; String st = "那个啥Mmp,能及时撒地pMH方垃...
【树莓派开发】gcc编译器中出现warning: #pragma once in main file
热门推荐
慕雪华年的博客
03-11 1万+
众所周知，#pragma once语句是防止头文件重复包含非常常用的一条语句 VS编译器在创建.h文件的时候会自动帮你在开头添加这个语句 但是在gcc编译器下，这个语句就可能会出现一些问题 所使用编译器： VS2019（windows10） 树莓派（linux-gcc） warning: #pragma once in main file 在我尝试在linux环境下使用#pragma once语句时，遇到了这个报错 解决这个问题的办法很简单，就是不要编译头文件 编译器会自动展开头文件，无需手动编
#pragma once
种田能手
10-27 1852
#pragma onceSpecifies that the file will be included (opened) only once by the compiler in a build. This can reduce build times as the compiler will not open and read the file after the first #inclu
基于倒排索引的组合敏感词过滤
hitxiaoyin的博客
05-23 2371
1. 问题原型： 给定一段UGC文本或者网页文本，其中含有很多的敏感词或者无效词，但是有一些词只有和其他词一起出现的时候才算是敏感词，我们称其为组合关键词，需要一种算法，找到其中的组合敏感词和单个敏感词 2. 求解思路：   2.1 单关键词求解：     2.1.1 暴力求解： 将文本内容逐个和设定的关键词（以下称之为模式）进行比较，算法的复杂度为O（m*n*k
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值