lsm/hutool
1
0
Fork 0
mirror of https://gitee.com/dromara/hutool.git synced 2025-06-28 13:34:09 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity

fix stopchars

Browse Source
This commit is contained in:
Looly 2025-02-17 13:03:46 +08:00
parent 6b843b1ca6
commit 26c40fb51c
2 changed files with 24 additions and 23 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

10
hutool-dfa/src/main/java/cn/hutool/dfa/StopChar.java
View File

@ -1,9 +1,9 @@
package cn.hutool.dfa; package cn.hutool.dfa;
import java.util.Set;
import cn.hutool.core.collection.CollUtil; import cn.hutool.core.collection.CollUtil;
import java.util.Set;
/** /**
* 过滤词及一些简单处理 * 过滤词及一些简单处理
* *
@ -22,10 +22,10 @@ public class StopChar {
'⒔', '⒕', '⒖', '⒗', '⒘', '⒙', '⒚', '⒛', '⑴', '⑵', '⑶', '⑷', '⑸', '⑹', '⑺', '⑻', '⑼', '⑽', '⑾', '⑿', '⒀', // '⒔', '⒕', '⒖', '⒗', '⒘', '⒙', '⒚', '⒛', '⑴', '⑵', '⑶', '⑷', '⑸', '⑹', '⑺', '⑻', '⑼', '⑽', '⑾', '⑿', '⒀', //
'⒁', '⒂', '⒃', '⒄', '⒅', '⒆', '⒇', 'Ⅰ', 'Ⅱ', 'Ⅲ', 'Ⅳ', 'Ⅴ', 'Ⅵ', 'Ⅶ', 'Ⅷ', 'Ⅸ', 'Ⅹ', 'Ⅺ', 'Ⅻ', '！', // '⒁', '⒂', '⒃', '⒄', '⒅', '⒆', '⒇', 'Ⅰ', 'Ⅱ', 'Ⅲ', 'Ⅳ', 'Ⅴ', 'Ⅵ', 'Ⅶ', 'Ⅷ', 'Ⅸ', 'Ⅹ', 'Ⅺ', 'Ⅻ', '！', //
'＃', '￥', '％', '＆', '（', '）', '＊', '，', '．', '／', '０', '１', '２', '３', '４', '５', '６', '７', // '＃', '￥', '％', '＆', '（', '）', '＊', '，', '．', '／', '０', '１', '２', '３', '４', '５', '６', '７', //
'８', '９', '：', '；', '＜', '＝', '＞', '？', '＠', '＼', '＾', '＿', '｛', '｜', '｝', 'Ρ', // '８', '９', '：', '；', '＜', '＝', '＞', '？', '＠', '〔', '＼', '〕', '＾', '＿', '‘', '｛', '｜', '｝', 'Ρ', //
'Υ', 'Φ', 'Χ', 'Ψ', 'Ω', 'α', 'β', 'γ', 'δ', 'ε', 'ζ', 'η', 'θ', 'ι', 'κ', 'λ', 'μ', 'ν', 'ξ', 'ο', 'π', // 'Υ', 'Φ', 'Χ', 'Ψ', 'Ω', 'α', 'β', 'γ', 'δ', 'ε', 'ζ', 'η', 'θ', 'ι', 'κ', 'λ', 'μ', 'ν', 'ξ', 'ο', 'π', //
'ρ', 'σ', 'τ', 'υ', 'φ', 'χ', 'ψ', 'ω', '﹊', '﹍', '╭', '╮', '╰', '╯', '', '_', // 'ρ', 'σ', 'τ', 'υ', 'φ', 'χ', 'ψ', 'ω', '（', '）', '＾', '﹊', '﹍', '╭', '╮', '╰', '╯', '', '_', //
'/', '\\', '\"', '<', '>', '`', '{', '}', '~', '(', ')', '-', // '', '^', '（', '：', '！', '/', '\\', '\"', '<', '>', '`', '{', '}', '~', '(', ')', '-', //
'$', '@', '*', '&', '#', '卐', '㎎', '㎏', '㎜', '㎝', '㎞', '㎡', '㏄', '㏎', '㏑', '㏒', '㏕', '+', '=', '?', '$', '@', '*', '&', '#', '卐', '㎎', '㎏', '㎜', '㎝', '㎞', '㎡', '㏄', '㏎', '㏑', '㏒', '㏕', '+', '=', '?',
':', '.', '!', ';', ']','|','%'); ':', '.', '!', ';', ']','|','%');

5
hutool-dfa/src/test/java/cn/hutool/dfa/DfaTest.java
View File

@ -1,11 +1,12 @@
package cn.hutool.dfa; package cn.hutool.dfa;
import cn.hutool.core.collection.CollUtil; import cn.hutool.core.collection.CollUtil;
import static org.junit.jupiter.api.Assertions.*;
import org.junit.jupiter.api.Test; import org.junit.jupiter.api.Test;
import java.util.List; import java.util.List;
import static org.junit.jupiter.api.Assertions.*;
/** /**
* DFA单元测试 * DFA单元测试
* *
@ -27,7 +28,7 @@ public class DfaTest {
// 匹配到【大】，就不再继续匹配了，因此【大土豆】不匹配 // 匹配到【大】，就不再继续匹配了，因此【大土豆】不匹配
// 匹配到【刚出锅】，就跳过这三个字了，因此【出锅】不匹配（由于刚首先被匹配，因此长的被匹配，最短匹配只针对第一个字相同选最短） // 匹配到【刚出锅】，就跳过这三个字了，因此【出锅】不匹配（由于刚首先被匹配，因此长的被匹配，最短匹配只针对第一个字相同选最短）
List<String> matchAll = tree.matchAll(text, -1, false, false); List<String> matchAll = tree.matchAll(text, -1, false, false);
assertEquals(matchAll, CollUtil.newArrayList("大", "土^豆", "刚出锅")); assertEquals(CollUtil.newArrayList("大", "土^豆", "刚出锅"), matchAll);
} }
/** /**