所属分类 多国语言处理
文件大小 1634 K
文件格式 RAR 文件
累计下载 149 次
分享作者
发布日期

资料详细技术说明

「我是中國人」,ChineseTokenizer會將之分割為五個中文字:「我、是、中、國、人」,CJKTokenizer則會將之分割為「我是、是中、中國、國人」四個二節的詞。前者的問題是沒有考慮中文詞語的問題,如搜尋「國中」一樣搜尋到「我是中國人」。後者的問題則是制做了大量沒意義的詞如「是中」「國人」,讓索引沒必要地增大、降低搜尋效率。

压缩包内文件清单(共 12 个文件)

已自动扫描归档包内目录结构与文件清单 源码与文本文档支持点击「在线阅读」,二进制/媒体文件请下载压缩包后使用
1 FILE
indexcjkfiles.java 2.7 KB
包内组件
2 FILE
searchfiles.java 2.6 KB
包内组件
3 FILE
indexfiles.java 2.4 KB
包内组件
4 FILE
filedocument.java 2.7 KB
包内组件
5 FILE
searchcjkfiles.java 2.9 KB
包内组件
6 FILE
deletefiles.java 1.5 KB
包内组件
7 FILE
cjkanalyzer.java 4.5 KB
包内组件
8 FILE
cjktokenizer.java 10.2 KB
包内组件
9 FILE
chinesefilter.java 4.8 KB
包内组件
10 FILE
chineseanalyzer.java 3.5 KB
包内组件
11 FILE
chinesetokenizer.java 5.4 KB
包内组件
12 FILE
cstandardtokenizer.jj 6.7 KB
包内组件

相关多国语言处理资料推荐

下载与解压说明

下载积分规则

  • 本资源下载仅需 2 积分
  • 24 小时内重复下载免扣积分
  • VIP 会员享专属免积分高速通道

文件解压指南

  • 推荐使用 7-Zip 或新版 WinRAR 解压
  • 原理图与 PCB 请使用对应 EDA 软件打开
  • 压缩包内源码可直接在上方在线预览

免费获取积分