Friso(高性能中文分词器)v1.6.4

Friso(高性能中文分词器)v1.6.4

Friso(高性能中文分词器)v1.6.4

昵称:Friso(高性能中文分词器)v..语言:中文

大小:1.7MB年份:2020

标签:

游戏介绍

  Friso是使用c语言开发的一款开源的高性能中文分词器,使用流行的mmseg算法实现,完全基于模块化设计和实现,可以很方便的植入其他程序中,源码无需修改就能在各种平台下编译使用!

Friso

  【功能介绍】

  Friso核心功能:

  中文分词:mmseg算法 + Friso 独创的优化算法,四种切分模式。

  关键字提取:基于textRank算法。

  关键短语提取:基于textRank算法。

  关键句子提取:基于textRank算法。

  Friso中文分词:

  四种切分模式:

  简易模式:FMM 算法,适合速度要求场合。

  复杂模式- MMSEG 四种过滤算法,具有较高的岐义去除,分词准确率达到了98.41%。

  检测模式:只返回词库中已有的词条,很适合某些应用场合。(1.6.1版本开始)。

  最多模式:细粒度切分,专为检索而生,除了中文处理外(不具备中文的人名,数字识别等智能功能)其他与复杂模式一致(英文,组合词等)。

  分词功能特性:

  同时支持对 UTF-8/GBK 编码的切分,支持 php5 和 php7 扩展和 sphinx token 插件。

  支持自定义词库。在 dict 文件夹下,可以随便添加/删除/更改词库和词库词条,并且对词库进行了分类。

  简体/繁体/简体混合支持, 可以方便的针对简体,繁体或者简繁体切分。同时还可以以此实现简繁体的相互检索。

  支持中英/英中混合词的识别(维护词库可以识别任何一种组合)。例如:卡拉ok, 漂亮mm, c语言,IC卡,哆啦a梦。

  很好的英文支持,英文标点组合词识别, 例如c++, c#, 电子邮件,网址,小数,百分数。

  自定义保留标点:你可以自定义保留在切分结果中的标点,这样可以识别出一些复杂的组合,例如:c++, k&r,code.google.com。

  复杂英文切分的二次切分:默认 Friso 会保留数字和字母的原组合,开启此功能,可以进行二次切分提高检索的命中率。例如:qq2013会被切分成:qq/ 2013/ qq2013。

  支持阿拉伯数字/小数基本单字单位的识别,例如2012年,1.75米,5吨,120斤,38.6℃。

  自动英文圆角/半角,大写/小写转换。

  同义词匹配:自动中文/英文同义词追加。 (需要在 friso.ini 中开启 friso.add_syn 选项)。

  自动中英文停止词过滤。(需要在 friso.ini 中开启 friso.clr_stw 选项)。

  多配置支持, 安全的应用于多进程/多线程环境。


猜你喜欢
搜歌识曲 红猪国际棋牌官网二维码下载 v2.0 姚记棋牌 仙剑柔情 狂暴街道街头斗殴 福尔摩斯恶魔之女 世纪娱乐棋牌游戏官网版下载 v2.0.1 从零开始的幻想乡 柴犬侠IOS版 球探推荐 2021棋牌官网版 V1.2.1 暖暖直播appv3.0 征战纯净传奇 Twitter安卓版 亿人棋牌手机版app v2.0 闲置的杀手客户端 十点读书 456棋牌正式官网版 救救铁憨憨 爱蜜悦直播Appv2.0.1 王妃直播app 易说英语 菠萝蜜最新入口v9.0.0 i91porn91短视频 狗狗棋牌平台最新版本 电竞头条 宝塔娱乐棋牌ios免费版 v1.0.14 免费影视岛 全民突击 爵金棋牌游戏下载 v1.0.1

健康游戏忠告

电脑版手机版