一、CSW中分词组件简介
CSW中文分词组件,是一套可自动将一段文本按常规汉语词组进行拆分,并以指定方式进行分隔的COM组件。本组件采用独有的高效的分词引擎及拆分算法,具有准确、高速、资源占用率小等特点。为了满足客户对文本语义进行研究分析的需要,本组件同时提供词性及词频标注功能,可根据用户要求,对其拆分后的词组进行词性标注或词频标注。互联网信息检索、数据库信息查询、智能聊天机器人、文本校对、自动翻译、 自动摘要、自动分类及信息加工处理等各个领域。
二、本组件特点:
1.适应性强
本组全部件采用ANSI标准C++开发,可广泛应用于当今的操作系统平台上,如:MS Windows、Linux及其它各公司出品的Unix操作系统。
2. 支持范围广
在MS Windows平台下,本组件以COM接口的DLL格式进行封装,可支持所有支持COM接口调用的编程语言及脚本语言。如:PHP、JSP、ASP、ASP.net、C/C++ 、VC6.0 、VC.net、BC、C#、VB6.0 、VB.net、Delphi、Java等。
3. 响应速度快
由于本组件采用高效特殊的算法引擎结构,每秒钟拆分可达数万字汉语文本,在对搜索关键词进行拆分情况下,其响应时间均在数毫秒之内,为搜索提供强劲动力。
4. 词组识别准确率高
采用特殊的词组拆分识别算法,可有效消除汉语词组中汉语歧义,并可识别各个行业内的特殊用语、专用词汇、公司名、地名等,并具有汉语成语、汉语短语识别功能。如:'醉翁之意不在酒'。经长期使用及大量文本测试其准确率可达到92%以上。
5. 拆分覆盖面广
含盖了IT、化工、金融、贸易、纺织、电子、制造、冶金等各行各业以及日常生活用语中的汉语词组。
6. 提供词组自定义功能
可根据用户需要自行添加汉语词组,并提单个汉字添加或从文件批量添加功能。
7.特殊字符过滤功能
可根据用户需要自行定义影响检索结果的不必要的字符。如:! % *等。
9. 具有英文分词识别功能。
本组件同时具有英文单词的分词识别功能。
10. 词性标注功能。(限企业A版)
词性:即词组在汉语语言中所表述的性质。如:计算机 /名词; 中国 / 名词,方位词
此功能可对拆分出的汉语词组进行词性标注,辅以开发人员理解分析文本序列中所包含的语义或意图。其广泛应用于互联网信息搜索以提高搜索精度、智能聊天机器人理解对方话语的含义等领域。整个分词标注以北京大学词性标注集为标准。(详细可参见词性标注表)
11. 词频标注功能。(限企业B版)
词频:即词组在广域的所有汉语词组中出现的相对频率值。
此功能可对拆分出的汉语词组进行词频标识。为开发人员在对搜索关键词的理解分析上提供有效的参考,以提高检索精度。整个词频标识是以各大报刊媒体文章为基础,经过精心的统计分析制作而成,具有相当的参考价值。
三、在线演示/免费下载
在线演示:http://61.129.81.124/csw/csw50.asp
四、各语言调用示例代码
参数一:InputString[string类型] 需进行分词的原始文本
参数二:OutputType[int整型] 输出类型 (0 标准分词输出, 1 附带词性输出, 2 附带词频输出)
参数三:DllPath[string类型] 本组件在系统中的完整路径
返回:OutputString[string类型] 输出分词后的文本序列
1. C#调用示例代码
首先运行本组件包中的install.bat文件,在系统中注册本组件。
然后在开发工具中引用CSW.dll组件
//以下为C#控制台应用程序中调用本组件示例代码.
CSWLib.SplitWordClass csw = new CSWLib.SplitWordClass();
string text = csw.Split('待拆分原始文本',0,@'c:winntsystem');
Console.WriteLine(text);
Console.ReadLine(); //暂停,查看输出
访问官方网站获得更多代码示例。
CSW中文分词组件下载专区
来源:互联网 发布日期:2011-09-07 15:08:45 浏览:16919次
导读:CSW中文分词组件是一套自动将一段文本按常规汉语词组进行拆分的COM组件...
相关热词: CSW中文分词组件 CSW中文分词组件免费下载 CSW中文分
相关内容
AiLab云推荐
最新资讯
本月热点
- 人形机器人崛起:OpenAI、微软洽谈投资Figure AI,望募资5亿美元
- OpenAI 悄悄升级 ChatGPT:可在对话中调用不同的自定义聊天机器人 | 懂点AI
- 麒麟信安入股超能机器人 或尝试打开新业绩增长点?公司最新回应来了
- Limbic开发AI心理咨询机器人,帮用户避免与人类交流可能引发的焦虑感
- 灿瑞科技:已有产品应用于消费级机器人领域
- 英伟达官宣AI聊天机器人,本地RTX显卡运行,这是要挑战OpenAI?
- 人形机器人企业暂时得救了
- Meta联合研发家务机器人,能在零人力帮助下自主整理房间
- 端到端纯视觉!OpenAI押注的人形机器人献艺拜年了
- 波士顿动力 Atlas 机器人能力升级,可灵活搬运汽车零件
热门排行
-
斯坦福家政机器人火了但又翻车了!多数是真人操控编排的
阅读量:163437
-
斯坦福团队发布新机器人Mobile Aloha,人形机器人将迎来产业元年?
阅读量:160742
-
我的同事是 GPT-4 机器人,我们在 Slack 上一起工作
阅读量:156966
-
谷歌起草“机器人宪法”,以确保 AI 机器人不会伤害人类
阅读量:155108
-
人形机器人崛起:OpenAI、微软洽谈投资Figure AI,望募资5亿美元
阅读量:99275
-
大疆回应停售青少年教育产品:将资源聚焦在大学生高校机器人赛事
阅读量:63333
推荐内容
- 2024第83届中国教育装备展示会 CEEIA
- 第二十一届丝路(西安)绿色建筑产业博览会 2024丝路绿色建筑产业(西安)发展大会
- 2024江苏南京国际大健康产业展会(ITS ASIA)
- 第四届中国(临沂)绿色建筑建材产业博览会
- 2024第十八届中部武汉农牧业机械博览会暨农机团购节
- 2024第十届河北任丘厨房、卫浴及配件展览会
- 中国(青岛)畜牧业博览会
- 第二届上海国际碳中和科技展览会
- 2024北京国际面辅料及纱线展览会
- 2024年第十届中国国际建筑涂料及涂装设备展览会
- 2024中国(北京)国际石膏与固废技术及装备展览会
- 2024第十八届中国(北京)保温材料和低碳节能技术展
- 2024中国(江苏)化工装备能源新材料博览会
- 2024中国(东莞)切削工业及工量刃具博览会
- 2024中国(洛阳)工业绿色技术装备博览会
- 2024北京国际校服园服展览会
- 2024中国无锡生物医药产业博览会 中国生物医药科技创新质量大会 中国生物医药人才交流大会
- 2024年第7届越南国际工程机械,矿山机械及运输车辆展
- 2024 中国(无锡)国际气体工业博览会暨第九届国际气体产业大会
- 2024中国(华北)分析测试与实验室装备展览会
- 2024年德国杜塞尔多夫国际管材、线缆及线材展览会