搜寻引擎算法的转变迎来的中文分词原理的变更,上面idsem团队成员王克江以中文分词原理来讲解百度中文分词原理的分词规矩,分享如下:
一、中文分词原理的讲解
1、基于理解的分词方法
基于理解的分词方法就是机器模仿人来理解词语,在言语常识及其词库的配合下,机器履行语句掌握,词意掌握,以及分词掌握来模仿人来读取网页信息。能够理解成机器模仿人分词。
2、基于字符串匹配的分词方法
基于字符串匹配分词是与词库进行对照遵照不同的扫描方法进行分词,扫描方法分为四种:
1)正向最大匹配法(由左到右的方向)
2)逆向最大匹配法(由右到左的方向)
3)起码切分(使每一句中切出的词数最小)
4)双向最大匹配法(进行由左到右、由右到左两次扫描)
为了进步分词正确度,又涌现了标记和特性扫描。标记分词以标记作为为断点,可将原字符串分为较小的串再来进机械分词;特性分词将分词和词类标注联合起来,应用丰硕的词类信息对分词决策供给赞助,并且在标注历程中又反过去对分词后果进行测验、调剂,从而极大地进步切分的正确率。
3、基于统计的分词方法
基于统计的分词方法目前有两种方法:互现信息统计分词、机械学习统计分词 互现信息统计分词:在去除噪声的前提下统计词语涌现的频率以及词语相邻的地位,依据相邻准则以及词语涌现的频率情势词语。
机械学习统计分词:在有少量已经分词的文本前提下,应用统计机器学习模型学习词语切分的法则,完成对未知文本的切分,也能够成为练习统计分词。
4、歧义词语的辨认
歧义分词包含交加型歧义和组合型歧义在此就不做具体介绍您能够参考”中文分词”百科
5、新词辨认
新词辨认重要指专业术语或许是命名实体比方”人名、地名、机构名、商标”等在百度词库用定位为专有词库。
在为大家讲解玩中文分词以后,那么百度是如何进行中文分词的呢,上面器具体例子具体介绍
二、图例具体讲解百度如何进行中文分词
百度中文分词实例演示图
1、如图所示”林夕阁软文”匹配成词,表现了百度”基于理解的分词方法”,机器模仿人理解涌现了误区。
2、在admin5的URL描写中咱们能够发明”林夕阁”"软文”独自成词,那么在题目中”林夕阁
搜寻引擎算法的转变迎来的中文分词原理的变更
来源:互联网 发布日期:2011-08-28 21:48:10 浏览:11376次
导读:搜寻引擎算法的转变迎来的中文分词原理的变更 ,SEO论坛...
相关热词: 搜寻引擎算法的转变迎来的中文分词原理的变更
相关内容
- 加速5G商业正循环,5G-A已然照进现实
- 华为携手联通完成5G-A技术落地 机构建议积极关注射频等投资机会
- 5.5G在欧洲突破,DNA首次将5.5G技术引入现网
- 观点:中国市场是5G RedCap成功的关键
- 佳讯飞鸿:已完成基于5G-R指挥调度相关产品及解决方案研发
- 邬贺铨院士:5.5G 不需全网覆盖,建议共建共享
- 首发新款麒麟5G芯片!曝华为nova 12系列12月26日登场
- 高通公司取得5G空中用户设备模式切换专利,实现UE标高超过阈值时切换到定向发送模式
- 从5G迈向5G-A,运营商的增长新机会在哪?| MWC 2024
- 5G 速度测试:三星 Galaxy S24 在大部分国家领先苹果 iPhone 15
AiLab云推荐
最新资讯
本月热点
热门排行
-
华为5G-A实现规模组网,下载速度超过4Gbps,比5G快10倍
阅读量:43270
-
最坏时期已过,美国5G市场即将迎来回暖?
阅读量:42651
-
回望2023年5G发展:释放和提升价值成最大课题
阅读量:11947
-
全球吹响5G-A商用号角
阅读量:10817
-
5.5G在欧洲突破,DNA首次将5.5G技术引入现网
阅读量:9844
-
首发新款麒麟5G芯片!曝华为nova 12系列12月26日登场
阅读量:9521
推荐内容
- 2024第83届中国教育装备展示会 CEEIA
- 第二十一届丝路(西安)绿色建筑产业博览会 2024丝路绿色建筑产业(西安)发展大会
- 2024江苏南京国际大健康产业展会(ITS ASIA)
- 第四届中国(临沂)绿色建筑建材产业博览会
- 2024第十八届中部武汉农牧业机械博览会暨农机团购节
- 2024第十届河北任丘厨房、卫浴及配件展览会
- 中国(青岛)畜牧业博览会
- 第二届上海国际碳中和科技展览会
- 2024北京国际面辅料及纱线展览会
- 2024年第十届中国国际建筑涂料及涂装设备展览会
- 2024中国(北京)国际石膏与固废技术及装备展览会
- 2024第十八届中国(北京)保温材料和低碳节能技术展
- 2024中国(江苏)化工装备能源新材料博览会
- 2024中国(东莞)切削工业及工量刃具博览会
- 2024中国(洛阳)工业绿色技术装备博览会
- 2024北京国际校服园服展览会
- 2024中国无锡生物医药产业博览会 中国生物医药科技创新质量大会 中国生物医药人才交流大会
- 2024年第7届越南国际工程机械,矿山机械及运输车辆展
- 2024 中国(无锡)国际气体工业博览会暨第九届国际气体产业大会
- 2024中国(华北)分析测试与实验室装备展览会
- 2024年德国杜塞尔多夫国际管材、线缆及线材展览会