中文分词是百度和谷歌的核心技术之一,因此不会将细节公之于。我只能利用黑盒方法进行推导,也即通过输入检索提问,查看结果情况,并通过两个搜索引擎都具备的网页快照功能查看各自对检索提问的分词情况。
表1 检索提问在百度和谷歌中的分词情况*
第一,推导百度的中文分词技术
第1个例子说明,如果对检索提问用引号做精确检索,百度对其不进行分词运算。例2说明,如果输入用空格进行分割的若干个子字符串,百度对其自动做分词处理(如果用标点符号分割,也会做自动分词处理)。例3、6、7、8、10等都说明百度对检索词会进行多种切分方式,并且首先是不进行切分,直接匹配,如果有结果则返回,并排在检索结果最前面;然后再按照不同形式切分之后再去匹配。
例4对“比尔盖茨”的检索表明,百度有专有名词库,例5对“旭日阳刚”的检索表明,百度对新词收录较快。例9“旭日阳刚才”的分词结果为“旭日阳刚/才”也说明,百度对新词能够识别。
例11“大长今天天向上”,百度能够识别出“大长今/天天向上”,“大长今”为一韩剧名,“天天向上”为一综艺节目,百度均能正确地识别,表明其词库收词范围很广,收词量很多。例7、8说明,百度对在分词时不会忽略“的”、“和”这些意义不大的字(即禁用词),可以做更多的尝试,百度对“了”、“吗”等都不会忽略,仍作为检索词进行分词。
再探讨百度是正向最大匹配还是逆向最大匹配。例7中,对“走路和气质”可以分出“走路/和/气质”,这种结果像是逆向最大匹配法,再看例12,“分居民生活水平”,如果逆向最大匹配法的话应该是应该分为“分/居民/生活水平”,但事实上百度对这个检索提问的分词结果并不如此,在这个例子上看似为正向分词。因此,百度的分词不是单纯的正向最大匹配或者逆向最大匹配,采用的应该是双向最大匹配法。
通过有多种划分方式的例子(比如例8),可以看出,百度首先是不进行分词,得到“朱德的母亲”,然后再识别出专有名词或新词,剩余部分又按照先不切分的方式,得到“朱德/的母亲”,然后用最少切分法原则,并且用到了3元交叉切分法得到了“朱德的/的母亲”。
第二,推导谷歌的中文分词技术
例1说明,对于引号中的检索提问,谷歌不进行拆分;例2说明,用空格分开的子字符串,谷歌自动做分词处理(如果用标点符号分割,效果也一样)。
例3、4、5、6表明,谷歌对于专有名词和新词识别能力较差,对“比尔盖茨”、“旭日阳刚”等都进行了分词处理,甚至连“忐忑”都划分为了“忐/忑”,“图书馆”划分为“图书/馆”,“中医药”划分为“中/医药”,说明谷歌的词
百度和谷歌的中文分词技术对比分析
来源:互联网 发布日期:2011-09-21 22:44:52 浏览:17078次
导读:百度和谷歌的中文分词技术对比分析 中文分词是 百度 和谷歌的核心技术之一,因此不会将细节公之于。我只能利用黑盒方法进行推导,也即通过输入检索提问,查看结...
相关热词: 百度和谷歌的中文分词技术对比分析 网络营销 网站推广 优友网
相关内容
- 全球芯片产业:推动本地化生产
- DSL Linux 系统时隔 12 年回归更新,体积从 50MB 膨胀到 700MB
- 又一AI爆款应用!字节Gauth在美国走红 数理化多科目“全能辅导”
- 字节、百度、阿里,为这块芯片抢破了头
- 除了7万亿美元,奥特曼重塑芯片业的雄心还面临三大挑战
- 科技大佬在关注什么?人工智能价值对齐!微软已入局
- 芯海科技:目前已有多款车规级MCU芯片导入客户并实现量产
- 扎克伯格对脑机接口持谨慎态度:等技术成熟后才会尝试
- 马斯克脑机接口再造奇迹:瘫痪小伙意念玩赛车击败正常人
- 马斯克:首位脑机接口人类受试者或已康复,思考即可操控鼠标
- 三星 Exynos 2500 芯片再爆料:加码NPU芯片,构建更丰富 AI 体验
- 三星组建 HBM 产能质量提升团队,加速 AI 推理芯片 Mach-2 开发
- 调查:AMD AI芯片 Instinct MI300X 吸引大量用户弃用英伟达
- 继OpenAI之后,微软“鲸吞”288亿估值的全球第四大AIGC独角兽
- 英特尔甩出全新AI训练芯片!跑千亿大模型速度超H200,罕见披露AI浮点性能
- 硅谷大佬怎么看脑机接口技术?扎克伯格:我不会“第一个吃螃蟹”
- 科技创新是发展新质生产力的核心要素
- M4芯片将专注于AI!苹果据称拟全面升级Mac产品线,股价涨超4%
- 可控核聚变公司MIFTI实现1500亿个中子产量,助力生产可持续清洁能源
- 奥特曼造芯、Sora炸场与英伟达RTX——AI关键词:“大力出奇迹”
AiLab云推荐
最新资讯
- 纳米缝合让复合材料更轻更坚韧
- Meta全新自研AI芯片曝光:性能相比MTIA v1提升了3倍!
- M4芯片将专注于AI!苹果据称拟全面升级Mac产品线,股价涨超4%
- 英特尔甩出全新AI训练芯片!跑千亿大模型速度超H200,罕见披露AI浮点性能
- 英特尔突袭英伟达H100,新AI芯片训练快40%,推理快50%,CEO蹦迪庆祝
- 对话东方晶源:打造中国芯片制造的GoldenFlow
- 一颗改变了世界的芯片
- 英特尔展示多模块芯片,预计为 Gaudi 3 人工智能加速器
- 台地震影响全球半导体格局?分析称可能会让供应链多元化呼声更强烈
- 三星 Exynos 2500 芯片再爆料:加码NPU芯片,构建更丰富 AI 体验
本月热点
热门排行
-
ChatGPT 设计了一款芯片
阅读量:193800
-
2023年全球风投额创5年最低,机构:今年会有更多创业公司倒闭
阅读量:192584
-
计算效率提升超60倍!中国公司杉数科技用GPU芯片开启运筹学新的“大航海时代”|钛媒体焦点
阅读量:188567
-
2023,AI创业者的50条反思
阅读量:100393
-
专访清华大学脑机接口科研团队负责人:中美“脑机接口”下一突破是什么?
阅读量:61297
-
2024,AI芯片之争加剧
阅读量:23443
推荐内容
- 2024第19届潍坊春季茶业博览会暨紫砂展
- 2024CXBE厦门美妆供应链博览会
- 2024厦门日化产品技术供应链博览会-打造东南国际市场新坐标!
- 2024深圳国际文创新品展
- 2024第10届深圳国际IP授权产业博览会(CIPE)
- 2024晋冀鲁豫国际门窗幕墙展览会
- 2024中国昆山第二十四届国际机床及智能装备展览会
- 2024长春第十八届连锁加盟创业项目展览会暨2024 东北长春餐博会暨首届预制菜展览会
- 2024第二十六届山东国际供热供暖、暖炉及空调技术与设备展览会(JINNOC国际供热展)
- 2024第七届中国(昆明)南亚社会公共安全科技博览会
- 2024年中国风电展业大会暨展览会
- 2024年盐城风能展
- 2024中国(太原)国际锂电池技术设备展览会
- 2024年科隆东盟少儿用品展览会 (Kind+Jugen ASEAN 2024)
- 海名·2024第九届西安餐饮供应链博览会
- 2024第二十届中国(上海)国际医疗旅游展览会
- 2024第三十二届中国(深圳)国际礼品及家居用品展览会(深圳礼品展)
- 2024第二十三届浙江国际智能楼宇技术与智慧安防产品展览会暨浙江(杭州)国际人工智能,物联网,大数据博览会(杭州智博会)
- 2024年中国郑州食品加工及包装机械展
- IOTE 2024第二十一届中国国际物联网博览会(上海站)
- 2024年日本东京IT展Japan IT Week Spring
- 2024越南国际采矿暨设备技术展览会暨2024越南建筑工程展览会
- 2024年俄罗斯电力电工及电气工程展览会
- 2024年第28届土耳其国际电力及能源展览会
- 2024第三十二届中国国际电子生产设备暨微电子工业展(NEPCON China)
- 2024第十四届中国西部国际物流产业博览会 第八届中国(西安)智慧交通博览会
- 2024年法国巴黎国际工程机械展
- 2024年俄罗斯第23届国际石油和天然气工业设备及技术展览会
- 第四届中国国际数字产品博览会
- 2024年第28届土耳其国际电力及能源展览会 土耳其输配电机电工展览会
- 2024石家庄印刷出版博览会
- 2024年第36届俄罗斯国际通信展览会
- 第36届俄罗斯国际通信展(SVIAZ 2024)
- 2024韩国国际机械展
- 2024年德国“汉诺威工业博览会”