我,人懒,代码写了不少,文章没写多少。
今,为落伍,所以写点技术性文字,不知道有没有人看。
这里,我没打算把所有代码贴出,其实也是我代码写的差,贴出来会污染环境。
但,如果你会代码的话,看了我的思路,自己写也快,不懂的,给代码也没用,而思路能让你对分词有所了解。
这里抛玉引砖,引金砖!千万别往我身上拍砖。
马上入题……
分词作用简述:(更详细的见Google)
何为中文分词?
把 “何为中文分词” 分为 “何” “为” “中文” “分词” 这就是中文分词。
有什么用?
人工智能: 让机器怎么理解你的话?你就是要告诉笨机器 中文词,一句话它是无法理解的。
搜索: 用”中文的几种分词技术“ 来搜到 ”中文分词的几种技术“ (你的网站的文章搜索可以做到吗?Google、百度为什么可以?)
文章自动归类: 类人工智能,分析词频,接着什么贝叶斯等等,让电脑自动学习。
文章排重: 文章重复不只是标题一样,标题一样的也未必重复。可以用词频分析的办法来排重,这个比自动归类容易多了。
翻译: 中英如何对译? 不是字,是词。
等等……
-----只想知道什么是分词的朋友,谢谢你们看我的粗糙文字,大家可以走了。下面讲分词方法,可以不看了。
常见的分词方法有哪些?
有基于字符串匹配、基于统计的分词、基于理解的分词(我想中科院这方面比海量牛吧)
其中基于理解的分词最难,基于字符串匹配最容易。基于统计的分词需要一个词频库,这东西不好弄。
我个人当然是小打小闹,能实行简单的分词,搜索下文章,排除些重复内容。所以只讲”基于字符串匹配“
基于字符串匹配常用的有:正向最大匹配,逆向最大匹配,后者正确率高于前者。(写文字累,不展开太多了,但还是举几个列子帮助理解吧)
1。 ”中华人民共和国“ 可分为一个词,也可分为”中华“ ”人民“ ”共和国“,实践表明用 最大匹配法 正确率明显高于 最小匹配(实际上最小匹配几乎不用)
2。 ”技术和服务“ 可分为 ”技术“ ”和“ ”服务“(逆向) 也可分为 ”技术“ ”和服“ ”务“(正向),实践表明用 逆向最大匹配法 正确率要高于 正向最大匹配
现在大家自动那种效率好了吧,如果结合”的,了“等噪声词可写出更准确的程序
------分词也描述完了,下面开是程序的编写思路了,如果分词对你没用的朋友也可以离开了,离开前帮顶下哦。
再次说明下:我这个小程序是用搜索(分词加MSSQL全文搜索),与自动排重(提取关键信息)的
有经验的我们一起交流,没接触过的又想掌握的请耐心往下看,可能要云里雾里的,因为我的文字粗糙。
分词程序需要一个词库,好的词库我们买不起(几千到上万RBM),我还是用免费的拼音加加的词库,需要的自己下。
我的开发语言是 C# ,外加一个免费词库(词库格式就是每个词一行),由于用于网站信息管理,所以还有mssql
下面分两点讲,分词程序和自动排重(分词看不明白的可以看自动排重,不关联)、搜索只是简单的结合分词来应用MSSQL的全文搜索这里不讲。
-------分词 -------自认为上面的不足以做为申请落伍的砝码,请老大看下面
我这里讲解最简单的”正向最大匹配“,最后一句带过我的“逆向最大匹配法”思路。
首先大家可能想到:这还不简单,逐字的拿来和中文词匹配下不就得了?
是得,这是可以得,也是最常见得方法(这里我不讲这种),但问题是“中国”是词“中华人民共和国”也是词,你需要决定中文词最大长度是多少,3?5?8? (一般取5或6,小了不准确,高了性能非常差)
有没有其它方法?
1。有,这么想,假如对“中华人民共和国站起来了”,我们能知道 “中” 在词库里面又没有 做过第一个字的词(如:中间),没有就可以认为 ”中X“(X代表未读入的字,也可以认为是任意字) 肯定不是词,指针后移再去比较。如果有,者还不能肯定 “中X” 是词,但有机会是。所以再 读入一个字 “中华” 继续类似的找,如果词库里面有 “中华”为开头的词,就再继续,直到“中华人民共和国站” 就没有那样开头的词了,所以可以认为“中华人民共和国”是一个词。--这就是正向最大匹配
2。继续深入考虑,万一对“中华人民共和三个火星人民交往了”(这里不这么通,反正例子),我们按上面思路,在词库里找到有以“中华人民共和”开头的词后,接着就在词库里找不到了以”中华人民共和三“开头的词了。按上面方法我们就可以认为”中华人民共和“是个词了,(这样的错误率不算太高,如果你可以容忍,那请跳过下面两段话后继续)
3。怎么解决这个问题?你可能马上想到,再比较下认为是词的 ”中华人民共和“ 在词库里有没有完整的词,好办法,那就用这办法试试,结果发现 完整的”中华人民共和“ 这词,所以认为”中华人民共和“不是词。
4。那什么才是词呢?回退,是的,我们减少读入的字,变为”中华人民共“,仍然找不到,再退 ”中华人民“ 终于找到了。所以认为”中华人民“是词了。(这个看词库,如果你认为词库里没这词,那就是“中华”才是最后分出来的词)
结束了?没有,思路讲完了,但大家有想过性能吗?假设词库有10万条词,你分的文章1万字,那要多久才能完成?
性能有什么决定?算法?对,但上面算法的优点是简单容易实现,而且性能也还算可以。那词库呢?是的,我们上面只提词库,还没考虑怎么组织词库在内存里面的形式,总不能每比较一次都打开词库读吧。
那词库怎么组织?用数组?非计算机专业出生的都容易这么想(我也是非计算机专业,也曾这么想过),答案是否定的,大家都知道数据库索引的作用(还不清楚的,请添加10W条记录,再select就明白了),那我们也来个索引,再具体点,选择最常用的 哈希表 (不知道的就认为它可以提高查找性能的就行了)。
考虑上面的 1。 的思路,我们很显然要把 每个词 逐渐分解 (如:“中国人"要分为”中“ ”中国“ ”中国人“,不明白再回去看 1。) 同时,考虑到特定的应用(搜索和排重),我认为单字成词的都可以扔到不要,所以可以把“中国人"只分为 ”中国“ ”中国人“(前提是我不需要单字成词的字,我认为词都是有两个字以上组成的),这样词库又
中文分词详解与其应用概述
来源:互联网 发布日期:2011-09-26 14:07:50 浏览:19670次
导读:我,人懒,代码写了不少,文章没写多少。今,为落伍,所以写点技术性文字,不知道有没有人看。这里,我没打算把所有代码贴出,其实也是我代码写的差,贴出来会污...
上一篇:语音识别酝酿第二次浪潮
相关内容
- 豪赌AI芯片!孙正义被曝筹资1000亿美元,要抗衡英伟达?
- 芯海科技:目前已有多款车规级MCU芯片导入客户并实现量产
- 字节、百度、阿里,为这块芯片抢破了头
- 科技大佬在关注什么?人工智能价值对齐!微软已入局
- 先台积电一步,三星已斩获首个 2nm 工艺芯片订单
- 脑机接口技术取得新突破 产业化有望再提速
- 三星 Exynos 2500 芯片再爆料:加码NPU芯片,构建更丰富 AI 体验
- 纳米缝合让复合材料更轻更坚韧
- 奥特曼造芯、Sora炸场与英伟达RTX——AI关键词:“大力出奇迹”
- 科技创新是发展新质生产力的核心要素
- 台地震影响全球半导体格局?分析称可能会让供应链多元化呼声更强烈
- AI芯片项目面临多个难关 奥尔特曼据称正寻求美国政府批准
- 马斯克脑机接口再造奇迹:瘫痪小伙意念玩赛车击败正常人
- 调查:AMD AI芯片 Instinct MI300X 吸引大量用户弃用英伟达
- DSL Linux 系统时隔 12 年回归更新,体积从 50MB 膨胀到 700MB
- Meta全新自研AI芯片曝光:性能相比MTIA v1提升了3倍!
- 仅1/8,“硅仙人”称不到1万亿美元就能重塑AI芯片领域
- 英特尔携手微软定义AI PC标准:要有NPU和Copilot物理按键!
- 欧盟利用 RISC-V 寻求芯片主权
- 革命性创新:如何通过医疗互联网彻底改善患者的就医体验?
AiLab云推荐
最新资讯
- 纳米缝合让复合材料更轻更坚韧
- Meta全新自研AI芯片曝光:性能相比MTIA v1提升了3倍!
- M4芯片将专注于AI!苹果据称拟全面升级Mac产品线,股价涨超4%
- 英特尔甩出全新AI训练芯片!跑千亿大模型速度超H200,罕见披露AI浮点性能
- 英特尔突袭英伟达H100,新AI芯片训练快40%,推理快50%,CEO蹦迪庆祝
- 对话东方晶源:打造中国芯片制造的GoldenFlow
- 一颗改变了世界的芯片
- 英特尔展示多模块芯片,预计为 Gaudi 3 人工智能加速器
- 台地震影响全球半导体格局?分析称可能会让供应链多元化呼声更强烈
- 三星 Exynos 2500 芯片再爆料:加码NPU芯片,构建更丰富 AI 体验
本月热点
热门排行
-
ChatGPT 设计了一款芯片
阅读量:190696
-
2023年全球风投额创5年最低,机构:今年会有更多创业公司倒闭
阅读量:189131
-
计算效率提升超60倍!中国公司杉数科技用GPU芯片开启运筹学新的“大航海时代”|钛媒体焦点
阅读量:185689
-
2023,AI创业者的50条反思
阅读量:98117
-
专访清华大学脑机接口科研团队负责人:中美“脑机接口”下一突破是什么?
阅读量:58425
-
2024,AI芯片之争加剧
阅读量:22723
推荐内容
- 2024第83届中国教育装备展示会 CEEIA
- 第二十一届丝路(西安)绿色建筑产业博览会 2024丝路绿色建筑产业(西安)发展大会
- 2024江苏南京国际大健康产业展会(ITS ASIA)
- 第四届中国(临沂)绿色建筑建材产业博览会
- 2024第十八届中部武汉农牧业机械博览会暨农机团购节
- 2024第十届河北任丘厨房、卫浴及配件展览会
- 中国(青岛)畜牧业博览会
- 第二届上海国际碳中和科技展览会
- 2024北京国际面辅料及纱线展览会
- 2024年第十届中国国际建筑涂料及涂装设备展览会
- 2024中国(北京)国际石膏与固废技术及装备展览会
- 2024第十八届中国(北京)保温材料和低碳节能技术展
- 2024中国(江苏)化工装备能源新材料博览会
- 2024中国(东莞)切削工业及工量刃具博览会
- 2024中国(洛阳)工业绿色技术装备博览会
- 2024北京国际校服园服展览会
- 2024中国无锡生物医药产业博览会 中国生物医药科技创新质量大会 中国生物医药人才交流大会
- 2024年第7届越南国际工程机械,矿山机械及运输车辆展
- 2024 中国(无锡)国际气体工业博览会暨第九届国际气体产业大会
- 2024中国(华北)分析测试与实验室装备展览会
- 2024年德国杜塞尔多夫国际管材、线缆及线材展览会