在 lucene 中，我们是使用 IndexWriter 调用 Analyzer 将文章切成以词为单位的 Stream，然后生成索引的。lucene 内建的分词器很多，比如：按空白字符分词的WhitespaceAnalyzer，添加了stopword过滤的StopAnalyzer，以及最常用的是StandardAnalyzer。这些自带的分词器对中文支持多不好，我觉得比较好的中文分词器是 mmseg4j 。
mmseg4j 是用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器。并实现了 lucene 的 analyzer 和 solr 的 TokenizerFactory 以方便在 Lucene 和 Solr 中使用。
对 lucene 来说 ，mmseg4j 有以下四个 analyzer：SimpleAnalyzer、ComplexAnalyzer、MaxWordAnalyzer、MMSegAnalyzer。前面三个都是继承 MMSegAnalyzer，MMSegAnalyzer 默认使用 max-word 方式分词。
上面四个分次类涉及到了三个分词方法：Simple、Complex、max-word。MMSeg 算法有两种分词方法：Simple 和 Complex，都是基于正向最大匹配。mmseg4j 1.6 版开始在 Complex 算法基础上实现了最多分词(max-word)。类似如下的分词就是 max-word 分词：“很好听” -> "很好|好听"; “中华人民共和国” -> "中华|华人|共和|国"; “中国人民银行” -> "中国|人民|银行"。
mmseg4j 的词库是使用 utf-8 格式的，由于 utf-8 文件有带与不带 BOM 之分，建议词库第一行为空行或为无 BOM 格式的 utf-8 文件。
jar 中已有了，只有你对这个不满意时才需要替换的词库文件：
词库文件：
停止词
参考资料：
mmseg4j 作者的博客
中文分词 mmseg4j 在 lucene 中的使用示例
http://blog.chenlb.com/2009/04/use-chinese-segment-mmseg4j-in-lucene-demo.html
Lucene中文分词
http://www.fallever.com/blog/jeff/tag/49/
