Welcome 微信登录

首页 / 软件开发 / JAVA / java实现Google和Baidu的“您是不是要找”功能

java实现Google和Baidu的“您是不是要找”功能2014-08-26 博客园 巫峡背景 :

在使用搜索引擎和电商的搜索功能时,大家一定遇到过这样的情景:我想搜索博客园,可不小心输成博客员了,不用担心搜不到你想要的结果,因为建立在大数据上的搜索引擎会帮你自动纠错,就这个例子Google和Baidu返回给我的分别是:

显示以下查询字词的结果: 博客园 和  您要找的是不是: 博客园 ,他们都做到了自动纠错,关于自动纠错我之前也写过一篇陋文,当时是自己实现的N-Gram模型,但是效果不是太好,主要是针对不同的语料库算法的精确度是不一样的,我想换个算法试试看,目前主流的计算串间的距离(相反的,你也可以理解为相似度)是Levenshtein,当要实现时,发现lucene已经做了这个事,那咱就站在巨人的肩膀上成长吧。

引用包:

lucene-core-3.1.0.jar + lucene-spellchecker-3.1.0.jar,你可以在

使用示例:

在类SpellCorrector的main方法中加入以下代码

//创建目录File dict = new File("");Directory directory = FSDirectory.open(dict); //实例化拼写检查器 SpellChecker sp = new SpellChecker(directory);//创建词典File dictionary = new File(SpellCorrecter.class.getResource("dictionary.txt").getFile()); //对词典进行索引sp.indexDictionary(new PlainTextDictionary(dictionary)); //有错别字的搜索String search = "非常勿扰"; //建议个数,这里我只想要最接近的那一个,你可以设置成别的数字,如3// int suggestionNumber = 1;//获取建议的关键字String[] suggestions = sp.suggestSimilar(search, suggestionNumber); //显示结果System.out.println("搜索:" + search); for (String word : suggestions) {System.out.println("你要找的是不是:" + word);}
注:这之前你需要有个语料库,我这里是个存放正确视频名称的文件,格式如下:

红颜血泪冰上火一般的激情在敌之手驰风竞艇王第二部钓金龟潇湘路一号戏里戏外第二季草原狼爵士乐拯救大兵瑞恩
好了,接下来就直接运行吧,见下图:

(限于工作原因,字典只保留部分电影名称,你可以用你自己的语料库)