服务项目 |
中文分词,语义分析,汉语分词,自然语言处理 |
面向地区 |
|
灵玖LJParser网络搜索与挖掘平台有哪些功能
LJParser网络搜索与挖掘平台指的是网络搜索、自然语言理解和文本挖掘的技术开发的基础工具集,开发平台由多个中间件组成,各个中间件API可以无缝地融合到客户的各类复杂应用系统之中。
LJParser网络搜索与挖掘平台是一套针对原始文本集进行处理和加工的软件,提供了中间件处理效果的可视化展示,也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。
LJParser网络搜索与挖掘平台的十三大功能:
1. 全文检索:支持文本、数字、日期、字符串等各种数据类型,多字段的搜索,支持AND/OR/NOT以及NEAR邻近等查询语法,支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。可以无缝地与现有文本处理系统与数据库系统融合。
2. 新词发现:从文件集合中挖掘出内涵的新词语列表,可以用于用户词典的编撰;还可以进一步编辑标注,导入分词词典中,从而提高分词系统的准确度,并适应新的语言变化。
3、敏感词实时扫描:可以设定敏感关键词,针对文章内容、信息关键词进行扫描,可以对敏感信息、事件、人物等信息进行剔除或抓取,适用于网站、出版、上网行为管理。通过针对特定关键词设定,可以过滤大量无用信息,净化互联网环境,适用于信息网站、各种论坛的信息整理。
4. 分词标注:对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中,导入用户定义的词典。
5. 统计分析与术语翻译:针对切分标注结果,系统可以自动地进行一元词频统计、二元词语转移概率统计(统计两个词左右连接的频次即概率)。针对常用的术语,会自动给出相应的英文解释。
6. 文本聚类及热点分析:能够从大规模数据中自动分析出热点事件,并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。
7. 分类过滤:针对事先的规则和示例样本,系统自动从海量文档中筛选出符合需求的样本。
8. 正负面分析:针对事先的分析对象和示例样本,系统自动从海量文档中筛选出正负面的得分和句子样例。
9. 自动摘要:能够对单篇或多篇文章,自动提炼出内容的精华,方便用户快速浏览文本内容。
10. 关键词提取:能够对单篇文章或文章集合,提取出若干个代表文章中心思想的词汇或短语,可用于精化阅读、语义查询和快速匹配等。
11. 文档去重:能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录,同时找出所有的重复记录。
12. HTML正文提取:自动剔除导航性质的网页,剔除网页中的HTML标签和导航、广告等干扰性文字,返回有价值的正文内容。适用于大规模互联网信息的预处理和分析。
13. 编码自动识别与转换:自动识别内容的编码,并把编码统一转换为GBK编码。
查看全部介绍