NLPIR文本机器学习技术助力深度数据挖掘

使用微信扫描二维码分享朋友圈，成交更快更简单！

　　机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、凸分析、算法复杂度理论等多门学科。研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
　　它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
　　机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、DNA序列测序、语音和手写识别、战略游戏和机器人运用。
　　NLPIR文本搜索与挖掘智能平台针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，C，C#等各类开发语言使用。
　　机器学习从本质上来说是一种学习结构， 整个结构包括环境、知识库和执行三个部分。 在整个过程中，环境向系统提供信息，系统利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分，从而继续改进知识库。
　　NLPIR文本搜索与挖掘智能平台的几大功能：
　　1. 全文检索：支持文本、数字、日期、字符串等各种数据类型，多字段的搜索，支持AND/OR/NOT以及NEAR邻近等查询语法，支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。可以无缝地与现有文本处理系统与数据库系统融合。
　　2. 新词发现：从文件集合中挖掘出内涵的新词语列表，可以用于用户词典的编撰;还可以进一步编辑标注，导入分词词典中，从而提高分词系统的准确度，并适应新的语言变化。
　　3. 分词标注：：对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中，导入用户定义的词典。
　　4. 统计分析与术语翻译：针对切分标注结果，系统可以自动地进行一元词频统计、二元词语转移概率统计(统计两个词左右连接的频次即概率)。针对常用的术语，会自动给出相应的英文解释。
　　5. 文本聚类：能够从大规模数据中自动分析出热点事件，并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。
　　6. 分类过滤：针对事先的规则和示例样本，系统自动从海量文档中筛选出符合需求的样本。
　　7. 正负面分析：针对事先的分析对象和示例样本，系统自动从海量文档中筛选出正负面的得分和句子样例。
　　8. 自动摘要：能够对单篇或多篇文章，自动提炼出内容的精华，方便用户快速浏览文本内容。
　　9. 关键词提取：能够对单篇文章或文章集合，提取出若干个代表文章中心思想的词汇或短语，可用于精化阅读、语义查询和快速匹配等。
　　在具体的应用中，环境、知识和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述三部分确定。 简单来说，机器学习就是计算机利用已有的数据，得出了某种模型，并利用此模型预测未来的一种方法， 这与人脑的思考方式非常类似。