刺激战场
六合彩
贵宾厅
  • 1096阅读
  • 0回复

大数据挖掘:灵玖自然语言处理语义分析系统 [复制链接]

上一主题 下一主题
 

只看楼主 倒序阅读 使用道具 楼主  发表于: 2016-11-15
  自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
  语义分析,指的是将给定的自然语言(包括篇章和句子)转化为反映其意义的某种形式化表示,也就是将人类能够理解的自然语言转化为计算机能够理解的形式语言,做到人与机器的互相沟通。
  语义分析,它建立在依存理论基础上,是深层的语义分析理论。它融合了句子的依存结构和语义信息,更好地表达了句子的结构与隐含意思。语义分析提取句子中所有的修饰词与核心词对间的语义关系,且修饰词与核心词对覆盖了句子中所有的词,即句子中的每一个词都有其核心节点(除了整个句子的核心节点外)。语义分析是处理词级别、短语级别、从句级别以及句子级别的语义结构的过程。它是面向整个句子的,而不仅是句子中主要谓词与其论元之间的语义关系,还含有非主要谓词包含的语义信息,如数量(quantity)、属性(attribute)和频率(frequency)等。
  而在中文语义分析的过程中会遇到许多问题,主要涉及的问题如:
  1、 核心词表问题:许多分词算法都需要有一个核心的(通用、与领域无关的)词表。凡在该词表中的词,分词时就应该切分出来。但对于哪些词应当收进核心词表,目前尚无一个标准;
  2、词的变形问题:汉语中的动词和形容词有些可以产生变形结构;
  3、词缀的问题:如语素“者”在现代汉语中单用是没有意义的,因此“作者”、“成功者”、“开发者”内部不能切开。
  4、汉语自动分词规范须支持各种不同目标的应用,但不同目标的应用对词的要求是不同甚至是矛盾的。
    NLPIR文本搜索与挖掘系统是灵玖软件经过多年研发的一款针对互联网内容处理的需要,融合了自然语言理解、网络搜索和文本挖掘的技术,提供了用于技术二次开发的基础工具集。它充分的解决了上面中文语义分析所遇到的问题。
  NLPIR是一套专门针对原始文本集进行处理和加工的软件,提供了中间件处理效果的可视化展示,也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。

快速回复
限100 字节
批量上传需要先选择文件,再选择上传
 
上一个 下一个