无法在这个位置找到: article_head.htm
返回首页

知识图谱是否是 NLP 的未来?

69 2024-12-29 13:11 赋能高科

一、知识图谱是否是 NLP 的未来?

一直不怎么看好知识图谱,当前的知识图谱也许是符号学派最后的一次尝试。知识图谱的构造基本分为两步,首先是用模型在非结构化文本上自动构建初版的知识图谱,这个过程会产生巨大的信息损耗,如果直接将这个知识图谱拿来做下游任务,知识图谱本身就是一个很大的信息瓶颈。这个信息瓶颈唯一的好处就是,由于知识图谱的高度结构化,人类可以方便地添加先验知识,但也许你添加的知识,正好是构建过程中损失的那部分。

所以想让知识图谱的信息足够丰富,大量的人工成本无法避免,现在很多将知识图谱用于增强模型性能的论文,本质上都是在花式引入先验知识,是对当前模型容量不足的一种妥协。但针对一些知识密集型任务,比如问答,知识图谱依旧是一个很好的额外信息来源,但随着NLP的发展,知识图谱的生存空间一定会被越挤越窄。

支持知识图谱的人可能会说,知识图谱有很好的可解释性。但可解释性本身就是一个很尴尬的东西,以生成模型为例,从GAN,到VAE,再到NF,模型的约束越来越大,当然可解释性也越来越强,但落地应用最广泛的却是最不可控GAN。再往大了说,所有的深度学习方法都是不可解释的,但这并没有影响深度学习的广泛应用,当一个黑箱模型确实好用的时候,谁会去关注它内部的原理呢?

当然了,总会有人关注的,因为科学技术确实就是在寻求解释的过程中发展的,但要记得“More is Different”,我们研究生物,并不需要精通化学,更不需要从物理的层面上去解释生物是什么,但科学的发展通常是自底向上的,先有了上千年的物理,再有了近百年的化学,最后有了21世纪的生物,所以当AI的发展要上一层新台阶的时候,我们不能以“当前的化学缺乏物理层面的解释”为借口阻止AI的进步。

二、知识图谱入门,机器学习→深度学习→nlp→知识图谱。这样的学习路线对不对?

难得遇上这么对口的问题。

知识图谱的研究方向主要有两个,知识图谱的构建,和知识图谱的应用。

知识图谱的构建主要是知识实体的识别和知识关联的构建,也就是nlp里的命名实体识别,实体关系识别和事件识别。举个例子就是语料里有“拜登当选美国总统”,你怎么从这句话里分辨出拜登和美国总统这两个实体,以及“职业”这个关系。这个方向就是走传统的nlp学习路线,从简单机器学习入门,然后看看dnn rnn lstm bert,或者走统计学路线,也就是马尔可夫那些。还有一类构建方法的研究不是很常见,在工业界比较多,就是怎么从线上系统的日志里构建知识图谱,这种涉及半结构化半文本数据的处理,类似特征工程,需要领域知识,当然一般学术界也拿不到这样的数据。

知识图谱的应用就比较丰富了,知识图谱是图结构组织的结构化知识库,也可以叫异构语义网络,它最大的特性就是结构化。所以一切涉及到“关系”概念的都可以用到知识图谱。比如用户和商品,商品和信息是不是关系?那么就可以构建商品知识图谱用来推荐。query和文章,文章和摘要,摘要和关键词是不是关系?那么检索领域也可以构建知识图谱。用户和意图,意图切换,意图和槽位,槽位和item是不是关系?对话领域可以用知识图谱做dst状态追踪。query和推论,推论和推论的推论是不是关系?qa领域也可以用知识图谱做推理。

知识图谱的应用的实现主要有两种方案,一种是把知识图谱看作路径的集合,以路径为单位做文章,也就是路径预测,路径补全等等。比如用户商品知识图谱上“我-指环王-jrr托尔金-霍比特人”就是一条路径表示我读过指环王,指环王的作者是托尔金,他还还有霍比特人,可以当作用户兴趣路径,可以按照这个路径做推荐。ir、qa也同理。知识图谱天然的具有语义,所以路径模型通常也是可解释模型。因为知识图谱上的连接都是确定的,现实中真实存在的连接,所以其解释性也solid。常用的模型是利用元路径(也就是关系模式)在知识图谱里提取路径。送到lstm、bert或者cnn等能处理序列数据的模型,类似nlp里的做法。另一类是把知识图谱看作节点和边的集合,计算知识表示延边传播和聚合,学习实体的知识表示。这类主要用图神经网络gnn、gcn,gat等等。应用方面研究主要看你把知识图谱用在什么领域,就主要学那个领域的东西。比如用在推荐,那就不用看nlp。

三、人工智能知识图谱就业咋样?

人工智能知识图谱就业前景很好。知识图谱自2012年提出至今,发展迅速,如今已经成为人工智能领域的热门问题之一。目前国内知识图谱发展非常迅速,学术界和工业界的研究热情很高。人工智能知识图谱专业非常好就业。因为该专业是目前的热门专业,也是在社会经济,国计民生,应急救援,国防科技等领域应用十分广泛,前景十分广阔,生命力极其强大的专业。

四、事件图谱与知识图谱区别?

事件图谱主要是推理事件之间的关联,在复杂的业务结构或者逻辑结构下有很强的推理能力,在归因和预测可以起到不错的效果 。

知识图谱提供了一种从海量文本和图像中抽取结构化知识的手段,让知识获取更便捷、知识整理更简单、知识应用更智能……知识图谱,正成为AI大数据时代组织升级知识管理、构建智能组织的关键技术。

五、人工智能的核心是什么知识表达与图谱?

AI,智能,它是人工智能的核心表达与突破

六、什么是知识折旧,IT,NLP?

【知识折旧】:一年不学习,你所拥有的全部知识会折旧80%”。更有资料显示,以每年6%到10%的速度更新知识,更新思路,才能适应未来社会的需要。这并不是危言耸听。【IT】IT的英文是Information Technology,即信息技术的意思。【NLP】NLP(英文全称 Neuro Linguistic programming,译作“神经语言程序学”)

七、nlp入门基础知识?

自然语言处理(NLP)是人工智能领域的一个重要分支,涉及计算机与人类语言之间的交互。入门基础知识包括文本预处理、词法分析、句法分析、语义分析、情感分析等。常用的技术包括词袋模型、TF-IDF、词嵌入、循环神经网络和注意力机制等。NLP应用广泛,如机器翻译、文本分类、问答系统等。学习NLP需要掌握编程技能和数学基础,了解常用的NLP工具和库,如NLTK、spaCy和TensorFlow等。不断学习和实践是提高NLP能力的关键。

八、知识图谱怎么构建?

知识图谱工程,是计算机科学、信息科学、情报学当中的一个新兴领域,旨在研究用于构建知识图谱的方法和方法学。知识图谱工程乃是一个新兴的研究和应用领域,关注的是知识图谱开发过程、知识图谱生命周期、用于构建知识图谱的方法和方法学以及那些用于支持这些方面的工具套装和语言

在过去的四年时间里,人们对于各种知识图谱的关注日益增强。如今,知识图谱已广泛应用于知识工程、人工智能以及计算机科学领域;同时,知识图谱还广泛应用于知识管理、自然语言处理、电子商务、智能信息集成、生物信息学和教育等方面以及语义网之类的新兴领域。知识图谱旨在明确特定领域的那些隐含在软件应用程序以及企业机构和业务过程当中的知识可视化。知识图谱工程为解决各种语义障碍所造成的互操作性问题提供了一个前进的方向。其中,语义障碍指的也就是那些与业务术语和软件类的定义相关的障碍和问题。知识图谱工程是一套与特定领域之本体开发工作相关的任务。

九、什么是知识图谱?

知识图谱(Knowledge Graph/Vault)又称为科学知识图谱,在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。为学科研究提供切实的、有价值的参考。

十、如何构建知识图谱?

构建知识图谱的过程可以分为以下几个步骤:

确定知识图谱的目标和范围:在开始构建知识图谱之前,需要明确知识图谱的目标和范围,例如需要覆盖的主题、实体和属性等。这有助于确定所需的数据来源和数据质量要求。

数据收集和整合:根据确定的目标和范围,收集相关数据。数据来源可以多种多样,包括但不限于:结构化数据(如关系型数据库)、非结构化数据(如网页、文档、社交媒体帖子)、图片、视频、音频等。整合不同来源的数据,确保数据的一致性和完整性。

数据清洗和预处理:对收集到的数据进行清洗和预处理,包括去除重复数据、纠正错误、处理缺失值、实体链接、实体消歧等。这一步是构建知识图谱的重要基础,有助于提高知识图谱的质量和可靠性。

实体识别和关系抽取:使用自然语言处理(NLP)和机器学习技术,从预处理后的数据中识别出实体(如人名、地名、组织机构等)和关系(如人物关系、事件关系等)。这一步是构建知识图谱的关键环节,有助于将数据转化为结构化的知识网络。

知识表示和存储:将抽取的实体、关系及其属性表示成知识图谱的形式,通常采用图数据库(如Neo4j)进行存储。在这一步中,还需要设计合适的实体和关系类型,以及属性值的约束条件。

知识推理和应用:基于知识图谱进行推理和分析,包括实体间关系推理、语义查询、知识问答、可视化展示等应用。这一步是构建知识图谱的重要目的,有助于提高对知识的理解和利用能力。

维护和更新:随着时间的推移,知识图谱中的数据可能会发生变化。因此,需要定期更新和维护知识图谱,以确保其时效性和准确性。

在构建知识图谱的过程中,还需要注意以下几个方面:

选择合适的技术工具:根据项目需求和资源条件,选择合适的技术工具,包括但不限于:自然语言处理工具、机器学习框架、图数据库管理系统等。

保证数据质量和可靠性:数据质量对知识图谱的构建至关重要,需要采取多种措施保证数据质量和可靠性,如数据清洗、实体链接、实体消歧等。

考虑可扩展性和可维护性:在设计知识图谱时,需要考虑其可扩展性和可维护性,以便未来能够方便地添加新实体、关系和属性。

注重隐私和安全保护:在构建知识图谱的过程中,需要严格遵守隐私和安全法规,采取必要措施保护用户隐私和数据安全。

无法在这个位置找到: article_footer.htm