资讯 > 正文

混合AI如何改进数据发现?

发布时间:2023-06-12 www.cechina.cn

  
  混合 AI 是一种将机器学习与符号人工智能(symbolic AI)相结合的方法,前者使用统计模型来分析数据,后者基于语义并提供对意义的见解。通过利用每种技术的优势,可以实现比单独使用任何一种技术更强大的结果。
  为什么需要混合 AI ?
  让我们从一个例子开始。想象一下,一个机器学习系统被训练来识别有缺陷的产品。在它面前展示了成百上千个有缺陷和无缺陷的产品示例。然后,它可以准确地区分好产品和有缺陷的产品。这是机器学习有效的众多用例之一,在系统经过训练后,机器学习很可能更快、更优于人类的表现。但是,一旦确定了有缺陷的产品,接下来该怎么办呢?
  此时,需要更多信息才能使此识别过程有用。例如,它来自什么产品线?失去这件产品的成本是什么?会涉及哪些供应商?谁拥有发现缺陷的过程?需要提供哪些内容来告知经理有关该问题的信息?机器学习数据需要情景化,以便您可以对其采取行动。这就需要符号AI,它代表知识并提供语义理解和推理,包括制定提取相关知识的规则。
  最终目标是让计算机尽可能接近地模拟人脑的功能。计算机不像我们一样思考--人类的大脑比任何机器都要复杂、多才多艺、适应性强得多。大脑有40种不同的神经递质。一个神经元可以连接到其他一万个神经元。其复杂程度是难以想象的,目前的计算机还无法与之匹敌。但是混合AI提供了机器学习的可扩展性和符号AI的细微差别,使我们能够更紧密地模拟大脑的表现,并提供系统可以采取行动的信息。
  信息架构与混合 AI 有何关系?
  表示知识的一种方法是通过知识图谱,它可以显示不同数据元素之间的联系和其他关系。知识图谱给了我们一个参考点,这样我们就可以理解数据中的内容,尤其是非结构化数据,并得出有意义的见解。知识图谱形式的信息架构是符号AI的基础。
  当信息结构化且元数据可用时,机器学习和符号 AI 的性能都更好。训练机器学习(监督学习)需要标记数据。符号 AI 需要有关语言的规则,以及结构化的数据。因此,当一个坚实的、经过深思熟虑的信息架构被开发出来作为基础时,混合AI作为一个整体将更加成功。
  信息架构始终从识别业务问题和优先级用例开始。此外,您需要了解它影响谁以及它如何影响组织。制定基线指标,以便您了解随着信息架构实施的发展,未来是什么样子的。然后找出用户需要的内容、数据和信息,并围绕它们制定组织原则。为了自动化流程,您需要了解它。
  信息架构如何改进数据发现?
  数据发现是分析大量内容(包括研究文档、新闻报道、新闻稿和电子邮件)的过程,目的是了解业务环境、寻找新机会和降低风险。数据发现应附有战略计划,规定有效使用信息。智能分析揭示了企业、关键影响者、主题、事件和其他实体之间的关系。
  分类是数据发现的构建基块,大多数组织需要表示组织不同方面的多个分类。这些可能包括产品、服务、流程、解决方案、客户、兴趣和内容类型。类别中的每个项目都有不同的属性;对于产品,它们可能包括描述、价格、品牌等。客户具有地理位置、购买历史记录和年龄等属性。
  使用知识本体
  定义不同分类法之间的关系会产生知识本体。例如,可能存在与不同产品相关的内容,或不同客户感兴趣的领域。这些关系允许企业做个性化之类的事情。本体由多个分类法以及它们之间的所有关系组成。
  各行业的分类法差异很大。在生命科学中,分类法可以包括药物、品牌和仿制药、药物可以治疗的疾病以及作用机制。对于保险,分类法可能涵盖产品、服务和风险。对于工业分销商来说,它们可能是产品、行业和利益。知识领域由本体集合表示。
       
  工业分销公司的本体如上图所示。它显示了分类法中的层次结构关系,也显示了反映哪些产品适合某些行业的关联关系,以及不同元素之间的概念关系。
  使用知识图谱
  知识图谱可以从分类法加本体加数据的组合中推导出来。首先,通过分类法描述域中的实体。然后展示分类法之间的关系以发展本体。最后,将数据添加到本体中,形成反映联系的知识图谱。知识图谱提供了多种浏览数据的方式,无论是结构化的还是非结构化的。(见下图)。
       
  每个关键的业务流程都是围绕着语言进行的,但众所周知,语言对于计算机来说很难理解和响应。一个典型的例子是标题,"银行(bank)因洪水而关闭"。起初,它可能看起来是坏天气导致金融机构关闭。但在新闻报道中,关闭的是河岸(bank),而不是一家金融机构。
  语言的模糊性是分析非结构化数据时最成问题的问题之一。它需要人类的大量干预,这使得语言驱动的过程难以扩展。一个特定的问题是理解意图,如果做得不好,这是满足客户要求的主要障碍。正是在这些情况下,混合AI可能非常有益。
  从文本中提取实体可以检测欺诈、识别风险以及支持决策的其他重要信息。然而,系统必须有词汇来实现这一工作--如果不理解上下文,它就无法工作。
  混合AI的优势
  混合AI的实际应用之一是财务数据发现。目标是自动提取有关金融资产的信息,提高后台流程的效率并扩展数据创建。
  在金融行业,无论是资产管理公司还是向金融机构提供信息的公司,都必须应对大量的文档(文章、报告和其他数字资产)。负责数据的相关人员需要处理大量的公司事件,包括合并、收购、申请破产,以及处理金融资产等。
  监视这些事件的成本非常高,通常需要大量手动操作,并且受团队容量的限制。那么,这些企业如何应对如此大量的信息,以决定是否应该投资开发某种消费金融产品呢?
  在一个案例研究中,顾问从各种服务中收集内容,并通过一个程序进行数据提取。通过自然语言平台自动提取关键参数。设计了一个用户界面,使主题专家可以在文件中导航,审查信息,并在一个协作的编写环境中进行评估。用户界面提供了对关键参数的无缝评估和数据库的输入。训练集被准备用于数据建模。这些模型是知识模型,因为它们将机器学习技术与主题专家的知识库相结合。
  对比机器学习和符号AI,可以看出这两种方法的互补性。就其本质而言,机器学习需要大量的数据,但用户需要较少的主题专业知识,并且在数据丰富且任务简单的情况下是一个很好的选择。
  符号 AI 需要的数据更少,计算要求更低,因此计算成本更低。但是,它需要人类的专业知识,并且特定领域专业知识的管理可能很复杂、耗时且昂贵。混合 AI 是一种双赢的局面,结合了两者的优点。
       

标签:人工智能,AI,机器学习,混合AI

相关文章