对话系统中的问答

人机对话系统中的问答

该专利是关于对话系统中的问答和确定来自用户的输入是对之前提供的答案的反馈。

我一直在写一些来自谷歌的关于人机对话系统的专利，它们是谷歌似乎正在走向的一种输入方法。这是我过去写过的一对：

根据这项新授予的专利，在用户与对话系统之间的问答之后从对话系统的用户接收到的输入被评估以确定该信息是否是对对话系统正在提供的答案的反馈。

如果输入被确定为反馈，对话系统可以将输入分类为对答案的正面或负面反馈。如果对话系统将输入分类为负反馈，则对话系统可以提供问题的替代解决方案。

根据本说明书中描述的主题的另一个创新方面，一种方法包括接收语音输入。

该方法还包括确定接收的语音输入被分类为对问题的回答的反馈，识别与输入相关联的预定反馈分数，以及基于预定反馈分数调整与问题和解决方案相关联的置信分数。

这些可以包括以下功能。

选择与问答语音输入相关的反馈分数

例如，该方法包括确定语音输入被分类为对答案的反馈，然后选择与语音输入相关联的反馈分数；该过程包括在接收表示对解决方案的反馈的语音输入之前，

• 从计算设备接收指定问题的更多语音输入
• 向计算设备提供问题的答案
• 标准化反馈_
• 基于归一化反馈识别预定反馈分数
• 注意到预定的反馈分数低于阈值
• 将反馈分类为负反馈，根据将反馈分类为负反馈，置信度得分被调低；该方法包括在调整置信度分数后
• 识别问题的第二个答案，其中与问题和第二个答案相关联的置信度分数高于与问题和答案相关联的调整后置信度分数
• 提供计算设备，第二个答案
• 看到预定的反馈分数高于阈值
• 将反馈分类为正反馈，其中置信度分数根据将反馈分类为正反馈而调整得更高
• 从不同的计算设备接收第二个语音输入
• 选择将第二个语音输入分类为对答案的反馈
• 识别与来自不同计算设备的输入相关联的第二预定反馈分数
• 基于来自计算设备的输入和来自其他计算设备的反馈调整与问题和解决方案相关联的置信度分数
• 通过选择与提供答案相关联的时间与与接收语音输入相关联的时间之间的时间差在预定时间内确定语音输入被分类为反馈；通过确定在提供问题的答案后接收到语音输入来确定语音输入被归类为反馈
• 通过确定语音输入类似于问题来确定语音输入被归类为反馈
• 通过识别与语音输入相关联的操作来检查语音输入是否被归类为反馈
• 将操作标识为拨打与答案相关联的电话号码或向与答案相关联的电子邮件地址发送电子邮件

这种问答对话方法的优点

优点可能包括以下功能：

1. 通过识别与答案相关的反馈，系统可以衡量用户对答案的可能态度——例如满意、不满意或矛盾心理。
2. 该方法可以使用它来提高其问答能力——例如，它可以允许系统动态地改进提供给问题的答案——从而改善用户体验。
3. 当用户的反馈表明对增强用户体验的解决方案不满意时，该方法可以提供后续回答。

使用用户反馈专利提供语音查询的答案

使用用户反馈为语音查询提供答案
发明人：Gabriel Taubman、Andrew W. Hogue和John J. Lee
受让人：Google LLC
美国专利：11,289,096
授权日期：2022 年 3 月 29 日
归档日期：2019 年 11 月 15 日

抽象的：

实现对话系统的设备可以存储指示当响应于特定问题而提供答案时的强度的信息。换言之，这样的设备可以保持问答对的置信度分数。特定的置信度分数可以说明特定答案与特定问题的相关性。

本文描述的系统和方法可以使设备能够基于用户反馈生成或改变问答对分数，例如用户在用户设备输出响应用户问题的答案之后用户提供的反馈。

在用户以对原始解决方案不满意的特征方式响应之后，用户设备可以提供后续回答。

用户问答反馈概述

例如，用户可能会问：“谁发明了电话？” 到用户设备。

用户设备可以回答“Alexander Graham Bell”。

用户可以提供反馈，例如说出“谢谢”这个词。

基于这种被表征为正反馈的反馈，用户设备可以存储指示答案“亚历山大·格雷厄姆·贝尔”是对“谁发明了电话？”的问题的极好答案的信息。

问一个问题“2003 年票房最高的浪漫喜剧是什么？” 到用户设备

用户设备可能会回答“Gigli”。用户可能会提供反馈，说：“这不可能。” 基于这种被表征为负面反馈的反馈，用户设备可以存储指示答案“吉利”不是对“2003年票房最高的浪漫喜剧是什么？”这个问题的好答案的信息。

这个用户设备可能会提供一个后续回答，“如何在 10 天内失去一个男人”可能是一个更好的答案。

此后续答案可能包括替代解决方案，例如此示例中的“如何在 10 天内失去一个人”——比用户对其不满意的反应更准确。

此外，后续问答可以指示该答案是对所提供的解决方案的后续。例如，短语“可能是一个更好的答案”。

使用问答方法的环境

该环境可以包括连接到网络的用户设备和服务器，例如问答对分数存储库服务器、由反馈分数存储库服务器组成的反馈分类器服务器以及被称为“服务器”的搜索引擎服务器。

为简单起见，一个用户设备和服务器与网络相关。在实践中，环境可能包括更多的用户设备和服务器或更少的用户设备和服务器。此外，在某些情况下，用户设备可以执行服务器功能，并且服务器可以执行用户设备的一部分。

用户设备可以包括客户端设备，例如移动电话、个人计算机、个人数字助理（“PDA”）、平板计算机、膝上型电脑或任何其他计算或通信设备。

用户设备可以包括允许用户通过语音与用户设备通信的音频输入/输出设备。例如，这些音频输入/输出设备可以包括麦克风和扬声器。用户设备还可以包括视觉输入/输出设备，例如可以呈现用户可以交互的用户界面的相机和屏幕。

每个服务器都可以实现为单个服务器设备或可以共同定位或定位的服务器设备的集合。此外，服务器可以在标准服务器设备或单个共享的服务器设备池中执行。

问答对分数存储库服务器和置信度分数

问答对分数储存库服务器可以存储关于与问答对相关联的置信分数的信息。如上所述，这些置信度分数可以各自说明特定答案与特定问题的相关性。

当用户连接到服务器时，该问答对分数存储服务器可以调整置信度分数。问答对分数存储库服务器可以离线更改置信分数，其中用户不连接到服务器。

通常，反馈分类器服务器可以在被服务器提供给用户之前将用户的输入分类为对特定答案的反馈。在一些实施方式中，反馈分类器服务器可以包括存储关于反馈分数的信息的反馈分数储存库服务器。如下文进一步描述，这些分数可以说明如何解释来自用户的不同类型的反馈。

接收搜索查询

搜索引擎服务器可以放置例如从用户设备接收搜索查询的搜索引擎。这些搜索查询可以基于用户设备接收到的问题而获得。搜索引擎服务器可以响应于接收到的搜索查询向用户设备提供结果。如下文进一步描述的，用户设备可以在提供对接收到的问题的答案时使用结果。

更多实现其他功能的服务器也可能在环境中实现。这些服务器可以提供例如网络内容、支付服务、购物服务、社交网络服务等。

网络可以包括任何网络，例如局域网（“LAN”）、广域网（“WAN”）、电话网络——例如，公共交换电话网络（“PSTN”）或蜂窝网络– Intranet、Internet 或网络组合。用户设备和服务器可以通过有线和无线连接连接到网络。

换言之，用户设备和任何服务器可以通过有线连接、无线连接或有线连接和无线连接的组合连接到网络。

对话引擎的功能组件

对话引擎可能对应于：

• 用户设备
• 问答对分数存储服务器
• 反馈分类器服务器
• 反馈分数存储服务器

对话引擎可以包括模块。下面描述了功能组件的功能示例。

答案生成引擎可以接收问题的数据表示。该问题可以通过例如与用户设备相关联的诸如麦克风的音频输入设备作为音频信息被接收。

或者，问题可以包括经由与用户设备相关联的接口接收的任何其他类型的信息，例如文本信息、图像信息等。答案生成引擎可能会收到这样的问题：“2003 年票房最高的浪漫喜剧是什么？”

假设在此示例中，问题作为音频信息提供。答案生成引擎可以将与问题相关联的音频数据转换为文本信息。换言之，答案生成引擎可以对与问题相关的音频数据执行语音到文本的处理。答案生成引擎可以存储与问题相关联的文本信息以供进一步处理。

答案生成引擎

答案生成引擎可以生成对接收到的问题的答案。当开发响应时，答案生成引擎可以将搜索查询提供给搜索引擎，例如搜索引擎服务器。搜索查询可以基于问题得到。例如，搜索查询可以包括与问题相关联的一些或全部文本信息。搜索查询可以包括整个问题，而搜索查询可以仅包括问题的一部分。

当只包括问题的一部分时，答案生成引擎可能会从搜索查询中省略某些词。这些可能被预先确定为对问题不重要，例如“停用词”，包括“the”、“a”、“is”、“at”和“on”。答案生成引擎可以在生成搜索查询时修改问题的词。例如，答案生成引擎可能会删除前缀和后缀。继续上面的示例，某些实现的答案生成引擎可能会生成搜索查询“最高票房浪漫喜剧 2003”。

该答案生成引擎可以从搜索引擎服务器接收响应于搜索查询的结果，并且可以基于获得的结果生成答案。结果可能与基于各种因素的相应置信度分数相关联，例如：

• 与结果相关联的文档与搜索查询的相关性
• 与结果相关的文档的质量
• 与结果相关的文档的流量
• 与结果相关的文档的年龄
• 与结果相关的任何其他因素

例如，答案生成引擎可以基于得分最高的结果生成答案。

从问答配对分数存储库收到的信息

此外，或者不是基于由搜索引擎服务器提供的搜索结果来生成答案，答案生成引擎可以基于从问答对分数存储库接收的信息来开发解决方案。如下文进一步描述的，问答对分数存储库可以存储与问答对相关的信息——例如，问答对分数。

答案生成引擎可以使用该信息来识别问题的答案。答案生成引擎可以将问题与问答对分数库存储的信息进行比较，以识别问答对分数库是否存储了将问题与答案相关联的信息。例如，答案生成引擎可以确定与问答对相关联的问题是否与接收到的查询匹配。

该答案生成引擎可以确定与问答对相关联的问题是否类似于接收到的问题，至少超出特定相似性阈值。答案生成引擎可以基于诸如语义相似性、汉明距离、编辑距离或任何其他相似性的相似性指标来确定接收到的问题与与问答对相关联的查询的相似性。

忽略单词，例如停用词

或者，答案生成引擎可以忽略接收到的问题和与问答对相关联的查询中的单词，例如停用词。例如，答案生成引擎可以确定与问题“哪部浪漫喜剧电影在 2003 年最赚钱？”相关的问答对与接收到问题“什么是2003 年票房最高的浪漫喜剧？”

答案生成引擎可以基于从问答对分数存储库520接收的信息生成答案。例如，答案生成引擎可以从与该问题相关联的问答团队中选择具有最高置信度分数的问答对。收到的问题。生成的答案可以基于从搜索引擎服务器获得的搜索结果。

答案生成引擎可以通过音频信息输出答案——例如，通过音频输出设备，例如扬声器；通过视觉细节——例如，通过光学输出设备，如显示屏；或通过任何其他技术。答案生成引擎可以输出答案“Gigli”。

因此，答案生成引擎可以基于从搜索引擎服务器接收的信息、基于从问答对分数存储库获得的信息、或者基于从搜索引擎服务器和问答对两者获得的信息来输出答案分数存储库。此外，如下文进一步描述的，答案生成引擎还可以基于用户反馈的表征输出后续答案。

问答对评分引擎

问答对评分引擎可以接收关于答案生成引擎的答案的反馈。例如，用户设备可能会收到反馈“那不可能是正确的”。如上所述，关于问题，用户设备可以通过任何信息接收输入，例如音频信息、文本信息、图像信息等。当通过音频数据接收到反馈时，对话引擎可以将音频数据转换为文本使用语音到文本技术的信息。

基于接收到的反馈，反馈分类器引擎可以确定答案生成引擎的响应是否是答案生成引擎接收到的问题的合适答案。为了做出这个确定，答案生成引擎可以从反馈分数储存库接收反馈分数信息，说明与反馈相关联的分数。下面进一步描述的反馈分数可以说明如何解释输入。如上所述，反馈分数可以与详细反馈相关联，并且像反馈一样，至少超过相似度阈值。

反馈分类器引擎与问答对相关联

反馈分类器引擎可以识别反馈与问答对相关联。例如，问答团队可能与在收到反馈的阈值时间内（例如，在收到反馈的十五秒、三十秒、一分钟等）内提出的问题和提供的答案相关.

例如，假设用户答案生成引擎在收到反馈“这不可能是正确的”前十秒提供了答案“Gigli”。反馈分类器引擎可以确定接收到的反馈与包括问题“2003 年票房最高的浪漫喜剧是什么？”的问答对相关联。和答案“吉利”。

或者，如果没有提供其他反馈，反馈分类器引擎可以确定接收到的反馈与最后提出的问题和最后提供的答案相关联。例如，反馈分类器引擎可能会在回答“Gigli”20 分钟后收到输入“那不可能是正确的”。假设，对于这个例子，反馈分类器引擎在提供解决方案和接收输入“那不可能是正确的”之间没有收到其他反馈。

反馈分类器引擎可以确定接收到的反馈与包括问题“2003 年票房最高的浪漫喜剧是什么？”的问答对相关联。和答案“吉利”。

可以独立于在接收到的问题、接收到的答案和接收到的反馈之间是否超过阈值时间来做出该确定。

在识别问答对时，反馈分类器可以省略与反馈、问题和答案相关联的单词和字符。例如，继续上面的示例，一些实现的反馈分类器引擎可以确定输入“这不可能是正确的”与包括问题的修改版本的问答对相关联，例如，“最高- 票房浪漫喜剧 2003”，答案是“吉利”。

问答对评分引擎

问答对评分引擎可以基于接收到的问答生成问答对。或者，问答对评分引擎可以从问答对评分库接收关于问答对的信息。它可以识别接收到的问题和答案与从问答分数存储库获得的数据相关联。来自问答对分数存储库的信息可以包括问答对和相关的问答对分数。这些问答对分数可能会品尝到相关问题答案的强度。

问答对评分引擎可以基于接收到的反馈生成或改变问答对评分。例如，反馈分类器引擎可以识别“那不可能是正确的”与反映输入“那不可能是正确的”是负面反馈的反馈分数相关联，例如在量表上的分数为0.0 0.0-1.0。

反馈分类器引擎

此外，反馈分类器引擎可以识别问题“2003 年票房最高的浪漫喜剧是什么？”的问答配对分数。答案“Gigli”在 0.0-1.0 的范围内是 0.1。换句话说，对于“2003 年票房最高的浪漫喜剧是什么？”这个问题，“吉利”的答案可能被认为不是一个可靠的答案。

基于对反馈分数的识别，反馈分类器引擎可以与问答对评分引擎通信以调整问答对分数。例如，问答对评分引擎可以基于反馈分类器引擎分类的反馈来增加或减少问答对评分。

例如，假设“2003 年票房最高的浪漫喜剧是什么？”这个问题的问答对。并且答案“Gigli”不是来自问答对分数存储库。问答配对评分引擎可以为“2003 年票房最高的浪漫喜剧是什么？”这个问题生成问答配对。和答案“吉利”。

问答对评分引擎

在这样的示例中，问答对评分引擎可以为问答对生成问答对分数。问答对分数可能是可能分数中间的默认值。例如，假设可能的问答分数范围是 0.0-1.0。在该示例中，问答对评分引擎可以将0.5的问答对分数分配给问答对。默认问答对分数可以是不在可能分数中间的分数。例如，默认分数可能是 0.0、0.1、0.4、0.6、0.8、0.9，或可能分数内的任何其他分数。

在调整问答对分数时，问答对评分引擎可以使用涉及反馈分数和与问答对分数相关联并且由反馈分类器引擎识别的其他反馈分数的任何数学运算——例如，其他反馈根据不同用户设备的用户提供的反馈获得的分数。

例如，问答对评分引擎可以将反馈评分与与问答对评分相关联的其他反馈评分进行平均，可以将基于反馈评分的值添加到问答对评分，可以将问答对评分相乘。通过基于反馈分数获得的值的答案对分数，或者可以执行基于反馈分数和问答对分数获得的任何其他操作。

问答对评分引擎可以将生成的或修改的问答对评分提供给问答对评分存储库。问答对分数库520可以基于生成的或修改的问答对分数更新由问答对分数库存储的信息。例如，问答配对评分存储库可以替换“2003 年票房最高的浪漫喜剧是什么？”问题的累积问答配对评分。以及从问答对评分引擎收到的具有修改后的问答对分数的答案“Gigli”。

反馈分数库

反馈分数存储库可以存储关于各种反馈的信息，例如反馈分数。反馈分数储存库可以是反馈分类器引擎的一部分。在一些其他实现中，反馈存储库可能与 fOr 分离；反馈分数存储库存储的一些或全部信息可以由用户设备累积——反馈分数存储库存储的信息的示例表。

也如上所述，问答对分数存储库可以存储关于各种问答对的信息，例如问答对分数。问答对分数存储库可以实现为与用户设备分离的设备，例如问答对分数服务器。此外，由问答对分数存储库存储的一些或全部信息可以由用户设备保存——由问答对分数存储库累积的示例知识表。

活动报告引擎可以接收更多与答案或反馈相关的活动。活动报告引擎可以识别从答案生成引擎到反馈分类器引擎的附加训练。例如，用户可以在答案生成引擎响应后开始搜索、拨打电话号码、发送电子邮件或执行其他活动。反馈分类器引擎可以基于响应和动作之间的关系确定动作是对答案的反馈。作为另一个示例，用户可以在反馈分类器引擎接收到反馈之后执行后续活动。

反馈分数生成引擎可以分析反馈以及除了问题和答案之外的更多活动，以生成或改变与输入相关联的反馈分数。例如，如果用户在提供信息之后或作为反馈的一部分重复问题——例如，相同的问题和类似的问题——则反馈分数生成引擎530可以识别所提供的反馈与差的答案相关联. 因此，反馈分数生成引擎可以减少与输入相关联的反馈分数并生成指示反馈与差答案相关联的分数。

提供后续问题

作为另一个示例，假设用户提供了与答案生成引擎提供的答案的主题相关联的后续问题。在该示例中，反馈分类器引擎可以识别所提供的反馈与坚定的响应相关联。因此，反馈分数生成引擎可以增加与输入相关联的反馈分数并生成指示反馈与确定答案相关联的分数。

用户的更多活动的其他示例可能表明来自用户的反馈与明确的答案相关联，这可能包括用户发起与问题无关的搜索、用户拨打与答案相关联的电话号码、用户发送发送到与答案相关联的电子邮件地址的电子邮件等。反馈分数生成引擎530可以将生成的或修改的反馈分数提供给反馈分数存储库。

提供后续答复

如上所述，当用户对解决方案表示不满意时，例如当基于反馈分类器引擎接收到的反馈和基于活动报告引擎接收到的更多活动的反馈评分时，答案生成引擎可以提供后续答案, 低于阈值反馈分数。答案生成引擎可以基于反馈分类器引擎接收到的反馈“这不可能是正确的”，提供后续答案“如何在 10 天内失去一个人”。答案生成引擎可以从响应于问题而识别的一组候选答案中选择后续答案。

例如，在用户提供负面反馈的情况下，答案生成引擎可以选择与接收到的问题相关联的问答团队中得分第二高的问答对作为后续答案响应基于得分最高的问答小组的答案。也可以在来自搜索引擎例如搜索引擎服务器的搜索结果中找到后续答案。

答案生成引擎

答案生成引擎可以基于来自反馈分类器引擎的反馈提供后续答案。答案生成引擎可以基于反馈分数生成引擎获得的额外活动提供后续解决方案，可以建议反馈分类引擎接收的反馈生成或改变与反馈分类引擎接收的输入相关联的反馈分数.

一些实现可以对如上所述的类似概念使用不同的分数和分数范围。例如，虽然一个示例分数范围是 0.0-1.0，但其他可能的分数，例如 0-100、1-10、2-7、-100 到 -1，或任何其他不同的范围。此外，在一些实现使用分数范围的高端的分数的情况下，例如，指示对问题的答案的强度，其他实现可以使用分数范围的低端的分数。例如，在一个这样的实现中，“那是正确的”反馈可能与-100、-0.1、0.0、0.1等的反馈分数相关联，而“那是错误的”反馈可能与反馈分数相关联0.9、1.0、9、10、90、100 等

对话引擎可以包括更少、不同或更多的功能组件。对话引擎的活动组件可以执行由对话引擎的其他可用成员执行的任务。

此外，服务器可以执行由对话引擎的功能组件执行的任务。例如，问答对分数库服务器可以执行问答对分数库的功能，反馈分数库服务器可以执行反馈分数库。用户设备向问答对分数存储库和反馈分数存储库提供和从其接收的信息可以被传递到问答对分数存储库服务器和反馈分数存储库服务器并从其接收。

问答配对分数库

问答对分数存储库服务器可以代替问答对分数存储库执行问答对分数存储库的功能。反馈分数存储库服务器可以执行反馈分数生成引擎的功能，而不是执行这些操作的问答对分数存储库。在一些这样的实施方式中，用户设备将向问答对分数存储库和反馈分数存储库提供和从其接收的信息可以改为向问答对分数存储库服务器和反馈分数存储库服务器提供和从其接收，

除了从活动报告引擎接收更多活动信息之外，反馈分类器引擎还可以从用户活动日志接收更多活动信息，或者代替从活动报告引擎接收更多活动信息。例如，用户活动存储库服务器可以存储与许多用户相关联的用户活动日志，包括更多活动信息、问答活动和反馈活动。活动报告引擎可以从这样的用户活动日志存储服务器接收用户活动信息。

示例数据结构可以由反馈分数存储库存储，例如反馈分数存储库服务器和安装反馈分数存储库的设备。数据结构可以关联反馈，例如由反馈分类器引擎接收的反馈或预定的反馈类型，其可以与相应的反馈分数相关联。假设反馈分数与 0.0-1.0 的范围相关联，其中 0.0 与表明答案是差答案的反馈相关联，而 1.0 与表明答案是肯定答案的反馈相关联。

反馈“非常感谢”和反馈“很好的答案”可能与 1.0 的反馈分数相关联

反馈“也许”和输入“我猜”可能与 0.5 的反馈分数相关联，输入“那可能不对”可能与 0.2 的反馈分数相关联，而反馈“那是错误的”和反馈“错误答案”可能与 0.0 的反馈分数相关联。

如上所述，在实践中其他分数范围也是可能的。如上面进一步讨论的，较高的分数可能与指示答案是较差答案的反馈相关联。相比之下，较低的分数可能与表明答案是更实质性的答案的反馈有关。

可能由问答分数存储库存储的数据结构

例如问答对分数储存库服务器和放置问答对分数储存库520的设备。数据结构可以将问答对与问答对分数相关联。假设问答对分数与 0.0-1.0 的范围相关联，其中 0.0 与最差的答案相关联，而 1.0 与最具决定性的答案相关联。

每行可能与特定的问答对相关联。例如，该行可能与包含“谁发明了电话？”问题的问答团队相关联。和“亚历山大·格雷厄姆·贝尔”，相关的问答对得分为 0.9。

该行可能与包括“谁发明了电话？”问题的问答对相关联。与一行中的问答对相关的答案可能与与一行中的问答对相关联的答案不同。与 Row 的问答对关联的答案是“Marty McFly”。

相关的问答对得分可能是 0.1，这可能表明“Marty McFly”对“谁发明了电话”这个问题的回答很差。

数据结构可以存储许多得到的问答对通过数据结构。或者，数据可能存储了很多有相似问题的问答团队，比如行的问答对包含问题“加拿大最好的乐队是什么？”，而行的问答对包含问题“谁是加拿大最好的乐队吗？”

分别地，作为具有行和列的表，在实践中，数据结构可以包括任何类型的数据结构，例如链表、树、哈希表、数据库或任何其他类型的数据结构。数据结构可以包括由用户设备或功能组件生成的信息。另外或替代地，数据结构可以包括从任何其他来源提供的信息，例如由用户提供的信息，以及由其他设备自动提供的信息。

数据结构可以省略标点符号。或者，数据结构可以包括标点符号，例如与问题、句号、逗号、撇号、连字符和任何其他类型的标点符号相关联的问号。

根据用户反馈生成或修改问答对的分数

这些过程将被描述为由包括计算机的计算机系统执行，例如服务器的用户设备和对话引擎。然而，为了简单起见，下面将过程描述为由用户设备执行。

此过程可能包括接收问题。接收问题可以包括通过对话引擎接收指定问题的第一输入，其中第一输入可以是语音输入。例如，如上面关于答案生成引擎所描述的，用户设备可以接收问题，例如用户说出的可听问题。用户设备可能会收到“谁发明了电话？”的问题。

并且该过程还可以包括生成响应于该问题的答案。例如，如上面关于答案生成引擎所描述的，用户设备可以接收或生成对问题的答案。例如，如上所述，用户设备可以在生成答案时使用存储在问答对分数储存库服务器中的信息和从搜索引擎服务器接收的信息。

输出答案

该过程还可以包括输出答案。在一些实施方式中，输出答案可以包括由对话引擎提供对问题的答案。例如，如上面关于答案生成引擎所描述的，用户设备可以通过音频输出设备、视觉输出设备或任何其他输出信息的技术来输出答案。用户设备可以输出答案“Alexander Graham Bell”。

该过程可以另外包括接收反馈。例如，如上面关于问答对评分引擎所描述的，用户设备可以接收反馈，例如用户说出的听觉反馈。用户设备可能会收到反馈“谢谢”。

通过接收语音输入来接收反馈

接收反馈可以包括由对话引擎接收语音输入，其中语音输入可以得到口语输入，以及由对话引擎确定语音输入被分类为对答案的反馈。例如，确定语音输入被分类为反馈可以包括确定与提供答案相关联的时间和与接收语音输入相关联的时间之间的时间差在预定时间内。作为另一示例，确定语音输入被分类为反馈可以包括确定在提供问题的答案之后接收到语音输入。

作为另一示例，确定语音输入被分类为反馈可以包括确定语音输入在语义上与问题相似。作为另一个示例，确定语音输入被分类为反馈可以包括识别与语音输入相关联的动作，其中该动作可以是呼叫与答案相关联的电话号码或向与答案相关联的电子邮件地址发送电子邮件。

确定收到的反馈的反馈分数

该过程还可以包括识别接收到的反馈的反馈分数。识别接收到的反馈的反馈分数可以包括在对话引擎确定语音输入被分类为对答案的反馈之后确定与语音输入相关联的反馈分数。识别反馈分数可以包括由系统识别与反馈相关联的预定反馈分数。识别与反馈相关联的预定反馈分数可以包括标准化反馈，以及基于标准化反馈识别预定反馈分数。例如，如上面关于反馈分类引擎所描述的，用户设备可以接收或生成接收到的反馈的反馈分数。

例如，假设用户设备识别出反馈“非常感谢”的反馈分数为 1.0。用户设备可以确定反馈“非常感谢”类似于反馈“谢谢”，并且因此可以将反馈分数1.0与反馈“谢谢”相关联。

生成或修改问答配对分数

该过程还可以包括基于反馈分数生成或修改问答对分数。例如，如上面关于问答对评分引擎所描述的，用户设备可以基于在块处接收到的反馈分数来生成或修改问答对分数。继续上面的示例，用户设备可以识别包括问题“谁发明了电话？”的问答对的先前问答对得分为 0.9。和答案“亚历山大·格雷厄姆·贝尔”。例如，用户设备的问答对评分引擎可以从问答对分数存储服务器接收先前的0.9的问答对分数。

用户设备可以基于与反馈“谢谢”相关联的预定反馈分数 1.0 修改先前的问答对分数 0.9。在一些实施方式中，系统可确定预定反馈分数高于阈值，并将反馈分类为正反馈，其中置信分数可基于将反馈分类为正反馈而被调整得更高。例如，用户设备可以基于反馈分数增加先前的问答对分数。

如上面关于问答对评分引擎所提到的，在框830，用户设备可以使用多种技术来调整问答对评分。在一些实施方式中，生成或修改问答对分数可以包括基于预定反馈分数调整与问题和答案相关联的置信分数。描述了另一种技术。

该过程还可以包括将生成的或修改的问答对分数与对应的问答对相关联。例如，如上面关于问答对评分引擎所描述的，用户设备可以例如在问答对评分存储库中存储，并且例如向问答对评分存储库服务器输出，生成或修改的问答配对分数。

这些问答对分数可能出于多种原因使用。例如，在提供其他问题的答案时，可能会使用这些问答对分数。在一些实施方式中，系统可以确定预定反馈分数低于阈值并且可以将反馈分类为负反馈，而置信度分数可以基于将反馈分类为负反馈而被调整得更低。

调整与答案相关的置信度分数

在调整与答案相关联的置信度分数之后，系统可以识别对问题的第二答案，其中第二答案具有比与答案相关联的调整后置信度分数更高的置信度分数，并且可以向用户设备提供第二个答案回答。另外或替代地，与问题、答案、问答对和问答对分数相关联的属性可以习惯于训练模型，例如搜索引擎和文档排名模型。

多个反馈分数阈值以确定是否调整问答对分数

一些这样的实现可以允许用户设备仅在特定反馈是正面或负面的置信度高时调整问答对分数。

该过程可以包括确定反馈分数，例如在方框处生成的反馈分数，是否大于第一阈值。例如，用户设备可以确定在块接收的反馈分数是否大于第一阈值分数。例如，假设反馈分数为 1.0，第一个阈值分数为 0.8。在这样的场景中，用户设备可以确定反馈分数高于第一阈值分数。

如果反馈分数大于第一阈值分数，则该过程可以包括基于反馈分数增加问答对分数。在一些实施方式中，问答对分数可以是与答案相关联的置信度分数，并且增加问答对分数可以包括将反馈分类为正反馈，其中置信度分数基于将反馈分类为正面反馈。

例如，如上面关于问答对评分引擎所讨论的，用户设备可以增加包括接收到的问题和基于接收到的反馈分数提供的答案的问答对的问答对分数。例如，假设问答对的问答对得分为 0.7。基于确定与问答对相关联的反馈分数大于第一阈值分数，用户设备可以将分数增加到例如0.75、0.8或某个其他值。

另一方面，如果反馈分数不大于第一阈值分数，则该过程可以包括确定反馈分数是否小于第二阈值分数。在一些实施方式中，第二阈值分数小于第一阈值分数。在一个这样的实施方式中，第一和第二阈值分数可以分开一些量。例如，假设第一个阈值分数是 0.8。在此示例中，低阈值分数可能为 0.2、0.1 或小于 0.8 的某个其他值。

如果反馈分数小于第二阈值分数，则该过程可以包括基于反馈分数降低问答对分数。在一些实施方式中，问答对分数可以是与答案相关联的置信度分数，并且降低问答对分数可以包括将反馈分类为负反馈，其中置信度分数基于将反馈分类为负面反馈。

例如，如上面关于问答对评分引擎所讨论的，用户设备可以基于以下内容来降低问答对的问答对分数，该问答对包括在块接收的问题和在块提供的答案在块收到的反馈分数。

另一方面，如果反馈分数不小于第二阈值分数并且不大于第一阈值分数，则该过程可以包括前述基于反馈分数修改问答对分数。或者，在这样的场景中，用户设备可以修改问答对分数，但是该修改可能没有反馈分数大于第一阈值分数或小于第二阈值时做出的修改那么极端分数。

换言之，当反馈分数在第一阈值分数和第二阈值分数之间时，用户设备可以向反馈分数分配权重。当反馈分数大于第一阈值分数或小于第二阈值分数时，该权重可以低于分配给反馈分数的权重。

根据一位用户的反馈生成或修改问答配对分数

虽然上面在基于来自一个用户的反馈生成或修改问答对分数的示例上下文中描述了过程，但应该理解可以根据从多个用户收到的反馈生成或修改问答对分数，例如，多个用户设备的多个用户。在一些实施方式中，系统可以从不同的用户设备接收对所提供的答案的第二语音输入。系统可以确定第二语音输入被分类为对答案的反馈。

该系统可以识别与来自不同计算设备的反馈相关联的第二预定反馈分数。然后系统可以基于来自用户设备的反馈和来自不同用户设备的反馈来调整与答案相关联的置信度分数。在一些实施方式中，直到接收到至少阈值量的反馈才能生成或修改问答对分数。例如，假设反馈的阈值量是来自 10 个用户的反馈，并且收到了来自 9 个用户的反馈。

一旦收到第十个反馈，就可以生成或修改问答对分数。可以基于所有十个接收到的反馈生成或修改问答对分数。问答配对分数可能会基于少于十个收到的反馈生成或修改。

收到负面反馈时会发生什么

收到负面反馈。例如，假设正面反馈的阈值量是来自五个用户的正面反馈。此外，假设从四个用户那里收到了积极的反馈。一旦收到第五个正面反馈，就可以生成或修改问答对分数。在一些实施方式中，正反馈阈值可以与负反馈阈值相同。

例如，假设正反馈阈值是来自五个用户的正反馈，那么负反馈阈值可能是来自五个用户的负反馈。在替代实现中，正反馈阈值可以不同于负反馈阈值。例如，假设正反馈阈值是来自五个用户的正反馈，那么负反馈阈值可能是来自十个用户的负反馈。

附加地或替代地，正反馈阈值和负反馈阈值可以基于反馈影响问答对分数的量来获得。例如，假设正反馈阈值为 0.1。在此示例中，如果修改问答对分数的结果增加了 0.1 或更大，则可能会根据一组反馈修改问答对分数，但如果修改问答对的结果则不会分数增加 0.1 或更大。作为另一个示例，假设负反馈阈值为 0.1。

当问答对分数下降时

在此示例中，如果修改问答对分数的结果是减少了 0.1 或更大，则可以根据一组反馈修改问答对分数，但如果修改问答对的结果则不会分数下降 0.1 或更大。一些实现可以包括正反馈阈值和负反馈阈值。在这样的实施方式中，如果结果是问答对分数增加了至少正反馈阈值，或者问答对分数降低了至少负反馈，则可以修改问答对分数临界点。

正反馈阈值可以与负反馈阈值相同。例如，假设正反馈阈值为 0.1，则负反馈阈值可能为 0.1。在替代实现中，正反馈阈值可以不同于负反馈阈值。例如，假设正反馈阈值为 0.1，负反馈阈值可能为 0.2。

正面和负面的反馈

正面和负面反馈可能会以相同的幅度影响问答对分数，但可能具有相反的值。正反馈可能导致问答对分数增加 0.01，而负反馈可能导致问答对分数降低 0.01。换言之，在这样的示例中，正反馈可能被分配一个+0.01的值，而负反馈可能被分配一个-0.01的值。

pPositive 和negative 反馈可能会以不同的幅度影响问答对分数。例如，在一些这样的实现中，正反馈可能导致问答对分数增加0.01，而负反馈可能导致问答对分数降低0.02。换言之，在这样的示例中，正反馈可能被分配一个+0.01的值，而负反馈可能被分配一个-0.02的值。

尽管上面讨论了分数的示例，但一些实现可以使用不同的分数和分数范围来实现如上所述的类似概念。例如，虽然一个示例分数范围是 0.0-1.0，但其他分数范围是可能的，例如 0-100、1-10、2-7、-100 到 -1，或任何其他分数范围。

另外，使用分数范围的高端的分数，例如，作为对问题的答案的强度的指示，其他实现可以使用分数范围的低端的分数。例如，在一个这样的实现中，“那是正确的”反馈可能与-100、-0.1、0.0、0.1等的反馈分数相关联，而“那是错误的”反馈可能与反馈分数相关联0.9、1.0、9、10、90、100 等

为用户反馈生成或修改分数

该过程可以由包括计算机的计算机系统执行，例如，用户设备、服务器和对话引擎。在一些实现中，该过程可以由其他组件代替用户设备和对话引擎或可能与用户设备和对话引擎结合来执行。然而，为了简单起见，该过程在下面被描述为由用户设备执行。

该过程可以包括输出答案。例如，如上面关于答案生成引擎所讨论的，用户设备可以输出对问题的答案。该过程还可以包括接收反馈。例如，如上面关于问答对评分引擎所讨论的，用户设备可以接收响应于答案的反馈。接收反馈可以包括接收语音输入，以及确定语音输入被分类为对答案的反馈。

检测其他活动

并且该过程还可以包括检测额外的活动。检测附加活动可以包括识别与语音输入相关联的动作。例如，如上面关于活动报告引擎所讨论的，用户设备可以检测与反馈和答案输出相关联的附加活动。在一些实施方式中，用户设备可以检测在接收到反馈之后接收到附加活动。

该过程可以另外包括基于附加活动生成或修改与反馈相关联的反馈分数。在一些实施方式中，生成或修改反馈分数可以包括确定语音输入被分类为对答案的反馈，然后确定与语音输入相关联的反馈分数。

例如，如上面关于反馈分数生成引擎所讨论的，用户设备可以基于检测到的附加活动生成或修改反馈分数。过程还可以包括存储生成的或修改的反馈分数。例如，如上面关于反馈分数生成引擎和反馈分数储存库所描述的，用户设备可以存储在块处生成或修改的反馈分数。

为用户反馈生成或修改分数

用户可以向用户的设备提问。例如，用户可能会问“迈克尔乔丹参加过什么运动？” 用户设备可以输出答案，例如“篮球”。，用户可以提供反馈，例如“Neat”。用户设备可以检测到来自用户的额外活动，例如用户提出问题“篮球规则是什么？”

在该示例中，用户设备可以存储用户说出单词“Neat”的指示——可以识别答案与所问问题相关。换言之，该指示可以指示当答案是强答案时该反馈由用户提供。用户设备可以基于从用户接收到的附加活动来存储该指示——具体而言，在用户设备提供答案“篮球”之后提出问题“篮球规则是什么？”。

用户设备可以使用该指示来修改与反馈“整洁”相关联的反馈分数。例如，用户设备可以提高与反馈“整洁”相关联的反馈分数。

确定一个强有力的答案

上述示例中的附加活动，例如提出问题“篮球规则是什么？”——可能表明提供给问题的答案是一个强有力的答案。这个额外的活动可能表明一个强有力的答案，因为额外的活动与答案相关的主题相关 – 例如，篮球 – 但不会重新陈述问题。由于答案可能是强答案，因此在提供答案之后提供的用户反馈（例如“Neat”）可能会被识别为与强答案相关联的反馈。

用户可以向用户的设备提问。例如，用户可能会问“谁写了独立宣言？”这个问题。用户设备可以输出一个答案，例如“John Hancock”。如图所示。12C，用户可以提供反馈，例如“我不这么认为”。用户设备可能会检测到用户的其他活动，例如用户询问“谁是《独立宣言》的作者？”的问题。

用户设备可以存储反馈的指示，例如具体地，在这个示例中的短语“我不这么认为”——可以识别答案与所提出的问题不相关。换言之，该指示可以指示当答案不是强答案时由用户提供该反馈。用户设备可以基于从用户接收到的附加活动来存储该指示，例如特别是在用户设备提供答案“John Hancock. ”

如上面关于该过程所描述的，用户设备可以使用该指示来修改与反馈“我不这么认为”相关联的反馈分数。例如，用户设备可以降低与反馈“我不这么认为”相关联的反馈分数。