AI在处理大批量数据方面非常有效，但在应用中仍然需要人类的指导。AI产品设计师Ioana Teleanu介绍了两种主要类型的AI研究工具，即洞察生成器和协作器，以及如何将它们应用于用户体验研究。
让我们快速了解一下AI如何帮助我们，对于那些能够减轻认知负担、通过处理大量数据辅助决策的工具，可以帮助我们自动执行重复性任务，比如格式化图像或调整文本。
它可以通过提供更深入的人类行为和使用模式的洞察来帮助我们。此外，通过创建原型或模型、各种视觉资产，它可以发现可用性问题等。AI可以在设计过程的每个步骤中帮助我们，弥补我们的盲点，增强我们的思维，如果我们正确使用它，可以使我们更加高效。
总是有一个人在指挥这一切。目前，AI能够端到端生成一套具有凝聚力、一致性、可靠性和相关性的设计过程的未来是非常遥远的未来，有人需要在这个过程中进行管理，运用批判性思维，并在设计过程的每个阶段展示出有意识的行为。此外，因为AI显示出多个限制，它在模式中的每个步骤都存在限制。尼尔森·诺曼集团发布了一篇文章，详细讨论了目前在研究中使用AI时存在的局限性。要理解他们分析的背景，需要知道目前市场上有两种类型的AI研究工具：洞察生成器和协作工具。AI洞察生成器是一种仅基于文本摘要总结用户研究会话的工具。
因为它们不接受任何附加信息（例如上下文、过去的研究、产品和用户的背景信息等），它们在生成和呈现这些摘要方面可能存在很大问题。虽然有一些变通方法，比如将背景信息上传为会话笔记以添加到分析中，但这并不是正确的框架，并且在分析和生成中不会正确反映。在这方面，人类会更擅长。在设计和系统方面，由于AI洞察生成器缺乏上下文理解，它可能产生过于简化或误导性的结论。
理解AI协作者的解释领域需要进行范围界定和系统思考。这些工作类似于洞察生成器，但它们稍微更好，因为它们接受研究人员提供的一些上下文信息。例如，研究人员可能向AI展示一些人类生成的解释以对其进行训练。该工具然后可以推荐用于对数据进行主题分析的标签，除了会话记录外，协作者还可以分析研究人员的笔记，然后根据多个来源的输入创建主题和洞察。
但尽管它们似乎更好，仍然受到显著限制，并且如果没有正确的思维方式和谨慎使用，可能会带来许多问题。它们的限制包括：大多数AI工具无法处理视觉输入，其中最大的问题是没有人类或AI工具能够仅通过转录来分析可用性测试会话。
可用性测试是一种本质上依赖于观察用户与产品交互的方法。参与者通常会大声思考，描述他们在做什么以及他们的想法。他们的言辞确实提供了有价值的信息。然而，绝不能仅基于参与者说的话来分析可用性测试。仅通过转录分析在用户测试中会遗漏重要的上下文，因为参与者并不会用言辞表达所有的行为，也不会描述产品中的每个元素。他们并不总是对产品有清晰的理解或心智模型。
因此，尼尔森·诺曼集团目前的建议是不要相信那些声称能够仅通过转录分析可用性测试会话的AI工具。未来能够处理视频视觉的工具将更加有用于这种方法。另一个问题是对上下文的理解有限，这仍然是一个主要问题。AI洞察生成器尚不能接受研究目标、研究问题的见解，或者先前研究轮次的标签，产品或用户群体的背景信息，每个参与者的上下文信息，新用户与现有用户的区分，任务列表或面试问题列表。此外，存在引用和验证的问题，引发了多重关切和问题。这些工具无法区分研究人员的笔记和实际会话转录，这是一个重要的伦理关切。我们必须始终清晰地将自己的解释或假设与参与者说或做的事情区分开。
缺乏引用的另一个问题是它使得验证准确性变得非常困难。AI系统有时会产生听起来非常合理但实际上是错误的信息。
不稳定的性能和可用性问题是另一个问题。在测试的所有工具中，没有一个具有稳固的可用性或性能。他们报告了总体上的停机、错误和不稳定的性能。
然后还有偏见的问题。根据Reva Schwartz及其同事的说法，AI系统和应用可能涉及三个层面的偏见：系统性、统计性、计算性和人为的偏见。AI必须在数据上进行训练，这可能引入系统性的偏见，如历史和制度性偏见，以及统计性偏见，例如不足代表性的数据集抽样。当人们在决策中使用基于AI的结果时，他们可能引入人为的偏见，如锚定偏见。因此，偏见可以在多个层面渗入研究工作，而这些工具尚未具备防止这种情况发生的机制。
想详细讨论文章中报道的限制，因为相信我们可以轻松推广并将其扩展到不仅仅是研究工具。大多数这些问题在设计过程中的其他类型的AI伴侣上都是可观察的。图像生成中的偏见、提供上下文的限制、其他种类的输入限制、不接受文件或图像、输出的模糊性、通用结果等等。因此认为这是与AI交互和设计时必须牢记的一个必要框架。这些工具目前还不够可靠和准确，所以要对它们产生的所有内容持谨慎态度，并始终运用批判性思维。
洞察生成器的主要目标是提供用户研究会话的简明而信息丰富的摘要。它们分析转录文本，但不考虑任何额外的信息，如上下文、过去的研究或关于产品或用户的背景详细信息。因此，洞察生成器无法解释用户互动和体验的完整画面。
协作器更为先进，它们可以通过人类生成的解释和上下文进行训练，包括研究目标、问题和产品背景。协作器可以推荐主题分析标签，并根据转录和上下文数据生成洞察。协作器还具有分析研究人员的笔记以创建更细致的主题和洞察的能力。然而，它们在处理视觉数据、引用和验证问题以及可能引入研究结果偏见方面也存在困难。
AI中的偏见可能来自训练数据（系统性偏见）、数据收集（统计偏见）、算法（计算偏见）或人际交往（人际偏见）。为减少偏见，使用多样化和具代表性的数据，测试和审计AI系统，并提供明确的道德使用指南，以追求公正和无偏见的AI决策，使其对每个人都有益。
总结：
AI研究工具具有减轻认知负担、通过处理大量数据支持决策制定、自动执行图像格式化和文本调整等任务、提供更深入的人类行为和使用模式洞察、创建原型和各种视觉资产以及优秀地准确定位可用性问题的能力。
有两种类型的AI研究工具，即洞察生成器和协作器。洞察生成器通过分析转录来总结用户研究会话，但缺乏考虑额外上下文的能力，这限制了它们对用户互动和体验的理解。协作器通过研究人员的输入提供更具上下文感知的洞察，但它们仍然在处理视觉数据、引用、验证和潜在偏见方面存在困难。
为了克服这些工具的局限性，必须谨慎使用，保持人类监督，对输出进行批判性评估，意识到潜在的偏见，并将AI作为决策的辅助来源，而非唯一来源。