LLM 与软件测试的碰撞

在传统的测试工作中，测试用例大多需要测试人员手工编写，必须花费大量时间和精力去理解业务需求，然后设计出涵盖各种场景的测试用例，这一过程不仅耗时，而且很容易出现漏测，尤其在面对复杂的系统时，编写测试用例的工作量往往非常庞大，而 LLM 的出现为这个流程提供了新的思路。

现在只需要通过读取需求文档、API描述或用户故事，LLM 就可以自动生成符合项目需求的测试用例。

它能模拟用户的各种行为模式，生成针对不同场景、边界条件和异常情况的测试用例，大幅提高了测试覆盖率，并能减少因人工编写不全面导致的问题遗漏。

不仅如此，测试数据的多样性可以帮助我们测试所有可能的用例，也就是说测试数据是我们测试用例执行的基础，LLM 可以帮我们做的是根据测试需求和数据模型，自动生成符合要求的测试数据，帮助测试人员构建完整、多样的测试数据，提高测试的覆盖率和有效性。

例如，Parasoft Jtest、C/C++Test 是专为 Java 语言、C 语言应用程序设计的智能自动化测试工具，结合了先进的人工智能技术和静态分析功能，能够有效地帮助开发团队提升代码质量和测试效率。

Jtest、C/C++Test 的 AI 驱动功能能够智能分析代码逻辑，自动生成高质量的单元测试用例，减少了测试人员编写测试代码的工作量。

同时，Jtest、C/C++Test 还支持集成到 CI/CD 流程中，确保每次代码提交都经过严格的测试，避免在后期发现重大缺陷，提升了整体开发效率和软件稳定性。

Bug 报告一直是软件测试的重要输出，它不仅记录了问题的详细信息，还为开发人员提供了修复依据。然而，编写高质量的 Bug 报告需要测试人员深入理解问题，这无疑增加了工作量，而且描述不清还可能导致沟通效率低下。

借助 LLM，测试人员可以利用 AI 模型的分析能力自动生成标准化的 Bug 描述，包括复现步骤、问题影响以及可能的原因。这种智能化的 Bug 报告不仅提高了报告的准确性，还帮助开发人员更快理解问题。

此外，LLM 还能根据代码上下文提供修复建议，甚至生成可能的修复代码，从而提高 Bug 修复的速度，减少重复劳动。

在软件开发过程中，代码审查是保障代码质量的重要手段。但随着项目规模的增大，人工审查代码不仅效率低下，并且难免保证不出差错。

而 LLM 可以通过学习大量的优秀代码范例，充当代码审查的“得力助手”。它不仅能够自动分析代码中的潜在问题，如性能瓶颈、逻辑错误或安全隐患，还可以根据项目预设的编码规范，指出违反规范的部分，确保代码风格的统一。

特别是在一些大型项目或多团队协作时，LLM 的智能审查能力可以减少人为错误的发生，帮助团队更快、更准确地发现潜在问题，提高代码质量。

在源代码的安全检测方面，目前常见的工具都是基于规则的检测，而规则是由专家来定制和识别的，因此难免有个人主观性和局限性，加上代码本身语义表达的复杂度，不可避免出现漏报以及误报。

与传统基于规则的检测工具不同，LLM 具备强大的自然语言理解和上下文推理能力，在代码安全检测方面能够提供更加智能化的解决方案。

由于 LLM 能够学习并理解多种编程语言的语法和逻辑，甚至捕捉代码中隐含的复杂语义，它可以有效减少规则检测中常见的漏报和误报问题。

例如，Corax 是新一代软件代码质量缺陷和安全漏洞的自动化代码分析工具。利用 AI 实现代码语义的理解提升逻辑相关问题的发现能力。

使用 Transformer encoder 构建孪生网络，用于识别代码中的内存相关函数，发现更多底层缺陷；Corax 将程序分析过程相关数据构建 RAG 方案，通过大模型赋能，实现精准智能误报分析及智能生成修复代码。

通过引入 AI 大模型的能力，辅助先进的分析引擎进行代码理解，更准确地发现出更多的安全问题；另外通过结合分析引擎及 AI 大模型的能力，让 AI 大模型为用户提供更贴合实际，更准确的修复方案，大大提高问题的修复效率。

文档编写与维护是测试工作中极其重要的一部分，然而由于项目需求频繁变化，手动更新文档容易导致信息不一致或遗漏。

LLM 在这方面同样展现了巨大的潜力。通过对需求文档、代码库和测试结果的综合分析，LLM 能够自动生成测试计划、测试策略以及测试结果分析等文档，确保文档的规范化和及时更新。随着项目的进展，它还能动态维护这些文档，避免文档版本滞后的问题，减轻测试人员的文档管理负担，提高项目文档的准确性和一致性。

LLM 还可以通过解析 UI 设计文档或需求文档，自动生成对应的自动化测试脚本，模拟用户行为进行测试。

随着项目迭代，测试脚本可能变得冗余或效率低下，LLM 可以帮助分析这些脚本，识别不必要或重复的操作，并提出优化建议，提升脚本执行效率。

例如，UFT One（Unified Functional Testing One）是目前市场上领先的自动化测试工具，广泛应用于软件测试领域，特别是在功能测试和回归测试中。借助先进的人工智能技术，UFT One 能够自动识别和处理复杂的应用程序界面，包括网页、桌面应用和移动端应用，极大地提高了测试的效率和覆盖率。

通过 AI 驱动的对象识别和自适应学习，UFT One 减少了因 UI 变化而导致的脚本维护工作，增强了测试的稳定性和可重复性。