为什么AI不是万能的？- AI辅助软件开发案例分享

最近一年，AI技术在软件开发领域的应用日益广泛。AI可以帮助开发人员梳理需求、自动生成原型、估算项目规模和工作量、生成代码、自动生成测试用例，并执行自动化测试等。理论上，AI的应用可以使开发效率提升数倍甚至数十倍。尤其是前段时间出现的世界上第一个AI软件开发工程师Devin，让人们对软件自主开发充满了期待。然而，现实中的情况并非如此。下面我们通过几个实际案例来分析AI工具在软件开发中的应用效果。

案例研究背景

为了研究AI工具对软件开发的影响，我们选择了CoCode AI开发平台和三个公司作为研究对象。CoCode AI开发平台是第一个需求驱动的基于AI智能体的软件开发和管理平台。如果说Devin是第一个AI软件开发工程师，那么CoCode就是第一个AI开发团队，包括AI项目经理、AI需求分析师、AI设计师等所有软件开发角色。CoCode AI平台支持流行的CMMI开发模型，旨在保证软件开发质量，同时最大限度地降低开发时间和成本。

本次案例分析涵盖了两家CMMI5级公司和一家CMMI3级公司，涉及24个项目。这些项目都使用了CoCode AI平台，其中一个企业还使用了Bito AI代码助手，研究时间跨度从2023年6月到2024年2月。

案例分析

案例1：M企业

背景：

行业：电力

软件开发人员：180+

工具：CoCode AI

CMMI 3级企业

生产率（小时/功能点）：

使用AI工具前：10.97

使用AI工具后：7.09

提升：35.36%

质量（缺陷/千功能点）：

使用AI工具前：0.34

使用AI工具后：0.29

提升：14.7%

公司点评：

AI需求工具大大减少了需求细化时间，使需求阶段的生产力提高了30%。

AI测试工具大大减少了编写测试用例的时间，使测试阶段的生产力提高了50%。

案例2：G企业

背景：

行业：运输

软件开发人员：100+

支持工程师：88

工具：CoCode AI

CMMI 5级企业

生产率（小时/功能点）：

使用AI工具前：4.40

使用AI工具后：4.58

提升：4%

质量（缺陷/千功能点）：

使用AI工具前：9.24

使用AI工具后：8.85

提升：4.22%

公司点评：

使用AI工具后，项目规模蔓延从40%降至18%。提升55%。

使用自动测试用例生成工具后，测试生产率从1.96小时/功能点提高到0.83小时/功能点。

使用自动化测试工具后，测试覆盖率增加，交付产品质量从9.24个缺陷/千功能点提高到8.85个缺陷/千功能点。

AI增强项目管理，使规划更加简单和全面，更容易监控。

案例3：S企业

背景：

行业：医疗保健

软件开发人员：200+

工具：CoCode AI + Bito AI Code Assistant + Gitlab

CMMI 5级企业

生产率（小时/功能点）：

使用AI工具前：6.3

使用AI工具后：5.52

提升：12.3%

公司点评：

Bito AI Code Assistant在编码阶段的生产率提升了30%。

AI需求工具可以自动将需求内容转换为用户故事和测试用例，大大提高了敏捷团队的生产率。

AI需求工具自动审查并检测需求中的缺陷，有助于提高产品质量。

总结与启示

从这些案例研究中我们可以看到，所有公司在生产率和质量上都经历了不同程度的改善。改善最多的公司是那些能够最佳地将AI集成到其开发过程中的公司。AI增强工具并不是简单的即插即用，将AI集成到公司的开发过程中需要一个学习过程。虽然AI可以自动化许多开发任务，如编码，但做出决策的始终是人类。AI始终处于副驾驶的位置，主要帮助完成一些具体的工作，而大方向仍需由人类来决定。

通过这些案例，我们认识到，AI虽然强大，但并不是万能的。如何将AI工具与现有开发流程有机结合，才是实现AI工具最大价值的关键。

本文作者：高山（Sam Gao）高成熟度主任评估师 北京睿思得企业管理咨询有限公司