软件开发中的持续实验系统：实践与挑战

### 软件开发中的持续实验系统：实践与挑战 在当今的软件开发领域，持续实验已成为推动创新和提升产品质量的关键要素。众多科技公司都在积极探索和应用各种实验方法，以更好地满足客户需求，实现业务增长。 #### 不同公司的实验实践 许多知名公司都有各自独特的实验方式。谷歌会对几乎所有可能影响用户体验的变更进行实验评估，其实验系统的核心在于支持和促进持续创新。Netflix 的“消费者数据科学”方法分为两个阶段，先进行离线实验，成功后再开展在线客户实验以进行最终验证。Adobe 的“Pipeline”创新流程通过快速原型制作和频繁的客户评估，来最大化对特定问题的学习。eBay 除了在线控制实验外，还运用了多种实验技术，如可用性测试、焦点小组和日记研究等。 #### 系统实验的标准 系统实验需要满足以下几个标准，这些标准构成了持续实验的关键路径： 1. **明确假设**：基于业务驱动，明确提出具体的假设。 2. **设计实验**：设计并开展实验，以验证这些假设。 3. **分析数据**：对实验数据进行深入分析。 4. **决策应用**：将实验结果作为决策和后续行动的依据。如果这些步骤成为开发过程的永久组成部分，就能实现持续实验。 #### 研究方法 为了深入了解持续实验在软件开发公司中的应用情况，研究人员采用了定性调查设计，通过与行业从业者进行访谈来收集数据。 - **研究问题**： - RQ1：持续实验在软件开发公司中是如何应用的？ - RQ1.1：如何收集关于软件产品的客户反馈？ - RQ1.2：收集到的客户反馈在软件产品开发过程中是如何使用的？ - RQ2：持续实验面临哪些挑战？ - **研究设计**： - 采用半结构化的个人访谈，这种方式既能聚焦于预设的研究主题，又具有高度的灵活性，能获取意外信息。 - 制定了访谈指南，明确了关键主题、问题和提示。访谈开始和结束时会提出简单的“热身”和“冷却”问题。主要访谈主题及示例问题如下： 1. **当前软件开发实践**：例如，使用哪种软件开发流程？ 2. **当前客户反馈的获取和使用实践**： - 如何确保开发出正确的产品？ - 如何收集客户反馈？ - 是否收集客户行为数据，如产品使用数据？ - 如何使用收集到的客户反馈和其他数据？ 3. **未来客户反馈的获取和使用实践**： - 认为当前的客户反馈收集和客户参与实践是否足够？ - 获取更深入的客户洞察是否存在障碍？ - **样本选择**：选择了有目的的非概率样本，涵盖了不同规模、运营领域和生命周期阶段的软件开发公司，以及来自不同角色且在软件行业有丰富经验的受访者。 - **研究执行**：研究参与者从“Need for Speed”研究项目的附属机构以及作者的专业人脉中招募，仅考虑芬兰的公司。与每家公司的守门人联系，他们要么自己参与研究，要么推荐合适的受访者。研究于 2014 年 2 月至 4 月在芬兰进行，共对 10 家软件公司的 13 名受访者进行了访谈，平均访谈时长为 48 分钟。所有访谈均用英语进行并录音，随后将访谈记录逐字转录，使用 ATLAS.ti 进行编码和分析。 #### 研究结果 - **参与者概况**：参与研究的 10 家芬兰 ICT 公司主要聚焦于软件产品开发功能。公司规模、领域和产品导向各不相同，其中 3 家为初创公司。大多数受访者担任高级管理（31%）或中层管理（54%）职位，顾问和高级软件架构师角色占 15%。受访者在当前公司的工作年限为 1 - 26 年，平均 7.7 年。公司 C 有 4 名受访者，其答案合并以形成对该公司的整体印象；公司 E 的受访者未参与软件开发实践讨论，其输入仅用于后续挑战部分的分析。具体公司信息如下表所示： | 公司 | 员工数量规模 | 公司领域 | 产品导向 | | ---- | ---- | ---- | ---- | | A | 小型（<50） | 游戏 | B2C | | B | 小型（<50） | ICT 服务 | B2B | | C | 大型（