数据科学项目的策略与管理

# 数据科学项目的策略与管理 ## 1. 与客户沟通的艺术 在与客户交流时，不要急于介绍可能的模型细节，而是先汇报已完成的工作。因为本质上，你销售的是降低风险或削减成本的方案，而非特定的模型，如随机森林或神经网络。客户更关注你能否达成目标，而非具体实现方式。 与客户的发现会议是倾听的好时机，要牢记“双耳一口，按此比例使用”的格言，甚至要少说多听。人们常想用言语填补沉默，我们可以利用这一点。同时，要谨慎考虑何时引导对话以及引导的方向。与客户的交谈往往能带来对关键问题的新见解，有时只需静静倾听，有时则需引导客户进入合适的状态以了解其真正需求。 ## 2. 数据科学与棘手问题 “棘手问题”有多种定义，数据科学家面临的这类问题的一个特点是缺乏明确的表述。若使用传统数据科学工具，棘手问题可能难以解决，但这并不意味着数据科学工具无法间接处理这些问题的某些方面。 尽早识别出棘手问题至关重要，确定问题类型后，有两种主要处理方式：一是放弃该问题，二是将其重构为可解决的问题。棘手问题的重要标志包括：客户对问题的理解无法达成共识；界定问题的起止范围可能徒劳无功；问题可能是其他问题的症状或原因，且会不断变化，难以界定边界，这使得使用任何模型或算法都极为困难。 解决问题的关键在于正确定义问题，棘手问题通常难以简单定义，但提前确定立场有时能使问题变得可解。通过以可接受的方式重新构建问题，可使其变得易于处理。数据科学家倾向于数值解决方案或自动化解决方案，实际上有一系列问题重构方法可将棘手问题转化为易解问题。 例如，战略假设浮出与测试方法由 Mitroff 提出，该方法旨在理解支配问题的潜在假设，通过五步流程以小组形式完成。这只是众多将棘手问题转化为可解问题的方法之一，不同方法有各自特点，可根据具体情况选择合适的方法，甚至可结合不同方法的思路进行调整。 ## 3. 记录项目目标 项目目标容易被遗忘或误解，因此详细记录关键信息十分重要，可避免因误解已发现的内容而导致项目失败。除了明确建模目标，还有多个维度对用户很重要，如模型结果的易理解性、结果返回速度以及解决方案的实施速度等，这些方面也应记录下来。 同时，记录项目可用的数据来源和结果交付的平台，以确定最终格式。这些信息单独看可能微不足道，但遗漏一些可能会浪费时间，甚至导致项目无法满足客户期望。 文档记录不应与传统的瀑布式项目管理范式划等号，也不应被权力欲强的项目经理用作打压他人的工具。实际上，文档记录不一定是正式的，如今有多种电子工具可供选择，如维基软件（如 Confluence）和虚拟白板软件，能方便地记录用户发现过程或提炼有可操作性的见解。 电子文档便于根据客户需求的变化进行更新，在某些情况下，若文档正式且可能存在矛盾，可能需要变更管理流程；其他时候，只需尽可能准确地收集研讨会结果并在必要时更新即可。总之，了解客户的真实需求是一个耗时且依赖客户善意的过程，要确保不遗漏任何信息。 ## 4. 项目资源：方法与手段 在数据科学领域，战略可表示为“战略 = 目标 + 方法 + 手段”。其中，方法指团队成员及其技能，手段指可用的数据。 选择不当的目标是一个风险，但缺乏合适的资源也是一个持续存在的危险，这可能导致项目无法完成，影响数据科学家和数据科学在组织内的声誉。为了继续获得公司的信任以承担困难挑战，需谨慎考虑项目与自身能力的匹配程度。 ### 4.1 数据科学技能 数据科学家面临的一个挑战是，由于数据科学家的宽泛定义，人们期望每个数据科学家具备相同的技能。目前，数据科学领域对专业细分的认知还不够深入，团队可能会被要求完成超出专业范围的任务。 数据科学社区在一定程度上推广了多个不同领域的专业知识，如深度学习、自然语言处理和地理统计学等，这使得每个项目都存在超出团队能力的风险。不过，承担一些能拓展能力的项目是有益的，但要确保组织对项目的时间线和最终产品的效果有合理预期。 项目合同（如 Prince2 系统中的概念）很重要，它允许团队承接不完全具备能力的项目，同时明确告知项目完成和时间线存在更高风险。当希望拓展能力时，应选择一些不太引人注目的项目，若能持续开展此类项目，就能提升团队技能。关键是要让所有人明白，拓展能力比项目的名义目标更重要。 ### 4.2 可用数据