什么是 数据和分析？

数据和分析对现代企业尤为重要，因为它可以改进所有决策类型（宏观、微观、实时、周期、战略、战术和运营决策）的决策结果，并可以发掘出新的问题和创新解决方案，以解决企业领导者甚至没有考虑到的问题和机遇。

先进的企业机构还会以多种方式使用数据，且必须经常依靠企业外的数据来做出更明智的商业决策。

此外，由于数据和分析能够在复杂且快速变化的商业背景下做出更快、更准确和更具相关性的决策，数据和分析也可以催生数字化战略和数字化转型。

一般而言，决策都是由个人（例如，潜在客户考虑是否购买一项产品或服务时）和企业机构团队（例如，在确定如何最好地服务客户或公民时）做出的。因此，数字化战略就是通过数据提出更“聪明”的问题，以改进相关决策的结果和影响。

数据驱动型决策指使用数据来研究、优化决策流程，它可以产生包括规定性分析技术的决策模型，提出具体的行动建议。而其他的分析模型是描述性、诊断性或预测性的，一般可以用来帮助做出其他类型的决策。

值得注意的是，决策既可以提供行动建议，但也同样可以决定不做出行动。

当前，先进企业机构正在通过创建数据驱动型企业愿景，量化和沟通业务成果，以及促进数据驱动型业务变革，将数据和分析融入到商业战略和数字化转型之中。（见“数据和分析战略的重点要素有哪些？”）

现在，越来越多的企业机构会使用高级分析技术来解决商业问题，但问题的性质和复杂性决定了是否以及如何使用预测、预报或模拟作为预测分析组件。（见“什么是高级分析技术？”和“什么是核心分析技术？”）

拓展数字业务使得决策变得更加复杂，它不仅需要数据科学，还需要更先进的技术。而预测性和规定性分析能力的结合则有助于企业机构快速响应不断变化的要求和限制。

以下是将预测能力（预报和模拟）与规定能力相结合的具体示例：

• 预测外科手术的感染风险，并结合明确的规则来提出降低风险的行动建议
• 结合优化分析，预测产品的进货订单，主动应对整个供应链可能发生的需求变化，但不会依赖可能不完整或假的历史数据
• 结合优化分析，根据风险进行模拟，将客户划分为微观细分市场，从而快速评估多种场景，并确定每种场景的最佳应对策略

对于不同类型的决策，数据和分析的使用方式也是不同的。如果想要做出更高效的商业决策，高层领导者就需要知道何时以及为何要使用数据&分析和人工智能来对人类决策进行补充。

对于各个企业机构来说，确定数据和分析对自身的意义，并且制定可以抓住机遇的举措（项目）和预算，是十分重要的。

数据和分析战略规划的关键步骤是：

• 从企业机构的使命和目标开始着手
• 确定数据和分析对这些目标的战略影响
  
• 利用数据和分析目标，对实现商业目标的行动步骤进行优先排序
• 制定数据和分析战略路线图
  
• 使用一致的现代运营模式实施该路线图（即通过项目、方案和产品）
• 说明数据和分析战略及其影响和结果，获得支持以执行该战略
  

此外，使用数据和分析的企业运营模式还必须努力克服执行数据和分析战略所需的数据生态系统、架构和组织交付方式方面的差距。

按照Gartner的定义，数据素养是指“在上下文中读取、写入和交流数据的能力”，包括理解数据源和结构、应用的分析方法和技术，以及描述场景、应用程序和产生价值的能力。这听起来好像是要把每个员工都培训成数据科学家，但事实并非如此。从商业角度来看，您可以简单地将数据素养概括为：帮助企业领导者学习如何对周围数据提出更“聪明”问题的一个计划。

在企业机构内培养数据素养其实是一种文化和变革的管理挑战，而不是一种技术挑战。因为数据和分析在整个企业、社区，甚至在我们的个人生活中都越来越普遍，而使用准确的语言交流数据，实现数据扫盲，对企业机构的成功也相应地越来越重要。然而，这种持久而富有意义的变革需要人们学习新的技能和行为。

至于企业机构的数据和分析最佳实践，它包括把更多的重点、精力和工作放在数据和分析战略的变革管理部分；利用领导力和变革代理人；进行数据扫盲（一种“技能”、“能力”）和营造数据和分析文化（一种“意愿”或“态度”）。而要培养数据素养，企业机构就必须从领导者开始。例如，首席信息官或首席数据官，以及财务（通常是使用商业智能（BI）技术）领导者和人力资源部门（进行数据素养培训），都可以提出数据扫盲计划，为其同事提供工具，以便大家在各自的部门适应和采用数据和分析技术。

作为整个数据扫盲计划的一部分，讲数据故事可以创造积极和深远的影响，提高利益相关方的参与度。这是因为讲数据故事会应用专门的技术，在数据驱动的故事中构建数据和洞察，使利益相关方更容易解释和理解所分享的数据并采取相应的行动。

数据和分析治理（或许多企业机构所说的“信息治理”）规定了决策权和决策权的相应职责，可确保企业机构在实现价值，创建、存储、访问、分析、使用、保留和处置其信息资产时做出适当行为。因此，将数据和分析治理与整体业务战略联系起来，并将其与企业机构利益相关方认为关键的数据和分析资产挂钩，是十分重要的。

数据和分析治理包括人（如高层决策者、决策者和业务数据及分析管理者）、流程（如数据和分析架构、工程流程以及决策流程）以及可为整个企业提供可信可靠任务关键型数据的技术（如元数据管理中心）。

值得注意的是，数据和分析治理最初只关注监管是否合规，而现在则是朝着治理最少的数据来获得最大的业务影响这个目标发展壮大。换句话说，数据和分析治理已经进化了增加商业价值的进攻能力，以及保护企业机构的防御能力。

有效的数据和分析治理还必须平衡企业整体和业务部门的治理，但这需要在整个企业实施一个标准化的方法，且该方法需要证明能充分提高业务领导者的参与度。另外，数据和分析治理并不是虚无缥缈的，它必须从数据和分析战略中获得线索。因此，企业机构需要整合具体、可量化的指标（例如，特定细分市场的客户保留率和通过生态系统合作伙伴获得的收入百分比），将数据、分析资产、举措与业务和利益相关方的价值联系起来，从而确保实现具体的业务成果。

曾经，数据小组与分析团队是分开的两个部分，二者“各自为政”，但其以前对应的不同市场正在以许多不同的方式产生碰撞。例如，为了增强其性能，数据管理平台越来越多地集成了分析技术，特别是机器学习（ML）。

分析和商业智能平台正在开发数据科学能力，在数据和分析治理技术下，全新的平台正在涌现。由于云服务提供商越来越多地主导所有上述服务所使用的基础设施平台，他们也增加了数据和分析的复杂维度。

而集成数据、分析和人工智能的传统平台难以适应日益增多的数据和分析用例。因此，企业机构必须平衡企业内部现有解决方案高昂的总成本与增加资源和新兴能力（如自然语言查询、文本挖掘和半结构化及非结构化数据和分析）的需求。

因此在未来，为支持高级分析技术，数据和分析需要企业投资于组装式、增强的数据管理和分析架构。而现代D&A系统和技术可能包括以下内容。

数据管理系统

• 主数据管理（MDM）是一门技术驱动的业务学科，通过让业务和IT部门共同合作，确保企业正式共享的主数据资产的统一性、准确性、管理、治理、语义一致性和责任。
• 数据枢纽（data hub）的重点是实现数据共享和治理。数据的生产者和使用者通过数据枢纽可以实现相互连接，并应用治理控制和通用模型来实现有效的数据共享。相比而言，主数据管理是一个只专注于主数据的数据枢纽。另外，由于数据目录正逐渐进入治理领域，因此数据目录也开始成为数据（和分析）枢纽。
• 数据中心（data center）是物理上存放服务器（与仓库相反，仓库是存放在服务器或云中的数据结构）的地点，其未来的发展方向取决于可以转移到云中的工作负载容量。而相应的迁移决策必须基于一定的商业利益。
• 数据仓库为收集交易性的详细（有时还有其他类型的）数据提供了一个终端，可以对那些已经明确价值的数据进行预测性分析。也就是说，众所周知的、预定义的、可重复的分析，可以在企业的许多用户中进行扩展。
• 数据湖则收集未经提炼的数据（以其原始形态进行收集，具有有限转换、质量保证以及内在治理的特性），并允许用户以高度互动的方式探索和分析这些数据。数据湖并不能取代数据仓库或其他记录系统。相反，通过存储可能拥有巨大价值的未提炼数据，数据湖其实是数据仓库等的有益补充。而数据湖的优势定位是为纯发现、数据科学和迭代创新提供一方天地。

数据编织

数据编织是一种新兴的数据管理设计概念，它能够在异质数据源之间实现数据增强、数据集成和数据共享。当前，它已经成为一种越来越流行的设计选择，可以简化企业机构的数据集成基础设施并创建一个可扩展的架构。

一旦获得普及，数据编织最终可大大减少人工数据整合任务，并增强（有时是完全自动）数据整合的设计和交付。然而，数据编织仍然是一个新兴的设计概念，目前还没有一个供应商能够以整合的方式提供数据编织所需的所有成熟组件。因此，企业机构最终必须决定，是否使用上述技术和更多的现代化技能（如主动主数据管理）来开发自己的数据编织。

此外，现在的数据编织技术组件也好坏参半，因此企业机构必须随着其用例的发展，谨慎地混合和匹配组装式的技术组件。

云中的数据和分析

目前，传统的数据和分析平台已经在进行日益复杂的分析方面受到了挑战。由于平台环境的复杂性、资源的增加和平台需要维护，企业内部解决方案的总成本也在持续增长。相比之下，云数据和分析通过新的服务、其简易性和敏捷性对数据进行了现代化处理，提供了更多的价值和功能，并需要新的分析类型，如流式分析、专门的数据存储和更多的自助友好型工具来支持端到端的部署。

而数据和分析的云部署—无论是混合云、多云还是跨云—必须考虑到许多数据和分析组件，包括数据摄取、数据集成、数据建模、数据优化、数据安全、数据质量、数据治理、管理报告、数据科学和机器学习等方面。

高级分析技术即使用复杂的定量方法来产生传统商业智能（BI）方法不太可能发现的洞察，它涵盖了预测性、规定性技术和机器学习等人工智能技术。简言之：

• 分析和商业智能代表了开发洞察、报告和展示面板的基础或传统方式。
  
• 高级分析技术则是使用数据科学和机器学习技术来支持预测性和规范性模型。
  

虽然这两者对所有企业机构来说都有一定的意义，但整个市场正在发生变化。现在的技术不再专注于传统和单独的高级分析技术，而是具有可组合性，并可围绕着不同的角色和人物（从想要自助服务功能的业务角色到寻求编程和工程的高级分析角色）进行组织。

增强分析是指使用机器学习/人工智能技术来改变从分析中获得洞察的开发、使用和共享方式，它包括自然语言处理和对话界面，允许没有高级技能的用户与数据和洞察信息进行互动。

高级分析技术可帮助高层领导者及时且具创新性地提出和回答更复杂和具有挑战性的问题，并通过复杂而巧妙的机制解决问题（解释事件、支持和自动化决策并采取行动），为更好的决策创造基础。

与传统分析技术不同，高级分析技术可以利用不同的数据输入类型和来源。在某些情况下，还可以创建全新的数据，所以高级分析技术需要一个严格的数据治理战略以及对于所需基础设施和技术的计划。例如，数据湖可以用来管理原始形式的非结构化数据。 (详见 “数据和分析技术的未来前景如何?”)

高级分析技术还可以为数据和分析领导者提供越来越多的机遇，以加速数据和分析技术的成熟进程和使用频率，以推动企业做出更明智的商业决策、实现更优化的决策成果。为此，衡量数据和分析战略和运营模式的当前和预期状态，对于抓住商业机遇至关重要。

所有企业机构都在广泛使用海量数据，虽然不是所有的数据都会用于分析，但没有数据，分析就寸步难行。数据、其所有使用案例以及分析数据所需的技术存在于企业的方方面面，这就解释了企业机构和供应商对“数据和分析”（或“数据分析”）一词的不同使用方法。

“数据”意味着或应该意味着该数据在业务应用和系统中的运营使用，例如核心银行业务、企业资源规划和客户服务。“分析”（或一些人称之为“数据和分析”）则指的是数据的分析性使用案例，通常发生在交易发生后等下游端。

而分析又包括四种技术：

描述性分析

描述性分析使用商业智能（BI）工具、数据可视化和展示面板来回答：发生了什么？ 或正在发生什么？例如，采购部门可以回答的问题有：上个季度我们在商品X上的花费是多少？ 以及，谁是我们商品Y的最大供应商？

诊断性分析

诊断性分析需要更深入的分析和数据挖掘能力来回答：为什么会发生X？例如，销售领导者可以使用诊断性分析来确定那些能按计划完成配额的销售人员的行为。

预测性分析

预测性分析通常涉及概率，可用于预测一段时间内的一系列结果（即预报）或突出与多种可能发生的结果有关的不确定性（即模拟）。它可以告诉我们应该做出什么样的预期，以回答：可能发生什么？然而，预测性分析并不会回答“应该怎么做？”等其他问题。

预测性分析需要使用预测性建模、回归分析、预报、多变量统计、模式匹配和机器学习（ML）等技术。

规范性分析

规范性分析意在计算实现或影响结果的最佳方式，旨在提出行动建议。当与预测性分析相结合时，规范性分析自然而然地就会借鉴和扩展预测性分析获得的洞察，以回答以下问题：应该做什么？ 或者，我们可以做什么来使特定的结果发生？

规范性分析包括基于规则的方法（以结构化的方式纳入已知的知识）和优化技术（传统上由运筹学小组使用，即在约束条件下寻找最佳结果，以产生可执行的行动计划），需要使用图形分析、模拟、复杂事件处理和推荐引擎等技术。(详见 “什么是高级分析技术?”)

结合预测性和规范性分析技术往往是解决业务问题和实现更明智决策的关键第一步。了解不同分析技术的潜在用例，对于确定贵企业机构需要的角色和能力、基础设施和技术，以实现真正的数据驱动至关重要。而当四种核心分析技术与人工智能（AI）增强相融合时，数据驱动能力将更加强大。

几十年来，“大数据” 一词一直被用来描述高容量、高速度、种类多以及其他极端条件的数据词汇。然而，对于企业来说，大数据时代是风险和机遇并存的。具体来说，数据流量（尤其是随着互联网的使用和计算能力的演变）的爆炸性增长为改善决策提供了丰富的洞察，但如何存储、管理和分析大数据，又为企业机构带来了极大的挑战。

大多数企业机构已经找到了从大数据中获取商业智能的方法，但大多数在大规模管理和分析多样化和广泛内容（包括音频、视频和图像资产）方面存在困难，特别是随着数据源的增长和变化，洞察的获取越来越需要高级分析技术的支持。

当前，先进的企业机构不再区分管理、治理和从非大数据和大数据中获得洞察的工作，当下一切都是围绕数据展开的工作。而且，这些企业机构也正在积极寻求新型的数据和分析技术，并在不同数据的组合中寻找潜在关系，以改善他们的业务决策、流程和结果。

例如，合成数据需要对现实世界的数据使用抽样技术或创建模拟场景才能加以利用。在模拟场景中，模型和流程相互作用，还可创造出不直接取自现实世界的全新数据。因此，合成数据对建立在数据集（这些数据集不包括商业用户了解的可能的特殊条件，即使是远程的）上的机器学习最有帮助。而且，这样的数据仍然需要用来帮助训练这些机器学习模型。

新冠疫情和其他业务中断事件也加速了在广泛用例中使用更多数据类型的需求（特别是当历史大数据不太能够作为未来决策的基础时）。对数据来源、数据质量、偏见和隐私保护的担忧也影响了大数据的收集，因此，被称为“小数据”和“宽数据”的新方法正在涌现。

宽数据能够对各种大小型数据源，包括高度组织化的大部分定量（结构化）数据和定性（非结构化）数据，进行数据分析和协同。而小数据使用一系列的分析技术，可通过较少的数据，得出有用的洞察信息。

在Gartner，我们现在还使用 X-analytics这个词来统称小数据、宽数据以及大数据，甚至所有种类的数据。但我们预计，到2025年， 70%的企业机构都将被迫把重点从大数据转向小数据和宽数据，以便更有效地利用现有的数据，方法要么是通过减少所需的数据数量，要么就是通过从非结构化、多样化的数据源中提取更多价值。(见 “什么是高级分析技术？”)

上述预测以及其他对数据和分析演变的预测提供了重要的战略规划假设，可优化数据和分析的愿景和交付。