挑战 数字时代大数据管理 策略和最佳实践 b b (数字时代的挑战)

摘要

本文从大数据定义出发，探讨大数据管理形成的数据资产的数字孪生，所需要的战略、技术架构，提出创新的数据湖架构，从而有大数据的生命周期概念，进一步探讨数字经济下的用户体验和贴身管家式的的深度数据服务的基本内容与模式。

关键词

大数据、大数据管理的战略、大数据管理的技术架构、大数据生命周期

引言

智能制造与工业互联网本质是数据驱动的创新生产模式和商业模式的融合，在产品市场需求获取、产品研发、生产制造、设备运行、市场服务直至报废回收的产品全生命周期过程中，甚至在产品本身的智能化方面。而数据驱动的核心需要大数据，大数据管理提供对有意义的数据进行专业化处加工能力，实现数据的增值和服务模式的创新。

1. 大数据时代来临

大数据时代的到来首先由数据丰富度决定的。首先是社交网络兴起，大量的UGC内容、音频、文本信息、视频、图片等非结构化数据出现。工业物联网的数据量更大，新一代信息技术能更准确、更快地收集用户生产运营的信息，消费者越来越希望品牌能直观地交付个性化、富有情感的数字体验。数字革命和不断演变的消费者行为助推这一趋势，大数据管理、人工智能、语音技术和增强现实等前沿创新技术的崛起，使我们能够设计出更加灵敏、精准和无缝的数字服务。从数据量和信息技术的创新来说，已进入大数据管理的数字经济时代。

2. 中国大数据市场趋势

从中国大数据市场趋势来看，2023年将达到224.9亿美元的规模，未来五年CAGR复合增长率为23.5%，201，大数据是需要新处理模式，具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产3）。而工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后、服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称，工业大数据以产品数据为核心，极大延展了传统工业数据范围，还包括工业大数据相关技术和应用4）。

4. 大数据管理的战略与技术架构

从技术角度，大数据与云计算的关系相辅相成的。大数据采用分布式架构，在对海量数据进行分布式数据挖掘，需要依托云计算的分布式处理的特点。大数据就是新一代信息技术和互联网发展到现今阶段的特征，在以云计算为代表的技术创新大幕的衬托下，更加方便的收集和数据利用，通过各种行业、工艺、管理应用的创新，大数据开始为社会创造价值同时形成迭代效应，衍化出新商业模式。工业大数据具备双重属性：价值属性和产权属性。一方面，通过工业大数据分析等关键技术能够实现设计、工艺、生产、管理、服务等各个环节智能化水平的提升，满足用户定制化需求，提高生产效率并降低生产成本，为企业创造可量化的价值；另一方面，这些数据具有明确的权属关系和资产价值，企业能够决定数据的具体使用方式和边界，数据产权归企业所有，这为企业真正掌控数据、创造价值提供了基础。

大数据管理的战略和技术架构是建立在对大数据特征的正确认识基础之上的。一般来说，大数据管理的战略应包括：

1. 数据治理战略：数据治理战略是确保大数据管理的成功基础，它需要明确大数据的治理目标、治理范围、治理原则、治理组织、治理流程和治理工具等。
2. 数据技术架构战略：数据技术架构战略是实现数据治理战略的技术基础，它需要明确大数据的技术架构、技术路线、技术选型和技术实施等。
3. 数据应用战略：数据应用战略是实现大数据管理的最终目的，它需要明确大数据的应用场景、应用目标、应用模式和应用效果等。

大数据管理的技术架构一般分为三层：数据采集层、数据处理层和数据应用层。数据采集层负责采集来自各种数据源的数据，数据处理层负责对采集的数据进行清洗、转换、集成和建模，数据应用层负责提供数据分析、数据挖掘和数据可视化等服务。

为了实现大数据的管理，需要采用创新的数据湖架构。数据湖是一种新的数据存储和管理方式，它可以存储多种类型的数据，包括结构化数据、半结构化数据和非结构化数据。数据湖可以为大数据管理提供以下优势：

1. 数据集中化：数据湖可以将来自不同数据源的数据集中到一个中央存储库中，从而为数据分析和数据挖掘提供了便利。
2. 数据灵活性：数据湖可以支持多种类型的数据，这为大数据管理提供了更大的灵活性。
3. 数据可扩展性：数据湖可以随着数据的增长而轻松扩展，这为大数据管理提供了可扩展性。
4. 数据低成本：数据湖可以采用低成本的存储技术，这为大数据管理提供了低成本的解决方案。

5. 大数据的生命周期

大数据生命周期是一个从数据采集到数据使用再到数据销毁的完整生命周期。大数据的生命周期一般分为以下几个阶段：

1. 数据采集：数据采集阶段是指从各种数据源采集数据。
2. 数据处理：数据处理阶段是指对采集的数据进行清洗、转换、集成和建模。
3. 数据存储：数据存储阶段是指将处理后的数据存储在数据湖或数据仓库中。
4. 数据分析：数据分析阶段是指对存储的数据进行分析和挖掘。
5. 数据可视化：数据可视化阶段是指将分析结果可视化，以便于理解和决策。
6. 数据使用：数据使用阶段是指将分析结果用于各种业务场景。
7. 数据销毁：数据销毁阶段是指将不再使用的数据销毁。

大数据的生命周期管理是确保大数据管理成功的关键，它需要对大数据的生命周期各个阶段进行有效的管理。大数据的生命周期管理包括以下几个方面：

1. 数据质量管理：数据质量管理是确保大数据质量的基础，它需要对大数据的质量进行监控和治理。
2. 数据安全管理：数据安全管理是确保大数据安全的基础，它需要对大数据的安全进行保护和管理。
3. 数据隐私管理：数据隐私管理是确保大数据隐私的基础，它需要对大数据的隐私进行保护和管理。
4. 数据合规管理：数据合规管理是确保大数据合规的基础，它需要对大数据的合规进行管理和遵守。

6. 数字经济下的用户体验与深度数据