采用standalone模式的flinkcdc接入数据，出现ck报错，排查得知是存储状态默认使用了内存存储，超出内存限制报错。因此改为，使用hdfs存储ck。

在数据驱动的时代，建立并落实数据标准和规范对企业至关重要。 然而，实际执行过程中常常面临各种挑战，尤其是如何调动全员积极性。 本文将揭示几个关键策略，助您更好地推动数据标准的落地实施。

企业越来越重视数据资源的管理和应用。然而，信息孤岛和部门壁垒的存在成为了制约企业业务协同和智能决策的重要因素。我们可以采取以下思路：建立三维一体的数据治理体系，通过数据治理消除信息孤岛，促进企业业务协同和提高业务效率，实现企业的降本增效。

Yarn 同时支持 memory 和 cpu 两种资源管理方式，本文列举了两种资源管理的相关参数。

本文列举了hadoop yarn的常用命令，便于大数据开发人员查看yarn上的任务、日志、容器、队列等相关信息。

本文简述的离线数仓的优化层面和优化手段，包含业务层面、模型层面、系统层面、代码层面、任务层面5个层面的优化手段，基本覆盖离线数仓的全部优化项。

本文介绍了spark-sql的常用优化手段和优化参数，主要的优化手段有自适应中reduce参数控制、合理设置单partition读取数据量、合理设置shuffle partition的数量、使用coalesce & repartition调整partition数量、使用broadcast join、开启Adaptive Query Execution（Spark 3.0）、文件与分区优化、CBO优化、hints优化、缓存表、group by优化、优化倾斜连接。

随着数据量的不断增加，数据治理已经成为了企业管理里不可或缺的一环。数据治理可以帮助我们更好地进行数据的管理和使用，从而提升数据的质量和价值，同时也能够保证数据的安全和合规。通过设计数据资产健康度模型，进行数据资产健康度评分，成体系、可监控、闭环地展示数据治理过程中的现状、问题、以及治理效果等。“健康分”指标作为衡量数据资产健康度的北极星指标，通过健康分去识别存储、计算、安全、质量、规范等方面不合理的地方，并定位到特定的不合理特征项，最后针对每一个特征项提供相应的治理策略或建议。

现如今，数据已经成为企业实现业务价值的关键。随着大数据技术的发展，企业对于数据的收集、分析和利用越来越重视。其中，数据资产化已经成为企业数据管理的重要趋势，它能帮助企业更好地发掘和利用数据中的价值，从而提升业务效率和优化决策。在组织中实施数据资产目录是一项战略举措，可以带来巨大的好处，包括改进决策、效率和合规性，以及成为事实来源以及数据起源的数据沿袭。

为了更好地保护数据安全、提高数据管理效率、确保数据合规性，企业需要对数据进行分类分级，根据数据的密级和敏感程度制定不同的管理和使用策略，尽可能做到有差别和针对性的防护，避免敏感数据的防护不足，非敏感数据的过度防护。分类是依照数据的来源、内容和用途对数据进行分类。分级是按照数据的价值、内容的敏感程度、影响和分发范围不同对数据进行敏感级别划分。最终本文给出了数据分类分级的实施步骤，通过建立健全的数据分类分级体系，企业将能够更好地保护数据资产，提高数据管理效率，支持业务发展，并降低法律风险。