- 在当今的信息化时代,Web服务器已成为企业和个人向外界展示信息、提供服务的重要平台。作为开发工程师,掌握搭建Web服务器的基本技能是不可或缺的。然而,搭建一个稳定、安全的Web服务器并非易事,需要做好充分的准备工作。本文将从多个角度出发,详细阐述搭建Web服务器所需做的准备,帮助读者顺利完成Web服务器的搭建。yooo2024-06-2860
- 天翼云TELDB提供的MongoDB数据库服务允许用户通过SHELL环境执行核心数据库操作。用户可以连接到MongoDB实例、选择和创建数据库、插入和查询文档、更新和删除数据、创建索引以优化查询。这些基本操作指南涵盖了MongoDB SHELL环境下的数据操作和管理任务,旨在帮助用户高效地使用天翼云TELDB的MongoDB服务进行数据存储和管理。l****n2024-06-2120
- Doris 通过多种查询优化策略,如 Join 优化、谓词下推、运行时过滤,字典优化,算子优化等,来提供高性能的查询能力。来提升整体性能。l****n2024-03-12210
- 随着云计算和大数据技术的快速发展,数据库的存储和处理需求也变得越来越庞大。在云电脑环境下,如何实现高效的数据存储和处理成为了一个重要的技术挑战。本篇博客将分享一些关于如何实现高效的数据存储和处理的技术干货,并给出具体操作的过程详解。二进制诗人2024-01-1110
- 数据作为学校的重要资产,对数据的利用已经成为未来教学、学生管理、校务运行等和决策的关键手段,需拓展数据应用,让数据活起来,使全校师生从中得到便利和价值。但开放教育行业的数字化转型,仍面临不少问题。龙****笑2023-12-14130
- hive删除数据需要几个参数设置以及对表的设置b****n2023-12-0650
- 数据治理实施路径通常分为六步走: 第一步:基础调研 第二步:建立数据治理组织制度 第三步:业务流梳理 第四步:数据标准制定 第五步:数仓开发 第六步:数据应用与服务刘****鑫2023-11-27120
- 本文介绍了在不同的join场景中谓词下推的应用l****n2023-11-0380
- 文中从数据治理的关注点,评估维度,校验方法及监控规则几个维度,介绍数据治理,在保证数据质量的目标下,开展治理工作l****n2023-10-31570
- 数据分桶是一种数据预处理技术,是一种将多个连续值分组为较少数量的“桶”的方法。jie洁杰2023-09-22130
- 企业和政府部门在使用数据过程中,往往面临着以下几类问题和痛点,而数据治理,就是从问题出发,通过平台工具、数据标准、数仓建模、数据开发、API开发等工具和方法,解决一系列数据问题,实现数据的高可用和高价值。刘****鑫2023-09-0140
- 本文介绍了spark-sql的常用优化手段和优化参数,主要的优化手段有自适应中reduce参数控制、合理设置单partition读取数据量、合理设置shuffle partition的数量、使用coalesce & repartition调整partition数量、使用broadcast join、开启Adaptive Query Execution(Spark 3.0)、文件与分区优化、CBO优化、hints优化、缓存表、group by优化、优化倾斜连接。徐****东2023-08-281290
- 随着数据量的不断增加,数据治理已经成为了企业管理里不可或缺的一环。数据治理可以帮助我们更好地进行数据的管理和使用,从而提升数据的质量和价值,同时也能够保证数据的安全和合规。通过设计数据资产健康度模型,进行数据资产健康度评分,成体系、可监控、闭环地展示数据治理过程中的现状、问题、以及治理效果等。“健康分”指标作为衡量数据资产健康度的北极星指标,通过健康分去识别存储、计算、安全、质量、规范等方面不合理的地方,并定位到特定的不合理特征项,最后针对每一个特征项提供相应的治理策略或建议。徐****东2023-08-25700
- 现如今,数据已经成为企业实现业务价值的关键。随着大数据技术的发展,企业对于数据的收集、分析和利用越来越重视。其中,数据资产化已经成为企业数据管理的重要趋势,它能帮助企业更好地发掘和利用数据中的价值,从而提升业务效率和优化决策。在组织中实施数据资产目录是一项战略举措,可以带来巨大的好处,包括改进决策、效率和合规性,以及成为事实来源以及数据起源的数据沿袭。徐****东2023-08-24270
- 为了更好地保护数据安全、提高数据管理效率、确保数据合规性,企业需要对数据进行分类分级,根据数据的密级和敏感程度制定不同的管理和使用策略,尽可能做到有差别和针对性的防护,避免敏感数据的防护不足,非敏感数据的过度防护。分类是依照数据的来源、内容和用途对数据进行分类。分级是按照数据的价值、内容的敏感程度、影响和分发范围不同对数据进行敏感级别划分。最终本文给出了数据分类分级的实施步骤,通过建立健全的数据分类分级体系,企业将能够更好地保护数据资产,提高数据管理效率,支持业务发展,并降低法律风险。徐****东2023-08-24440
- 在使用Hive的过程中,尤其是统计分析和数据分层清晰的场景下,有些自定义的业务场景使用自带函数无法实现,就需要借助自定义函数实现特有业务逻辑。此篇大概讲述下在hive里实现自定义函数: 根据图片的hash向量计算其汉明距离。不系舟2023-08-1640
- 本文主要介绍设计模式中的单例设计模式,采用Java编程语言一共介绍6种实现方式(饿汉式、懒汉式、枚举)并分析了每一种实现的优势和劣势,最后给出了每一种实现的应用场景。pancx2023-07-27160
- HiveSQL常见的内置函数李****慧2023-07-2760
- Doris建表流程x****m2023-07-27100
- 大家都知道,NoSQL 泛指非关系型的数据库, 强调Key-Value Stores和文档数据库的优点。那么Fusion就是滴滴自研分布式NoSQL的技术实践,完全具备对海量数据处理的高扩展能力和高吞吐能力。可以支持滴滴各业务线大规模数据量级。m****m2023-07-26190
- Doris插件机制介绍x****m2023-07-2690
- 本文主要介绍doris集群BE节点的故障排查处理过程。大古2023-06-131610
- Doris catalog和Databasex****m2023-06-0190
共 41 条
- 1
- 2
页
- 在当今的信息化时代,Web服务器已成为企业和个人向外界展示信息、提供服务的重要平台。作为开发工程师,掌握搭建Web服务器的基本技能是不可或缺的。然而,搭建一个稳定、安全的Web服务器并非易事,需要做好充分的准备工作。本文将从多个角度出发,详细阐述搭建Web服务器所需做的准备,帮助读者顺利完成Web服务器的搭建。
- 天翼云TELDB提供的MongoDB数据库服务允许用户通过SHELL环境执行核心数据库操作。用户可以连接到MongoDB实例、选择和创建数据库、插入和查询文档、更新和删除数据、创建索引以优化查询。这些基本操作指南涵盖了MongoDB SHELL环境下的数据操作和管理任务,旨在帮助用户高效地使用天翼云TELDB的MongoDB服务进行数据存储和管理。
- Doris 通过多种查询优化策略,如 Join 优化、谓词下推、运行时过滤,字典优化,算子优化等,来提供高性能的查询能力。来提升整体性能。
- 随着云计算和大数据技术的快速发展,数据库的存储和处理需求也变得越来越庞大。在云电脑环境下,如何实现高效的数据存储和处理成为了一个重要的技术挑战。本篇博客将分享一些关于如何实现高效的数据存储和处理的技术干货,并给出具体操作的过程详解。
- 数据作为学校的重要资产,对数据的利用已经成为未来教学、学生管理、校务运行等和决策的关键手段,需拓展数据应用,让数据活起来,使全校师生从中得到便利和价值。但开放教育行业的数字化转型,仍面临不少问题。
- 企业越来越重视数据资源的管理和应用。然而,信息孤岛和部门壁垒的存在成为了制约企业业务协同和智能决策的重要因素。我们可以采取以下思路:建立三维一体的数据治理体系,通过数据治理消除信息孤岛,促进企业业务协同和提高业务效率,实现企业的降本增效。
- hive删除数据需要几个参数设置以及对表的设置
- 数据治理实施路径通常分为六步走: 第一步:基础调研 第二步:建立数据治理组织制度 第三步:业务流梳理 第四步:数据标准制定 第五步:数仓开发 第六步:数据应用与服务
- 本文介绍了在不同的join场景中谓词下推的应用
- HUDI运维包括HUDI CLEAN、ARCHIVE等服务
- 文中从数据治理的关注点,评估维度,校验方法及监控规则几个维度,介绍数据治理,在保证数据质量的目标下,开展治理工作
- 本文简单介绍一下互联网中数据采集、数据转换、数据存储以及数据检索的流程
- 数据分桶是一种数据预处理技术,是一种将多个连续值分组为较少数量的“桶”的方法。
- PHP服务器环境搭建及配置
- 本文列举了hadoop yarn的常用命令,便于大数据开发人员查看yarn上的任务、日志、容器、队列等相关信息。
- 企业和政府部门在使用数据过程中,往往面临着以下几类问题和痛点,而数据治理,就是从问题出发,通过平台工具、数据标准、数仓建模、数据开发、API开发等工具和方法,解决一系列数据问题,实现数据的高可用和高价值。
- 本文简述的离线数仓的优化层面和优化手段,包含业务层面、模型层面、系统层面、代码层面、任务层面5个层面的优化手段,基本覆盖离线数仓的全部优化项。
- 本文介绍了spark-sql的常用优化手段和优化参数,主要的优化手段有自适应中reduce参数控制、合理设置单partition读取数据量、合理设置shuffle partition的数量、使用coalesce & repartition调整partition数量、使用broadcast join、开启Adaptive Query Execution(Spark 3.0)、文件与分区优化、CBO优化、hints优化、缓存表、group by优化、优化倾斜连接。
- Git 服务器:让团队合作更加高效
- 随着数据量的不断增加,数据治理已经成为了企业管理里不可或缺的一环。数据治理可以帮助我们更好地进行数据的管理和使用,从而提升数据的质量和价值,同时也能够保证数据的安全和合规。通过设计数据资产健康度模型,进行数据资产健康度评分,成体系、可监控、闭环地展示数据治理过程中的现状、问题、以及治理效果等。“健康分”指标作为衡量数据资产健康度的北极星指标,通过健康分去识别存储、计算、安全、质量、规范等方面不合理的地方,并定位到特定的不合理特征项,最后针对每一个特征项提供相应的治理策略或建议。
- 现如今,数据已经成为企业实现业务价值的关键。随着大数据技术的发展,企业对于数据的收集、分析和利用越来越重视。其中,数据资产化已经成为企业数据管理的重要趋势,它能帮助企业更好地发掘和利用数据中的价值,从而提升业务效率和优化决策。在组织中实施数据资产目录是一项战略举措,可以带来巨大的好处,包括改进决策、效率和合规性,以及成为事实来源以及数据起源的数据沿袭。
- 为了更好地保护数据安全、提高数据管理效率、确保数据合规性,企业需要对数据进行分类分级,根据数据的密级和敏感程度制定不同的管理和使用策略,尽可能做到有差别和针对性的防护,避免敏感数据的防护不足,非敏感数据的过度防护。分类是依照数据的来源、内容和用途对数据进行分类。分级是按照数据的价值、内容的敏感程度、影响和分发范围不同对数据进行敏感级别划分。最终本文给出了数据分类分级的实施步骤,通过建立健全的数据分类分级体系,企业将能够更好地保护数据资产,提高数据管理效率,支持业务发展,并降低法律风险。
- 在使用Hive的过程中,尤其是统计分析和数据分层清晰的场景下,有些自定义的业务场景使用自带函数无法实现,就需要借助自定义函数实现特有业务逻辑。此篇大概讲述下在hive里实现自定义函数: 根据图片的hash向量计算其汉明距离。
- 本文主要介绍设计模式中的单例设计模式,采用Java编程语言一共介绍6种实现方式(饿汉式、懒汉式、枚举)并分析了每一种实现的优势和劣势,最后给出了每一种实现的应用场景。
- HiveSQL常见的内置函数
- Doris建表流程
- 大家都知道,NoSQL 泛指非关系型的数据库, 强调Key-Value Stores和文档数据库的优点。那么Fusion就是滴滴自研分布式NoSQL的技术实践,完全具备对海量数据处理的高扩展能力和高吞吐能力。可以支持滴滴各业务线大规模数据量级。
- Doris插件机制介绍
- 本文主要介绍doris集群BE节点的故障排查处理过程。
- Doris catalog和Database
点击加载更多