天翼云大数据,大数据技术分析平台知识文档专栏是天翼云为开发者提供的互联网技术内容分享平台。内容涵盖大数据相关内容资讯。开发者在大数据专栏是可以快速获取到自己感兴趣的技术内容,与其他开发者们学习交流,共同成长。
给定很多线段,每个线段都有两个数[start, end],表示线段开始位置和结束位置,左右都是闭区间
基于pgspider+ postgres fdw+ cube.js+hasura graphql-engine的数据分析&&展示方案
一个简单任务场景,业务对账,同时需要备份请求的对账文件(sftp服务),所以使用了一个强大的支持 多种存储的工具rclone,然后定时自动同步到s3存储中,对于定时任务,使用jenkins(基于定时任务cron) 使用jenkins的好处是灵活可以随意配置,同时我们系统已经有了好多构建节点,具有冗余性
graphql 是比 比较方便的工具,但是数据导入也是一个比较重要的工具类似prisma包含一个seed 的功能,类似docker我们使用mysql 数据库的initdb.d,但是那个基本上就是添加在初始化的时候执行mutation 操作,一般数据是有限的,而且不是很方便(一般够用了)graphql-cli-load 可以方便的进行批量数据的导入,
influxdb 以及timescaledb 都是不错的时序数据库,timescaledb 团队提供了直接从influxdb 导入
materialize 是基于pg 开发的一个可以处理流式数据的平台,同时提供了强大的数据处理能力(也出现在了最新的技术雷达中)
dgraph 可以方便的进行大量的数据加载
我们可以直接从zip,tar,gzip 文件获取内容
我们在处理json 数据的时候很多时候会需要部分json 数据,一般的处理方式是jsonpath,jmeshpath ,jsonselectjson-mask 是另外一个不错的选择(很遗憾不是标准,目前只有js 的实现),而且json-mask 的好处是可以保留数据接口,以下是一个简单的学习
给定一个整数组成的无序数组arr,值可能正、可能负、可能0。给定一个整数值K,找到arr的所有子数组里,哪个子数组的累加和等于K,并且是长度最大的。返回其长度。
给你一个链表的头节点 head ,旋转链表,将链表每个节点向右移动 k 个位置。
给定一个二维数组matrix,其中的值不是0就是1,返回全部由1组成的子矩形数量。
给定一个非负数组arr,和一个正数m。 返回arr的所有子序列中累加和%m之后的最大值。
假设数组a和数组b为两组信号
安装栅栏。 在一个二维的花园中,有一些用 (x, y) 坐标表示的树。由于安装费用十分昂贵,你的任务是先用最短的绳子围起所有的树。只有当所有的树都被绳子包围时,花园才能围好栅栏。你需要找到正好位于栅栏边界上的树的坐标。
数据任务是怎么优化的?(数据倾斜,参数相关调节)
一个数组上共有 N 个点,序号为0的点是起点位置,序号为N-1 的点是终点位置。现在需要依次的从 0 号点走到 N-1 号点。
判断一个正整数是a的b次方,a和b是整数,并且大于等于2,如何求解?
假设有一个源源吐出不同球的机器,只有装下10个球的袋子,每一个吐出的球,要么放入袋子,要么永远扔掉。如何做到机器吐出每一个球之后,所有吐出的球都等概率被放进袋子里。
逻辑回归api介绍
2023-05-12 06:47:16
2023-02-27 09:14:47
2024-06-27 09:20:52
2022-11-08 07:33:08
2023-02-13 08:10:07
2023-02-27 09:14:47