全部文章Ta的评论
- 本方案提出一种支持多路由的异地多活系统,将中心化业务也分配路由,同时支持多种分区路由。这样中心化业务变成了一种特殊的单元化业务,一旦发生故障可以随时将流量切换至正常的数据中心,恢复业务。此外也可以对无法兼容的多种业务实体各自定义不同的路由规则,实现业务的去中心化处理,提高系统的可用性和扩展性。唐****律2024-09-3050
- 目前市面上已有很多链路跟踪的方案了,但是基本套路都是先通过监听调用过程,上报调用日志,然后通过日志数据分析,得到用户请求的调用链路。这种方法的问题在于需要大量的高性能的日志存储服务、需要打通用户实例应用与日志存储服务之间的网络、需要额外消耗日志数据的传输成本。这种方案在单租户应用上使用问题不大,但是在云平台多租户上使用,或者对于某些小型用户来说,使用成本就不小了。本方案提出一种在用户应用本地进行计算和分析、无需额外存储的RPC调用链路跟踪的方法,减少了使用成本,满足了大多数场景的业务需求。唐****律2024-08-12301
- 唐****律2024-05-30190
- 在异地双活场景下,不同地域的业务系统需要冗余部署,各自可以独立提供业务服务,以便在某个地域发生灾难性故障的时候,其它地域的服务能迅速把业务接管下来,因此不同地域的RPC集群均要求可以独立提供服务。但是又因为异地双活的场景,对数据进行了分区吗,不同的数据必须在不同的地域进行处理,避免写冲突,所以又要求RPC集群之间要可以互相访问。由于上述原因,所以需要对不同地域的RPC集群形成一个大集群,使得各个RPC服务都可以根据业务需要进行跨地域的访问。 本方案提出一种通过代理用户注册逻辑并使用全局管控中心来协调服务注册过程,实现跨集群的RPC服务系统,无须用户额外部署数据同步服务,在数据中心增加的情况下也不会增加交互逻辑的复杂程度。唐****律2024-06-2530
- 唐****律2024-04-0740
- 本方案提出一种通过在同步数据中附加同步点位的方式,减少不必要的数据丢失。由于崩溃的是中心节点,所以应尽量避免丢失叶子节点的数据。因为跨地域同步中原本就需要提供数据来源标签,避免数据环回同步问题,所以在这个数据来源标签中再附加同步点位。一旦需要进行中心节点的切换,建立同步链路时,根据新的中心节点中记录的最新数据点位重建同步链路即可。唐****律2024-04-0750
- 顺序消息的本质,是生产消息的时候按顺序写入队列,同时消费消息的时候从队列中顺序消费。为了提升性能和并发能力,消息队列会对同一Topic的消息进行分区,并由用户提供一个分区算法来决定消息所属的分区,因此消息消费的时候只在同一个分区上有序。对于跨集群消息队列同步来说,由于消息源集群和消息目标集群是2个独立的集群,因此它们在对消息进行数据分区的时候,无法保证分区数量一致,另一方面因为环境的不同(算法中可能会引用其它外部变量)所以分区算法也无法同步,所以当一条顺序消息从一个集群同步到另一个集群的时候,会导致消息顺序的丢失。 本方案提出一种基于源分区标识对消息按目标分区状态进行重新分区的方法,实现跨集群的顺序消息同步。唐****律2024-02-2810
- 唐****律2024-01-10564
- SQL特征搜索是数据库产品中使用比较频繁的一个技术,在某些产品中的调用频率非常高,参考数据是一个普通SQL可能存在20个以上的关键字,而数据库流量可能达到每秒50万个请求以上。因此提升SQL特征搜索的效率是提升数据库产品质量中非常重要的一项工作,它可以直接降低性能损耗、减少内存占用、减少请求处理时间,提升产品的整体性能。 本方案提出一种提升SQL特征搜索效率的方法,通过预先对SQL进行词法分析,识别出SQL中的关键字和标识符,然后直接根据关键字和标识符的偏移量进行hash值计算,再在目标特征库中进行匹配,这样一来时间复杂度降到了最低,并且避免了大量的堆内存分配。唐****律2023-12-0590
- 针对以下几种场景:1、数据库代理层的客户端提交一些耗时长较长的数据处理请求,同时后端数据库活动连接数量超过警戒值;2、数据库代理层的客户端提交的同一类型的请求数量占比过大,同时系统处理能力达到警戒值(处理线程池空闲线程占比较小);3、数据库代理层的客户端提交的各种类型的请求数量较为均匀,但是系统处理能力达到警戒值(处理线程池空闲线程占比较小)。以上的场景都有可能导致数据库系统处理能力下降甚至失去响应。 通过对以上指标的实时计算,在数据库代理服务中针对场景1进行前端拦截+后端按耗时按比例进行销毁以保持一个数据库性能低消耗的水平;针对场景2直接拦截新增的对应类型的请求以保持同类型请求数量占比保持在警戒线以内,直到实时计算结果正常为止,避免资源耗尽;针对场景3拦截新增的耗时在平均水平以上的类型请求,直到实时统计结果正常为止,首先保证资源占用较少的请求的可用性,以保证数据库的处理能力唐****律2023-03-1510
- 本方案提出一种通过混搭同城双活和异地多活的架构来解决上述问题,在处理本地机房级故障时使用同城双活的方式去恢复业务,而对于地域级故障时则使用异地多活的方式去恢复业务,对于异地双活情况概括描述为2地4中心架构,对于异地多活情况则为N地2N中心架构。唐****律2023-11-09300
- 本方案在代理服务中为每个节点的每一种状态创建一个连接池,在每次请求之前,系统都会根据请求的信息和连接的状态选择一个合适的连接池,并从中获取一个连接进行操作。这样,用户拿到连接后,不需要进行状态同步,直接就可以复用连接进行操作,一个代理服务只要创建少量的数据库连接,即可支持大量的客户端请求。唐****律2023-10-2730
- SQL改写是数据库产品中使用比较频繁的一个技术,在大多数产品中的调用频率也非常高,因此提升SQL改写的效率是提升数据库产品质量中非常重要的一项工作,它可以直接降低性能损耗、减少内存占用、减少请求处理时间,提升产品的整体性能。 本方案以提高SQL改写性能为目标,从缓存方向出发,考虑如何提高缓存命中率,以减少不必要的性能损耗。考虑到参数化SQL在应用中的使用频率,使用其来作为缓存key是再适合不过了。因此处理过程中预先对SQL进行词法分析,分解为参数化SQL和参数列表,并以参数化SQL为key对抽象语法树进行缓存。如果缓存未命中,则对参数化SQL依次进行词法分析、语法分析、改写处理,最后在改写完毕之后,再结合先前记录的参数生成目标SQL,即完成完整的SQL改写过程。唐****律2023-09-18370
- 在用户通过代理层使用数据库的时候,如果提交了一条只读查询,那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务,那么在用户提交或者回滚事务之前,该连接不能归还到连接池,大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中,只读查询语句的查询结果是不可重复的,这时如果事务中没有其它写操作,那么是否启动事务,对于用户实际使用是没有影响的,这样则产生了不必要的事务,增加了数据库连接占用的时间,降低了数据库连接的利用率。 本发明提出一种通过延迟启动事务的方法,减少不必要的连接占用时长,提升数据库连接利用率,进而提升数据库的整体性能。唐****律2023-09-1890
- 对于一些数据库系统开发商来说,研发的数据库产品语法各有特色,不一定能完全兼容其它数据库产品,这时如果用户需要将原有的应用系统从旧的数据库迁移到新的数据库时,需要对这个迁移过程进行评估,以避免出现因语法不兼容的问题导致迁移后无法使用。 本方案提出一种通过监控网卡流量方式,根据对应的数据库协议解析出来用户所提交的请求,并从中提取SQL用以进行兼容性评估。唐****律2023-07-19220
- 当用户的系统需要从一个数据库迁移到另外一个数据库的时候,需要对数据库的命名空间进行兼容性处理,以避免数据操作错误。以MySQL系统迁移到PostgreSQL数据库为例,MySQL可以进行跨database的操作,而PostgreSQL则无法进行跨database的操作,这个时候如果MySQL用户存在跨database操作的需求,例如将数据归档存储到其它数据库,则默认命名空间行为无法实现。 本方案提出一种建立数据库命名空间映射关系的方式,在创建连接以及建立数据结构、增删改查、响应的时候对命名空间按映射关系进行修正,以达到命名空间兼容的目标。唐****律2023-07-1910
- 本方案提出一种将脚本语言引擎集成到API网关中的方法,让用户可以使用脚本语言对API进行编排,大幅增加了API编排的灵活性和API的复用能力,同时基于功能模块化机制对API网关的扩展能力大幅增强。唐****律2023-05-15411
- 在一些跨地域管控业务中,需要对多个地域的服务进行同时的变更,例如异地双活业务切流,需要同时变更2个地域的路由规则,将某个地域的业务转移到另外一个地域中。 跨地域管控的问题在于,用户VPC是封闭的,网络通道是单向的,一般正常情况下是无法从VPC外部对内部服务进行访问的。 本方案提出一种基于预置逆向网络代理服务的方式,实现公有云上管控中心与用户VPC直通的跨地域管控方法。唐****律2023-04-18470
- 针对以下几种场景:1、数据库代理层的客户端提交一些耗时长较长的数据处理请求,同时后端数据库活动连接数量超过警戒值;2、数据库代理层的客户端提交的同一类型的请求数量占比过大,同时系统处理能力达到警戒值(处理线程池空闲线程占比较小);3、数据库代理层的客户端提交的各种类型的请求数量较为均匀,但是系统处理能力达到警戒值(处理线程池空闲线程占比较小)。以上的场景都有可能导致数据库系统处理能力下降甚至失去响应。 通过对以上指标的实时计算,在数据库代理服务中针对场景1进行前端拦截+后端按耗时按比例进行销毁以保持一个数据库性能低消耗的水平;针对场景2直接拦截新增的对应类型的请求以保持同类型请求数量占比保持在警戒线以内,直到实时计算结果正常为止,避免资源耗尽;针对场景3拦截新增的耗时在平均水平以上的类型请求,直到实时统计结果正常为止,首先保证资源占用较少的请求的可用性,以保证数据库的处理能力唐****律2023-03-15280
共 20 条
- 1
页
没有更多了
个人简介
暂未填写公司和职务
暂未填写个人简介
暂未填写技能专长
暂未填写毕业院校和专业
个人成就
共发表过 20 篇文章
文章获得 6 次赞同
文章被浏览 362 次
获得 2 人关注
个人荣誉查看规则
有识之士
有目共赏
好评如潮
初出茅庐