searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

Higress简介

2024-12-11 08:57:54
8
0

一、什么是Higress

Higress是一款基于Istio和Envoy内核构建的云原生API网关,它不仅继承了Istio和Envoy的强大功能,还在此基础上进行了创新和扩展。Higress由阿里巴巴集团内部实践沉淀而来,旨在解决传统网关在长连接业务和gRPC/Dubbo负载均衡方面的不足,提供更高效、更稳定的服务。

二、核心优势

1. 生产级别的稳定性

Higress源自阿里巴巴多年的生产环境验证,能够支持每秒数十万级的请求量,满足大规模场景的需求。它彻底摆脱了Nginx reload引起的流量抖动问题,配置变更毫秒级生效且业务无感,特别适合长连接业务场景。

2. 易于扩展

Higress提供了丰富的官方插件库,覆盖AI、流量管理、安全防护等常用功能,满足90%以上的业务场景需求。主打Wasm插件扩展,通过沙箱隔离确保内存安全,支持多种编程语言,允许插件版本独立升级,实现流量无损热更新网关逻辑。

3. 安全易用

Higress基于Ingress API和Gateway API标准,提供开箱即用的UI控制台,WAF防护插件、IP/Cookie CC防护插件开箱即用。支持对接Let’s Encrypt自动签发和续签免费证书,并且可以脱离K8s部署,一行Docker命令即可启动,方便个人开发者使用。

4. 流式处理

Higress支持真正的完全流式处理请求/响应Body,Wasm插件方便地自定义处理SSE(Server-Sent Events)等流式协议的报文。在AI业务等大带宽场景下,可以显著降低内存开销。

使用场景

1. AI网关

Higress能够用统一的协议对接国内外所有LLM模型厂商,具备丰富的AI可观测、多模型负载均衡/fallback、AI token流控、AI缓存等能力。

2. Kubernetes Ingress网关

Higress可以作为K8s集群的Ingress入口网关,并且兼容了大量K8s Nginx Ingress的注解,可以从K8s Nginx Ingress快速平滑迁移到Higress。支持Gateway API标准,支持用户从Ingress API平滑迁移到Gateway API。

3. 微服务网关

Higress可以作为微服务网关,能够对接多种类型的注册中心发现服务配置路由,例如Nacos, ZooKeeper, Consul, Eureka等。并且深度集成了Dubbo, Nacos, Sentinel等微服务技术栈。

4. 安全防护网关

Higress可以作为安全防护网关,提供WAF的能力,并且支持多种认证鉴权策略,例如key-auth, hmac-auth, jwt-auth, basic-auth, oidc等。

应用案例

Higress在AI领域有着广泛的应用,例如支撑了通义千问APP、百炼大模型API、机器学习PAI平台等AI业务。同时服务国内头部的AIGC企业(如零一万物),以及AI产品(如FastGPT)。

0条评论
作者已关闭评论
k****n
6文章数
0粉丝数
k****n
6 文章 | 0 粉丝
k****n
6文章数
0粉丝数
k****n
6 文章 | 0 粉丝
原创

Higress简介

2024-12-11 08:57:54
8
0

一、什么是Higress

Higress是一款基于Istio和Envoy内核构建的云原生API网关,它不仅继承了Istio和Envoy的强大功能,还在此基础上进行了创新和扩展。Higress由阿里巴巴集团内部实践沉淀而来,旨在解决传统网关在长连接业务和gRPC/Dubbo负载均衡方面的不足,提供更高效、更稳定的服务。

二、核心优势

1. 生产级别的稳定性

Higress源自阿里巴巴多年的生产环境验证,能够支持每秒数十万级的请求量,满足大规模场景的需求。它彻底摆脱了Nginx reload引起的流量抖动问题,配置变更毫秒级生效且业务无感,特别适合长连接业务场景。

2. 易于扩展

Higress提供了丰富的官方插件库,覆盖AI、流量管理、安全防护等常用功能,满足90%以上的业务场景需求。主打Wasm插件扩展,通过沙箱隔离确保内存安全,支持多种编程语言,允许插件版本独立升级,实现流量无损热更新网关逻辑。

3. 安全易用

Higress基于Ingress API和Gateway API标准,提供开箱即用的UI控制台,WAF防护插件、IP/Cookie CC防护插件开箱即用。支持对接Let’s Encrypt自动签发和续签免费证书,并且可以脱离K8s部署,一行Docker命令即可启动,方便个人开发者使用。

4. 流式处理

Higress支持真正的完全流式处理请求/响应Body,Wasm插件方便地自定义处理SSE(Server-Sent Events)等流式协议的报文。在AI业务等大带宽场景下,可以显著降低内存开销。

使用场景

1. AI网关

Higress能够用统一的协议对接国内外所有LLM模型厂商,具备丰富的AI可观测、多模型负载均衡/fallback、AI token流控、AI缓存等能力。

2. Kubernetes Ingress网关

Higress可以作为K8s集群的Ingress入口网关,并且兼容了大量K8s Nginx Ingress的注解,可以从K8s Nginx Ingress快速平滑迁移到Higress。支持Gateway API标准,支持用户从Ingress API平滑迁移到Gateway API。

3. 微服务网关

Higress可以作为微服务网关,能够对接多种类型的注册中心发现服务配置路由,例如Nacos, ZooKeeper, Consul, Eureka等。并且深度集成了Dubbo, Nacos, Sentinel等微服务技术栈。

4. 安全防护网关

Higress可以作为安全防护网关,提供WAF的能力,并且支持多种认证鉴权策略,例如key-auth, hmac-auth, jwt-auth, basic-auth, oidc等。

应用案例

Higress在AI领域有着广泛的应用,例如支撑了通义千问APP、百炼大模型API、机器学习PAI平台等AI业务。同时服务国内头部的AIGC企业(如零一万物),以及AI产品(如FastGPT)。

文章来自个人专栏
Higress
1 文章 | 1 订阅
0条评论
作者已关闭评论
作者已关闭评论
0
0