一、什么是Higress
Higress是一款基于Istio和Envoy内核构建的云原生API网关,它不仅继承了Istio和Envoy的强大功能,还在此基础上进行了创新和扩展。Higress由阿里巴巴集团内部实践沉淀而来,旨在解决传统网关在长连接业务和gRPC/Dubbo负载均衡方面的不足,提供更高效、更稳定的服务。
二、核心优势
1. 生产级别的稳定性
Higress源自阿里巴巴多年的生产环境验证,能够支持每秒数十万级的请求量,满足大规模场景的需求。它彻底摆脱了Nginx reload引起的流量抖动问题,配置变更毫秒级生效且业务无感,特别适合长连接业务场景。
2. 易于扩展
Higress提供了丰富的官方插件库,覆盖AI、流量管理、安全防护等常用功能,满足90%以上的业务场景需求。主打Wasm插件扩展,通过沙箱隔离确保内存安全,支持多种编程语言,允许插件版本独立升级,实现流量无损热更新网关逻辑。
3. 安全易用
Higress基于Ingress API和Gateway API标准,提供开箱即用的UI控制台,WAF防护插件、IP/Cookie CC防护插件开箱即用。支持对接Let’s Encrypt自动签发和续签免费证书,并且可以脱离K8s部署,一行Docker命令即可启动,方便个人开发者使用。
4. 流式处理
Higress支持真正的完全流式处理请求/响应Body,Wasm插件方便地自定义处理SSE(Server-Sent Events)等流式协议的报文。在AI业务等大带宽场景下,可以显著降低内存开销。
使用场景
1. AI网关
Higress能够用统一的协议对接国内外所有LLM模型厂商,具备丰富的AI可观测、多模型负载均衡/fallback、AI token流控、AI缓存等能力。
2. Kubernetes Ingress网关
Higress可以作为K8s集群的Ingress入口网关,并且兼容了大量K8s Nginx Ingress的注解,可以从K8s Nginx Ingress快速平滑迁移到Higress。支持Gateway API标准,支持用户从Ingress API平滑迁移到Gateway API。
3. 微服务网关
Higress可以作为微服务网关,能够对接多种类型的注册中心发现服务配置路由,例如Nacos, ZooKeeper, Consul, Eureka等。并且深度集成了Dubbo, Nacos, Sentinel等微服务技术栈。
4. 安全防护网关
Higress可以作为安全防护网关,提供WAF的能力,并且支持多种认证鉴权策略,例如key-auth, hmac-auth, jwt-auth, basic-auth, oidc等。
应用案例
Higress在AI领域有着广泛的应用,例如支撑了通义千问APP、百炼大模型API、机器学习PAI平台等AI业务。同时服务国内头部的AIGC企业(如零一万物),以及AI产品(如FastGPT)。