OpenZiti / LLM-Gateway

概览

NetFoundry LLM Gateway 是一个 OpenAI 兼容的零信任 API 代理，通过 OpenZiti 实现身份认证、端到端加密与多模型后端语义路由。

核心特性

• 单二进制部署：纯 Go 编写，仅需一个可执行文件和 YAML 配置，无数据库或中间件依赖
• 多提供商透明路由：自动按模型名分发请求至 OpenAI、Anthropic、Ollama、vLLM 等兼容后端，并内置 Anthropic 消息格式转换
• 流式与安全支持：完整 SSE 流式响应，结合虚拟 API 密钥、基于身份的访问控制及 OpenZiti 加密隧道

适用场景

面向需统一接入异构 LLM 服务、同时满足合规性与网络隔离要求的开发者与平台运维人员。