企业解决方案高并发 AI

大规模 AI 应用与推理 API,稳定可达

ZeroNews 统一完成内网 LLM HTTPS 公网发布,SSE 长连接稳定透传,鉴权与观测在网关落地

高并发 SSE 连接按租户 / API Key 限流Bearer Token 鉴权
并发会话对话 #2841SSE · 流式中对话 #2838API · 排队对话 #2835SSE · 流式中对话 #2829WebhookOpen WebUIstreaming总结这份技术方案…已识别 3 个风险点,正在输出发送消息…经 ZeroNews 统一发布 · SSE 不断流https://aichat.hn.takin.cc

LLM平台上线发布,最难回避的问题

Dify、Open WebUI 与 vLLM 分层上线时,应用发布、SSE 长连接、公网暴露面与安全防护往往相互叠加——规模越大,风险越集中

平台分层发布配置繁琐

应用层(Dify、Open WebUI)与推理层(vLLM / Ollama)多部署在内网,分层对外发布时域名、证书与路由各自维护,上下层联调成本高。

SSE 流式连接占用久

Chat 流式输出依赖长时间保持连接,并发用户增加时连接数持续占用,代理超时或资源耗尽易导致断流与服务不可用。

公网暴露面过大

Web 对话界面、OpenAI 兼容 API 与 Dify Webhook 多点直曝公网,攻击入口分散,难以统一收敛与管控。

缺少安全防护机制

入口无统一鉴权、限流与访问审计,API Key 泄露、恶意刷量与未授权访问难以及时拦截与追溯。

统一流量入口,让内网 LLM 栈安全可达

面向内网部署的 Dify、Open WebUI 与 vLLM,ZeroNews 以无侵入方式收拢 HTTPS 发布、SSE 流式转发与安全治理,无需各自直曝公网

上线、透传、防护、观测,一次具备

从分钟级发布到 SSE 不断流,再到入口收敛与访问可追溯

内网分层,一条命令发布

应用层与推理层保持内网部署,ZeroNews 提供统一 HTTPS 入口,免 Nginx、免证书、免路由拆分。

流式长连接稳定透传

针对 Chat 流式输出优化保活与转发,满足高并发 SSE 连接不断流,避免代理超时导致对话中断。

单点网关,收敛暴露面

Web 界面、推理 API 与 Webhook 统一经网关对外,结合路由白名单,将业务暴露面收敛到指定路由 Path。

入口鉴权、限流与审计

ZeroNews 的 BasicAuth 功能在 API 零改造的情况下实现接口鉴权,滥用请求在到达内网前即被拦截。

零网络改造,分钟级上线

无需公网 IP 与端口映射,简单几步即可发布内网服务;同时提供 Skill,让 Agent 也能自动完成应用发布。

全链路访问可观测

推理请求、SSE 连接与 Webhook 回调统一日志审计,支撑业务访问流量统计与监控。

在网关层统一落地流量治理安全策略

无需改造 Open WebUI、Dify 或 vLLM,在 ZeroNews 入口叠加 IP 黑白名单、路由白名单、BasicAuth 与地址围栏,未授权流量在到达内网前即被拦截

IP 黑白名单

对授权的服务商/合作伙伴开放IP白名单访问,限制访问范围。

路由白名单

仅开放 Ollama 指定 Path(如 /v1/chat/completions、/api/chat),收敛 Web 与 API 暴露面,减少攻击面。

BasicAuth

在网关层针对 API 接口启用 HTTP Basic 认证,应用零改造即可获得入口级账号密码保护。

地址围栏

按国家或地区限制访问来源,不合规地域的请求在网关层直接拒绝。

三步把 AI 应用发布到公网

推荐从命令行开始:安装客户端 → 启动服务 → 创建隧道。也可在 Cursor / Claude 里用 Agent Skill 对话完成

终端三步完成客户端安装、启动与隧道创建,最快拿到公网入口。

安装并登录客户端

bash
curl -SLk https://download.zeronews.cc/linux/zeronews-install.sh | sh -s installzeronews authtoken <YOUR_AUTH_TOKEN>

启动客户端服务

bash
zeronews start# 或:zeronews service start

映射本地 AI 应用端口

bash
zeronews add https --port=3000 --domain=ai-preview# → https://ai-preview.zeronews.cc

命令行适合脚本化部署与运维自动化;Agent Skill 适合在 Cursor、Claude 等 AI 代理中用自然语言完成发布与状态检查。

AI 应用场景的最佳实践

Open WebUI、Dify 与 Ollama 保持内网部署,通过 ZeroNews 统一发布 HTTPS 入口,按需叠加路由白名单与安全策略

Open WebUI 对话界面的公网发布

Open WebUI 与 Ollama / vLLM 后端同处内网部署,仅需映射 Open WebUI Web 端口即可获得稳定的 HTTPS 对话入口,SSE 流式输出经网关透传不断流。

用户收益

  • 对话界面与推理后端分层部署,网关统一收敛暴露面
  • 针对 Chat 流式连接优化保活,超长请求/高并发下避免代理超时断流
  • 可叠加 BasicAuth 与 IP 策略,限制公网访问范围
  • 统一HTTPS 入口,用户无需公网IP及域名

准备好发布你的 LLM 应用了吗?

进入控制中心创建隧道,为 Open WebUI、Dify 或 vLLM 推理服务分配稳定、可治理的公网入口