返回技术专栏

从被动响应到主动预警:企业内网穿透运维的告警体系建设

ZeroNews 内网穿透平台的 Webhook 告警功能:它能自动检测三类异常 —— 客户端掉线、内网应用故障、隧道 / 域名被误删 —— 并立即通过 Webhook 推送到企业微信、飞书、钉钉等聊天工具,让运维在 IM 里第一时间收到提醒、快速处理,不用再等用户投诉后被动排查。

背景:别等用户投诉才发现挂了

企业通过内网穿透把 ERP、API、管理后台映射到公网,给出差员工或第三方用户访问, 访问正常时,一切都好,但是应用访问异常时,由于缺乏故障检测机制,往往已经持续异常很久——可能是 Client 离线内网服务异常,也可能是访问策略拦截,都需要事后去排查定位。

用户投诉才是告警的方式——业务已经严重受影响,事后才开始排查,对企业和团队的关键核心业务来说是不允许发生的,这要求内网穿透平台能做到 主动通知:如Client 掉线立刻知道、内网应用探测失败立刻知道、关键资源被删立刻知道,能第一时间帮助运维定位问题,解决问题,缩短异常问题处理的时间。

ZeroNews 的通知告警能力

ZeroNews 的Webhook 通知告警功能支持平台自动检测客户端离线、内网应用异常、关键资源删除等事件告警通知,采用 webhook 消息推送的方式,将告警事件推送到企业微信、飞书、钉钉等协作渠道,让运维在IM 里就能收到异常事件提醒——从【等业务方投诉才发现】变成【异常发生即通知、尽快定位处理】。

1.png

ZeroNews 通知告警解决什么问题

● 客户端离线导致应用不能访问 — 当客户端所在的设备故障/关机或客户端程序挂了时,不需要用户反馈说不能访问再去控制器查看设备是否在线,ZeroNews 实时感知客户端的在线/离线状态,设备离线第一时间推送告警消息给用户。

2.png

● 隧道内网服务异常导致应用不能访问 — 当出现因为内网应用挂了,导致隧道不能访问时,常见访问异常代码 404/502,往往都是事后半小时或更久才能发现。ZeroNews的内网应用可用性探测功能通过周期性的检测内网服务是否可用,能在应用层出问题时就能即时推送异常告警,减少事故处理的滞后性。

● 误删隧道导致应用不能访问 — 当隧道出现误删导致的业务入口突然消失,不能访问。ZeroNews的资源删除即时告警可在配置变更发生时立刻提醒,便于止损或快速恢复。

客户端离线 / 上线 告警

ZeroNews 持续感知每台 Client 的在线 / 离线状态,当状态变化时,进行告警通知,用户可以配置告警方式,如总告警次数或周期告警。

● 离线 — 设备掉线、进程退出、网络中断时实时推送,不必等外网访问失败或用户反馈。

● 上线 — 恢复连接后发送恢复通知,便于确认故障是否已解除。

对于关键客户端建议采用周期告警,只要客户端没上线,就会一直告警。

开启 客户端离线告警

3.png

当客户端离线后,触发告警

4.png

隧道内网应用异常探测

隧道的内网应用是否正常工作,在目前的主流内网穿透平台中,几乎是没有做有效性检测的,所以当隧道应用不能访问时,往往需要多轮排查定位,才能定位出时内网应用异常所导致。

ZeroNews 隧道内网应用探测功能支持对隧道内网应用进行周期性内网应用探测是否正常,可配置探测 URL(如 /health),当应用响应异常时,第一时间通过 Webhook 通知给用户,快速处理应用异常的问题,而不用再做无谓的多轮故障排查。

开启隧道应用探测配置

5.png

6.png

开通隧道告警

7.png

当隧道应用异常时,触发告警

8.png

9.png

10.png

对于提供关键服务的隧道,建议都开启隧道应用探测

资源删除

可以通过资源删除告警,当隧道资源被删除时,立即触发即时告警,降低误操作或越权删除后的发现延迟,便于尽快止损或恢复配置。

开启资源删除告警

11.png 删除隧道后告警

12.png

通知怎么送达:IM 的 Webhook 渠道

ZeroNews 采用 Webhook 方式对外推送告警事件。现阶段支持 企业微信/飞书/钉钉等主流 IM 的 群机器人 webhook 地址,当告警发生时,平台会向该地址发送 POST 事件。

13.png

14.png

目前主流内网穿透平台都仅仅解决的是应用的公网可达性,而忽略了隧道访问异常时,能不能及时通知用户用哪里出了问题,往往要等应用访问异常才暴露,事后处理,这对企业的核心关键应用往往是不够的。

ZeroNews Webhook 通知告警功能 自动感知客户端离线、内网应用探测失败、隧道或域名被删等事件,并通过 Webhook 推送到用户的企业微信飞书钉钉,运维在日常 IM 里即可收到提醒,出现异常能及时知道并定位,不用被动等待及无效排查,让隧道不仅连得上,出问题也能第一时间叫得应。