边缘分析主机告警数据交互转换系统

项目背景与难点

客户是一家位于苏州的自动化科技企业，负责边缘分析主机的方案集成与现场部署。这些主机部署在生产厂区、仓储现场等环境中，会对人员聚集、机动车通行、物品遗留、离岗行为等多种场景进行实时分析，并生成告警记录。过去，告警数据分散在各台边缘主机中，业务人员只能定期登录主机后台手工查询，再将结果整理成表格导入MySQL。这种方式效率低、实时性差，而且人工操作容易出现漏导、错导，数据质量无法保障。

技术上的难点在于：边缘主机对外提供的是私有HTTP API，调用前需要先登录获取Token，并且Token存在过期机制；不同告警的JSON结构差异较大，需要在不修改主机侧逻辑的前提下完成格式统一；现场网络并非始终稳定，断网期间产生的数据必须能够暂存并在恢复后续传；告警量间歇性增大时，如果逐条写入数据库，既会影响主机性能，也可能造成数据堆积。客户需要一套自动化的边缘数据交互转换程序，能够稳定、可靠地将告警数据写入MySQL。

软件交付内容

敏洽交付的软件是一套运行在Windows平台的后台数据交互转换服务，采用控制台/Windows服务双模式部署。系统由配置管理模块、边缘主机API客户端、数据转换服务、内存缓冲队列、MySQL数据访问层和状态监控接口组成。程序启动后，先读取配置文件中的主机地址、账号、MySQL连接串等参数，然后自动完成边缘主机登录并获取Token；系统每30秒发送一次心跳以维持会话并更新设备在线状态，每60秒轮询一次告警接口。

告警数据到达后，数据转换服务会将其解析为统一的数据实体，执行任务类型码到中文名称的映射、关键字段合法性校验，以及基于主机、时间、类型、相机四元组的内存去重和数据库级去重，避免重复入库。去重后的数据进入容量为10000条的并发缓冲队列，每10秒或每满100条批量写入MySQL，写入过程使用事务保证一致性，失败时整批回队等待重试。同时，系统自动创建告警表、设备表、相机表等4张数据表及索引，每30分钟增量同步设备与相机信息，并提供health、devices、cameras、buffer等状态查询接口，配合NLog日志按天归档保留30天，方便现场运维。

实施成果

系统上线后，边缘分析主机的告警数据实现了从手工收集到自动汇入的转变。原先需要人工定期登录主机查询并整理的数据，现在由系统自动完成轮询、转换、去重和入库，业务人员无需再接触主机后台，减少了大量重复劳动，也避免了因人工操作导致的数据遗漏和重复。内存队列和批量写入机制有效平滑了告警峰值，降低了对边缘主机和MySQL的压力；网络短暂中断时，数据暂存在队列中，恢复后自动续传，保证了告警数据的完整性。

通过内置的30秒心跳，设备在线状态能够实时反映在数据库的设备表中，管理平台可以随时查看每台主机和相机的运行状态。状态监控接口和日志为运维人员提供了透明可见的数据同步链路，一旦出现写入延迟或队列堆积，可以快速定位原因。整个系统为上层数据分析平台提供了稳定、干净的数据源，也为客户后续扩展其他类型的数据接入打下了基础。

关键指标