Page 190 - 安防19年1月刊

C 前沿技术
Cutting-edge Technology

安防行业中的大数据技术

□ 文 / 徐陇浙

针对安防行业当下主流的技术，本文作归纳性 更广泛模式是小批次（mirco batching）流处理，相
的介绍。 关的技术有：Spark Streaming，Flink。它们根据实
际业务需求，将数据流按时间或数据条数，截取为
流处理 一些较小的批次，以批次为单位对数据进行处理，

流处理技术安防的应用已经极为广泛。宇视车 数据吞吐量较前一种方式提升较大。并且通过合理
辆管控平台借助 Spark Streaming 流式分析框架，做 的批次控制，实时性也可以达到分钟级甚至秒级。
到对每秒数万至数十万条交通数据进行实时布控， 借助数据缓存技术，部分流处理框架甚至可以实现
对于单双号及尾号限行违章、大货车闯禁行，能够 有限制的数据回溯。
做到客户端实时告警，实时处罚；在北京，我们采用
流处理技术实时监控车辆运行轨迹，实现敏感区域 存储和检索
车辆徘徊告警，护航两会安全。除此以外，我们在 近年来，随着图像、视频以及其他物联网采集
过车数据进入系统时，根据卡口、车道、车辆类型等 设备种类、覆盖广度、密度的增加，这些采集设备每
结构化信息做按需流量统计，用户可以实时在界面 天产生种类繁多的海量数据。在温州，宇视大数据
上查看到当前交通流量，为交通引导，智能信号灯 平台每天接入的MAC、RFID 数据达到10 亿级。量大，
管理提供有价值的参考。 种类多是其显著特点。如何支撑起这些数以亿计的
流处理是一种数据实时处理技术，它流入系统 数据存储和检索？NoSQL 是目前业内主流的技术
的数据视作一条流（Stream），顾名思义，就像水流 解决方案。NoSQL，即非关系型数据库，最早兴起
一样，流处理引擎就像一个固定在”水流“中的”滤 于互联网行业，旨在处理互联网产生的种类繁多的
网“，对流过的数据做相应的处理，如转换、过滤、 大规模数据集，其面对的业务场景与当前安防行业
统计、布控等。流有如下特点：持续性，流数据是源 的现状如出一辙。
源不断进入系统的，你无法对数据做全局处理，因 NoSql数据库
为它没有边界，没有止境；不可回溯性，我们只能在 HBase是行业中应用最为广泛的NoSql数据库，

它进入系统时处理一次，一旦处理完成，通常不能 它 能 采 用 LSM 树（Log-Structured Merge Tree）数
再回溯已经流走的数据。 据存储引擎，结合列式存储格式，够实现 PB 级的
常见的流处理模式是：来一条数据处理一条， 数据存储和检索，以及每秒 GB 级的数据吞吐量。
实时性高，但较为低效，以 Storm 为代表，目前使用 传统关系型数据库如 Mysql、Oracle 都采用了 B 树

154 2019第八届深圳国际智能交通与卫星导航位置服务展览会(2019.6.20-6.22深圳会展中心)www.its-expo.com

భခ࠯ඌ JOEE ྒ௹၂