·2021-07-20 10:03

系统工程师·第十区。散人

热力行业智慧供暖大数据架构方案

字数 7334阅读 3554评论 0赞 1

# 一. **概述**

为了使热网运行管理全部实现数据化，智能化。实现“调度指挥平台”“室温监控平台”“服务管理平台”三个平台的数据互通、共享的基础上，通过对收集的数据进行科学分析，合理调控热网，保证用户室温舒适形成一个及生产，办公，管理，决策于一体的智慧供暖系统。

## 1.1 **现状分析**
目前热力公司已经建成：供热报停、供热服务管理、供热测温、供热服务、供热稽查、供热运行、 OA 办公、HR人力资源管理、缴费系统、仓存管理系统。业务涵盖了企业生产，管理，运营等方面。

通过VPN ,专线以及物联网卡等方式将所有换热站，供热所以及用户家的相关生产数据回传到调度指挥中心，所有业务入口通过 统一 平台实现单点登录。

现有问题梳理如下：

1、 基础信息没有完全实现数字化

目前热力公司的大部分基础生产数据已经实现了自动获取，分别通过热力热网运行监控系统，客服系统，稽查系统进行展示，包括热网运行数据，用户室温数据，供热服务管理，供热稽查管理。

但仍有部分数据没有完全融入到各自的管理系统中，比如换热站电表统计，各主要管道节点，楼梯间温度统计。

由于缺少更多的基础信息作为大数据分析的基础， 热力的热网运行监控系统更多的是作为生产辅助手段，而难以为生产决策提供有力的数据支撑。

2、 独立的系统形成数据孤岛

热力现有主要运行系统包括热网运行监控系统、客服系统、稽查系统、缴费系统、HR管理、OA办公、仓存管理。但由于发展时期不同，各个系统独立运行，并且由不同的公司开发维护。上述系统承载着热力公司的生产，管理，经营各个方面，这些影响企业发展的因素却因为系统的独立而无法有效的形成决定企业发展的综合决策。随着信息化和数字化的发展，数据已经变得越来越重要，越来越有价值。只有充分融合所有的数据，实现数据的互融互通。才能让企业积累的各种数据发挥最大的价值，为企业的生产和管理创造出直接的经济效益。

3、 缺乏对基础数据的整体分析和深层挖掘

现有的系统中，已经汇总了和生产，管理，运营相关的大部分数据，包括：温度、流量、压力、缴费、客服、稽查管理等数据，但是现有的系统对这些数据缺少更深层的数据挖掘和统计分析，企业发展至今积累下的包括的历史数据并没有用来成为数据分析的基础。

## 1.2 **建设目标**

为了完善基础数据网，实现基础数据互融互通，充分利用和挖掘所有数据的潜在价值，计划建设热力智慧供暖系统。

“智慧供热”信息化平台，是基于移动互联网技术，集生产系统、设备管理、收费系统和客服系统一体的供热管控平台。打破信息独立、实现数据共享。打通系统间的数据、应用、流程、界面。同时利用平台技术，将企业内部系统、外部第三方系统进行有机整合，形成一个开放的智慧供热信息化平台。

# 二. **总体规划框架**

## 2.1 **需求分析**

梳理现有需求，对部分人工计算或半人工计算的数据形成数据库。

**需求：**

1) 补水量统计：完善自来水，二次网水耗数据，数据纳入到数据仓库中。通过网络接口直接抓取或者手工输入每日水消耗量。根据公式进行核算和统计，计算出各个换热站补水量统计，并形成历史数据与曲线图表、预警分析，取消手工统计。（生产运行信息）

2) 考勤率统计，根据巡站签到数据，通过API接口汇总到数据仓库，实现数据自动筛选统计，形成汇总报表。（绩效考核）

3) 完善基础数据采集，逐步将更多生产数据、如换热站、供热所的温度、流量、压力、电耗、水耗、天气、所有用户温度、楼宇、管道、全部纳入到数据仓库中。（生产运行信息）

4) 抓取现有热网监控数据历史数据，形成曲线图，综合生产信息，运行记录，支持对数据排序、历史数据查询、数据的重新核算，并能形成直观的图表展示在统一的驾驶员座舱视图中。（生产运行信息）

5) 用户温度历史数据，曲线图。支持对数据排序，历史数据查询，并能形成直观的图表展示在统一的驾驶员座舱视图中

（生产运行信息）

6) 客服满意率统计，根据客服电话，问题处理结果及最终温度反馈等信息，汇总计算形成客服满意率（运营管理）

对摄像头图像分析，监控人员进出图像，电灯情况，站内水管异常改接，PLC柜私自调整。（生产运行信息）

## 2.2 **总体架构**
![](/home/attachment/202107/20/5940_162674337333572.png)
![](/home/attachment/202107/20/5940_162674339274241.png)

## 2.3 **业务流程**

根据业务需求，对数据仓库中的数据进行分类，梳理，挖掘，形成不同业务所需要的数据集市，并通过BI工具进行可视化展示。
 ![](/home/attachment/202107/20/5940_162674342499025.png)

## 2.4 **数据流程**

通过ETL工具将现有业务进行整理，清洗，汇总，根据业务需求形成独立的数据仓库。
 ![](/home/attachment/202107/20/5940_162674375446090.png)
![](/home/attachment/202107/20/5940_162674375738922.png)
![](/home/attachment/202107/20/5940_162674377474057.png)

**数据源** ：包括热力的业务系统（热源运行数据、换热站运行数据、换热站补水量、换热站运行监测、换热站室温、用户区温度，缴费数据，客服数据、OA、HR、仓存）等结构化数据、硬件的设备数据（防火墙设备的日志、以及视频、无线WIFI）等非结构化数据、互联网的数据（室温，GIS信息）半结构化数据。

热力业务系统数据调研情况表：

|   |   |   |   |   |   |   |
| ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ |
| 序号 | 业务部门 | 业务系统 | 数据项 | 数据量 | 使用时间 | 采集方式 |
| 1 | 仪表所 | 热网运行监控：热源运行数据 | 热源厂及电厂：供水温度回水温度供水压力回水压力瞬时流量瞬时热量累计热量今日耗热昨日耗热累计补水理论负荷理论供温理论流量 |     | 3年 | 数据库对接（只读权限） |
| 2 | 仪表所 | 热网运行监控：热源运行数据 | 理论数据：供热面积室外温度24小时均温温度补偿理论供温实测负荷理论负荷理论流量日总耗热 |     | 3年 | 数据库对接（只读权限） |
| 3 | 仪表所 | 换热站运行数据：换热站运行数据 | 各换热站数据:供热面积一网供温一网回温一网供压一网回压二网供温二网回温二网供压二网回压 |     | 3年 | 数据库对接（只读权限） |
| 4 | 仪表所 | 换热站运行数据：换热站补水量 | 个换热站补水量：供热面积自来水补水量一补二补水量补水量合计 |     | 3年 | 数据库对接（只读权限） |
| 5 | 仪表所 | 换热站室温 | 各用户测试点室温：设备号楼栋房间室温达标 |     | 3年 | 数据库对接（只读权限） |
| 6 | 仪表所 | 换热站室温检测数据 | 各供热所数据：站号对应站号站名供热面积设备个数达标率平均室温最高室温最低室温 |     | 3年 | 数据库对接（只读权限） |
| 7 | 仪表所 | 供热用户测温 | 各供热所数据：采集器供热所换热站小区住宅楼地址单元号门牌号姓名电话室外温度测点温度体感温度偏移量修正方法温度电量信号安装时间采集时间更新时间设备类型达标状况状态 |     | 3年 | 数据库对接（只读权限） |
| 8 | 综合计划部 | 稽查数据 |     |     | 4年 | 数据库对接（只读权限） |
| 9 | 综合计划部 | 报停数据 |     |     | 4年 | 数据库对接（只读权限） |
| 10 | 财务部 | 缴费数据 |     |     | 4年 | 数据库对接（只读权限） |
| 11 | 客服 | 客服数据 |     |     | 4年 | 数据库对接（只读权限） |
| 12 | 企管部 | OA |     |     | 1年 | 数据库对接（只读权限） |
| 13 | 企管部 | HR |     |     | 1年 | 数据库对接（只读权限） |
| 14 | 企管部 | 仓存数据 |     |     | 1年 | 数据库对接（只读权限） |
| 15 | 天气信息 | 网络获取 |     |     | 未使用 |     |

# 三. **具体设计方案**

## 3.1 **可视化分析展示子系统（展示界面仅为参考界面****）**

### 3.1.1 **巡站签到统计**
![](/home/attachment/202107/20/5940_162674381428476.png)
### 3.1.2 **补水量统计**
![](/home/attachment/202107/20/5940_162674385034169.png)
![](/home/attachment/202107/20/5940_162674385318864.png)
### 3.1.3 **温度分布**
![](/home/attachment/202107/20/5940_162674388055344.png)
![](/home/attachment/202107/20/5940_162674388380614.png)
### 3.1.4 **换热站综合信息**
![](/home/attachment/202107/20/5940_162674390124826.png)
![](/home/attachment/202107/20/5940_162674390488361.png)
### 3.1.5 **综合运行指数**
![](/home/attachment/202107/20/5940_162674392587400.png)
![](/home/attachment/202107/20/5940_162674392852302.png)
### 3.1.6 **换热站内部运行信息**
![](/home/attachment/202107/20/5940_162674394494000.png)
### 3.1.7 **企业运行综合指数**
![](/home/attachment/202107/20/5940_162674396199527.png)
## 3.2 **数据对接子系统**
 数据对接 子系统提供 数据对接 服务，其主要作用是通过对各数据源的数据进行采集，然后通过数据清洗、比对等过程，实现数据的导入，汇总、整理、查询相关数据 。主要功能包括描述如下：

### 3.2.1 **数据抽取**

Ø 多 数据源 管理 器

数据对接子系统支持各种数据库 ( 数据库数据源有： GBase 、 SQL server 、 DB2 、 Oracle 、 Sybase 等 ) 之间的数据同步和数据迁移。同时还支持文件数据源，如文本文件、 Excel 表格等。

Ø SQL编辑器

数据抽取支持自定义 SQL 语句。数据加载支持使用 SQL 方式（ INSERT 、 UPDATE 、 DELETE ）加载，并支持数据库的批量加载功能。此外，通过该 SQL 编辑器可以预览、编辑和执行 DDL （ Data Definition Language ）语句，比如 “truncate table” 、 “create table” 等。

Ø 支持 数据文件

数据对接子系统支持各种数据文件格式（ TXT,CSV, Excel 等）进行数据抽取，同时还支持文件类型数据的迁移。

### 3.2.2 **数据转换**

Ø 数据 转换

提供了多种数据转换的方式，利用字段映射、拆分、混合、记录拆分、行列变换、动态修改、时间类型转换、代理主键生成、记录间合并、生成多维数据、构建样品数据、排序、统计、行列的分组聚合等方式完成大多数类型的数 据转换，并提供了脚本二次开发环境（JavaScript 脚本转换插件），对于极个别的特殊用户需求也同样做到完美的实现。

Ø 数据清洗

提供了多种数据清洗的方式，利用条件过滤、去除重复记录、空值处理和去除无效数据等方式对用户数据进行清洗，并且提供的脚本二次开发环境也可以在清洗中起到关键性的作用。

### 3.2.3 **数据加载**

Ø 数据加载

支持各种数据库 ( 数据库数据源有： GBase 、 SQL server 、 DB2 、 Oracle 、 Sybase 、Hadoop等 ) 以及各种文件类型（文件类型有： TXT,CSV, Excel 等）的数据加载，实现了用户的数据加载需求。

Ø 批量加载

为了更加敏捷的进行数据加载，数据对接系统提供了批量加载的形式，通过各种数据库厂商提供的高速加载接口，将数据以最快的方式加载到数据库中。

### 3.2.4 **流程管理容器**

Ø 集群 服务

通过主从的集群方式，数据对接子系统可以将复杂的转换清洗加载过程分压负载到不同的服务器上，使该过程可以在最快的速度下完成用户的需求，极度的发挥负载均衡带来的优势。 集群配置方式简单，完全提供图形化操作界面，将会意难懂的集群变得像业务系统添加用户一样简单，用户体验很好。

Ø 远程 服务

对于特定条件需要远程执行转换流程的任务，数据对接子系统提供了远程的执行方式，在这种方式下用户的设计界面就如同远程桌面一样，使实施环境受到局限的任务依然可以轻松完成。

### 3.2.5 **计划任务调度**

数据对接子系统支持作业任务调度，可以周期的执行作业和定时执行作业。作业的起始点，每个作业必须要用 START 插件做起始，而且单个作业任务只能有一个 START 插件。 START 可以控制作业的执行方式，与其连接的作业可以是一个或者多个作业插件，并且与其直接连接的作业插件可以选择串行或者并行的运行方式， START 插件还可以设置轮训定时的执行方式。

### 3.2.6 **实时监控**

提供了数据转换过程中的监控功能，可以实时监控数据的处理流程。支持图形化监控及日志监控，并提供了对每个转换组件的单独性能跟踪，是用户可以在最短的时间找到性能瓶颈，通过系统调优以最良好的性能完成任务。

## 3.3 **数据仓库系统**

采用先进的混搭技术架构，利用Hadoop软件满足海量数据的存储、加工及并行计算， Hadoop的Hive汇聚整合各来源的数据，用于数据的快速查询，并提供高并发查询的信息；利用列存MPP数据库搭建数据集市，实现各类数据资源的关联计算、分析计算和挖掘计算等应用在性能上的需求，支撑数据分析和数据服务。

### 3.3.1 **Hadoop平台**

Hadoop平台主要用于海量非结构化数据存储管理和大规模数据离线计算处理，大数据平台需要存储大量历史数据和视频、音频、图像等非结构化数据。因此必须具备海量存储能力、且能够实现非结构化数据的快速检索和定向精准读取功能，来满足实时性要求不高的离线数据分析、数据挖掘等业务场景。

### 3.3.2 **分析型MPP数据库**

分析型数据库主要用于高质量数据的分析工作。将所有数据导入分析数据库中进行存储和分析，通过数据整合、逻辑关联等方式，实现基础数据资源的关联融合，对不同来源、不同类型的基础数据，按要素提取关键字段，建立要素间的关联关系；同时，实现专题应用数据的整合建库，按照业务应用具体需要，基于专业应用业务模型，建立专题库，满足专业应用需要。

## 3.4 **应用系统**

### 3.4.1 **精准画像**

所谓用户画像，即通过多维的数据整体描述用户的特征，那么对供热用户的画像就是通过采集用户室温、周围室温、平均室温、临近换热站运行数据、供热所运行数据、缴费记录、投诉记录等多个维度的数据量化后，给用户都赋上特征属性标签（用户的室温情况、缴费状态、用户满意度等），进行全方位的分析，可以用于揭示用户的供暖缴费和所属区域供暖状况，从而为热力公司针对用户进行平衡供暖，智慧供暖提供重要依据。

### 3.4.2 **智能供热网络**

智能供热网络的构建是通过分析用户，供热所，换热站的运行数据，天气，能源消耗等综合因素来实现的，主要是通过统计所有用户室温，生产数据，天气，等数据，分析共现的显著性。同时通过大数据的挖掘与分析，给不同个体赋上独特属性标签，如温度、入住率、缴费率等，并以此分析出其个性化的区域信息。

### 3.4.3 **生产预警**

对于温度，运行数据突增和陡降的情况是企业最关心的情况，那么综合这些数据进行全方位分析，提示企业管理者及早发现问题并进行干预，尽可能 减少 温度和生产资源的波动。

数据本质上是人类观察客观世界的一个记录 ， 通过对数据的观察和分析，可以帮助降低决策成本，提高决策的效率 。 智慧供热的核心就是都是通过 人工智能技术，形成以数据为驱动的决策机制，根据实时数据和各类型信息，调配和调控资源，最终实现自动智能化，运作效率的最优化。

大数据架构智慧城市大数据

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！