首页 云计算 服务器 大数据 存储 IT 安全 物联网 软件

大数据

资讯频道旗下栏目: 资讯 应用 技术 案例

电力大数据:一张电费缴费单可以告诉你很多事

来源:网络整理   发布时间:2019-05-30
摘要:马上就要进入高温季,一年一度的用电高峰即将到来。每到这个时候就会听到一些地方拉闸限电的消息,如何确保不拉闸限电是对电力部门的一个考验,这需要电力部门及时做出预测,还要合理进行错峰计划安排,引导用户自觉错峰、避峰,提高电网的负荷率, 最大限

马上就要进入高温季,一年一度的用电高峰即将到来。每到这个时候就会听到一些地方拉闸限电的消息,如何确保不拉闸限电是对电力部门的一个考验,这需要电力部门及时做出预测,还要合理进行错峰计划安排,引导用户自觉错峰、避峰,提高电网的负荷率, 最大限度地发挥现有电力设备的供电能力。在以往,这是一个很困难的工作,高度依赖管理者智慧,但在大数据技术的帮助下,这件事情开始变得容易了许多。利用过往的用电情况,结合天气情况,今天利用大数据分析技术已经可以提前做出比较准确的预测,同时还会提出相关的电力调配建议,供决策者参考。

类似的大数据应用场景很多,比如,城市空置住房到底有多少,统计一下这个城市住房用电量就可以得到答案,哪些每个月用电很少的基本就是空置住房;同样,一个城市的经济活力到底怎么样,看看各个工厂的用电情况基本就能了解得八九不离十。

这些问题的答案都可以通过汇总一张张电力缴费单、电力系统故障抢修单,结合气象数据、经济运行数据、电力部门生产管理数据、营销数据、等各方数据,经过分析和挖掘之后得到,也正是电力行业正在做的大数据应用研究的主要内容,很多单位正在进行做,国家电网上海市电力公司电力科学研究院(以下简称国网上海电科院)就是其中之一。

致力于大数据研发,助力企业转型

国网上海电科院电力大数据实验室是专门为从事电力大数据的应用研究而成立的一个研究机构,由国网上海市电力公司、国网中国电力科学研究院、复旦大学、星环科技、上海腾天节能等多方共同组建。

实验室的成立源于国家863计划“智能配用电大数据应用关键技术”课题。2014年7月,上海电力公司联合复旦大学、中国电科院等科研高校和科研院所组成了研发团队,联合申请国家863计划“智能配用电大数据应用关键技术”课题,2015年5月获国家科技部批准,整个项目研发周期是三年,电力大数据实验室就是为开展该课题的研究而成立。

实验室的主要任务是依托国家863课题“智能配用电大数据应用关键技术”,积极开展电力大数据实验平台建设,以电力大数据的应用为核心,为电力大数据的系统集成、组件研发、模拟验证、数据共享、示范应用等奠定技术和工程基础。

“这个实验室是由科研人员、一线生产人员和技术供应商共同组成,这种产、学、研、用多方构成的有利于保证课题研究的成功。” 电力大数据实验室负责人、国家电网上海市电力公司电力科学研究院电网技术中心书记田英杰表示。

该实验室成立的另一个背景是,国家电网公司正在大力推动企业转型,通过电力大数据的应用,有利于推动国家电网公司向“三型两网”企业发展。因为国家电网公司要向“枢纽型企业”转型发展,需要通过电力大数据、移动通信传输、智能优化等技术的有效应用,实现发电侧、需求侧与电网公司的能源流、信息流有效沟通。

搭建大数据平台

大数据分析,数据是关键。而国网上海市电力公司经过过去30多年年信息化的建设,积累了大量的生产、运行、销售和管理方面的数据。这为大数据的应用研究奠定了很好的基础。

初步统计,到2018年底,国网上海市电力公司的结构化数据累计达35TB,非结构化和半结构化数据达400T,这些数据每年还在以30%以上的复合增长率快速增长。今年,国网又提出了泛在电力物联网的建设,数据将呈爆发性增长。

“这些数据来源于电网内的各种信息系统,包括用电信息采集系统、负荷控制系统、营销应用系统、调度自动化系统、配电自动化系统、生产管理系统和电能质量监测系统等,这些数据与气象数据和上海社会经济数据等外部数据一起为我们开展电力大数据的研发提供了一个很好的数据基础。” 田英杰介绍。

针对这些数据,实验室搭建了一个以分布式计算以分布式计算集群为核心、高性能计算集群为辅助的混合并行计算的大数据硬件集群。集群由42个节点,其中8路2台,4路5台,2路34台,GPU服务器1台,可支持分布式和高性能的混合处理;配置了SAS+SATA存储1.3PB,SSD存储30T,内存4T,可支持不同需求的梯级存储。这一配置预计可满足未来3-5年电力大数据研发的需要。 

在软件配置方面,实验室采用了星环信息科技有限公司的大数据平台,拥有Inceptor SQL引擎,支持完整的SQL语法,可降低应用开发难度;支持聚类、回归等通用算法和机器学习算法的调用,开发了面向电力应用算法的组件;基于Hyperbase列式数据库,开发了多种索引技术的组件,可实现范围查询、模糊查询等高速反馈;支持流式数据的实时处理;通过对数据进行行列安全控制,实现与Oracle一致的安全管理体系。

“当初,我们在大数据平台的选型上也做了很多的调研和比选。星环科技提供了很多易用的工具包,他们还能够提供支持为我们电力开发专用的工具包,因此我们最终选用了星环信息科技的大数据平台。” 田英杰说。

大数据平台完成后,课题组迎来了真正的挑战,就是数据的汇总和请理。这个大数据平台涉及三个方面的数据,即用户数据、电网数据和社会环境数据。到目前为止,实验室汇集了浦东1210平方千米的236万户的用电数据(有效用户数据超过200万户),其中居民和第三产业用户占比高达97%,最高负荷738万千瓦,年用电量329亿度,这个规模约占上海全网四分之一。集成的内外部数据源有10个,整个数据量到现在已经接近8个T,台账的数据总量有29.14万条。

田英杰说,这个数据平台的数据仍在不断更新之中,每天夜里个各种新增数据就可以自动导入到平台之中,参与到各种维度的数据处理和分析之中。

研究成果初显

在研究过程中,电力大数据实验室确立了5个业务应用重点,包括网架优化、节电技术、错峰调度、用电预测和用电行为分析。如今实验室在这些业务应用方面都取得了不错的应用成果。

比如,通过大数据平台提供的可视化控制台,可以清楚地看到根据用电量不同而划分的用户分组;通过对居民用电特征的分析,可以实现居民用户用电标签化和用户画像,据此可实现对偷电、漏电行为的智能识别,为电力检查提供参考依据。

大数据平台提供的工商业用户用电行为分析可以真实反映上下游行业的生产强度指数,对经济景气进行预测。比如,2016年6月16日上海迪士尼乐园开门迎客,带动了周围的商业发展,透过这个平台可以看到方圆5公里内用电变化情况。这些都为有关部门的规划提供了很好的参考。