中关村在线

云计算

赋能行业数据 华为云FusionInsight方案解析

输入手机号码后,账号注册完成。不知不觉中你又贡献了一次自己的数据,而这种类似的数据贡献行为的发生,实质上促进了大数据行业及其生态链发展。由此,通过大数据分析,政企可以精准测算出你生活和工作所喜好的一切。

大数据力量之强大让其成为平安城市的幕后推手,像华为云FusionInsight这样的大数据平台解决方案,正在帮助企业快速构建海量数据信息处理系统,发现数据价值和商机。

大数据时代 "要有光"

六年前,《纽约时报》写到"大数据时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。"在商业领域,大数据成为辅助决策的重要手段;在平安城市和金融领域,大数据成为城市维稳和建立个人征信系统的评分关键。

在今年年初,包括广东深圳在内的部分城市开始支持电子身份证模式。通过电子身份证办理酒店入住、乘车验票,该电子身份证拥有与第二代身份证同等法律效力。这种模式让数据信息更加灵活,为人们带来了方便,但同时也需要完善的IT系统和大数据支持来完成。

也就是说,大数据"早已不是"数据大"了,数据也不等同于信息,单纯的数据存储价值不大,要想获得数据的智慧之光,需要对大数据实时、弹性、高效的分析。

数据+行业 实现产业赋能

过了大数据的炒作期之后,企业开始看到数据价值,开始期望实现数据产出,将数据转化为利润,希望利用大数据结合不同行业实现产业赋能。

就像没有一把万能钥匙,目前也没有一个能够适应所有行业的大数据分析。通信、电子政务、公安、金融、零售、医疗、能源等不同行业具有不同的需求特点,需要不同的大数据行业应用解决方案。

大数据概念很热,但大数据对不同行业的应用场景有明显的区别,做一个满足用户需求,打破数据孤岛的大数据平台并不容易。从目前的数据形态来看,随着网络技术的不断强大,非结构化数据逐渐增多,数据的可视化分析和数据挖掘算法两者成为挖掘数据价值,实现产业赋能的核心。

对于华为来说,海量、线性扩展、 经济、可靠、高效是FusionInsight产品研发的初衷,FusionInsight需要同时满足数千个节点的功能、运维、多租户、可用性、安全性、兼容性、扩展性、易用性等能力。

华为FusionInsight大数据平台长期与金融、电信等不同行业合作,有着丰富的经验。金融行业更需要以数据挖掘为基础的服务升级,运营商也面临数据数量、种类的爆炸式增长,需要提升数据处理速度,提升容灾备份能力和可靠性,需要敏捷的启动和运维能力,提升竞争力。华为FusionInsight大数据平台为这些问题提供了解决方案。

从2011年开始,华为开始投入FusionInsight大数据解决方案平台。截止去年(2017年)年底,在全球TOP 50的客户里面有30个客户选择华为FusionInsight大数据平台,国内TOP 20的一半企业选择华为FusionInsight大数据平台,包括公共安全、政务都在广泛的应用。

数据之"光" 华为FusionInsight应用落地

华为FusionInsight大数据解决方案中就包含了四个子产品FusionInsight HD、FusionInsight LibrA、FusionInsight Miner、FusionInsight Farmer和一个操作系统FusionInsight Manafer组成。

依托全球人才,华为拥有从芯片、硬件、算法、模型等全方位布局服务全球客户,与法国等国家成立了联合实验室,一起孵化创新解决方案,在国内与交通领域、交管领域和公安部交管所合作实现实时风控,并在监察系统等方面构筑了比较领先的应用解决方案。

在与各大运营商与金融行业客户合作的案例中,双方在大数据平台、数据集成系统、数据仓库等方面进行了深入合作。以运营商为例,原来烟囱式应用系统导致数据重复存储,跨系统数据共享难度大,业务决策分析缓慢,面对大量非结构化数据压力,使运营商数据体量极大,处理难度更大。

在当前的实际的应用环境下,数据一般都是分布化存在的,应用也是分布式的。而数据治理就是在你想把数据转化,实现价值变现过程中必不可少的一部分。

数据治理:现在流行的精准营销,其核心就是数据的治理与分类,建立好不同类别的目录,在据此分析用户行为数据,进行精准营销。数据治理本身和水污染治理很像,都需要一个框架指导规范,在此之上,建立数据管理成熟度模型。

方案架构图

很大程度上,数据服务的好坏取决于数据治理的程度。说数据治理一定要说数据战略,成立数据专项小组做数据治理规划和措施,在确定数据生命周期,进行全程化管理。

具体而言就是在数据治理过程中,首先采集数据,通过归档日志等方式解析数据,分析出主数据;然后先到ODS层,可以进行数据备份、查询、分析,进而分担系统压力;在进行ELT二次抽取,建设标准库,对上一层ODS里面额的数据进行处理;再在据此按照一定主题或维度,建立华为架构融合和数据融合"两条腿走路"的融合数据仓库。

不同于传统数仓,华为的融合数仓可以将原有的资源进行整合,提供更具扩展性、优化的融合数仓方案。

FusionInsight LibrA:华为OLAP型数据库FusionInsight LibrA,能够实现PB级数量处理能力,建立可靠数据仓库、数据集市、BI系统、决策支持系统和大数据SQL结构化数据分析解决方案。用于支撑各类数据仓库系统、数据集市、BI(Business Intelligence)系统和决策支持系统。

LibrA采用MPP(Massive Parallel Processing)架构,提供了标准SQL支持、数据库存储管理功能、组建管理和HA数据节点、API和安全管理,支持行存储与列存储,提供PB(Petabyte,250字节)级别数据量的处理能力,满足当下数据多形态与大体量的需求。

LibrA采用Share-nothing架构,不同架构对比

基于开源数据库Postgres-XC开发的华为FusionInsight LibrA分布式并行关系型数据库系统采用无共享架构,使数据分析任务被推送到数据所在位置就近执行,通过控制模块协调,能够实现并行大规模数据处理,实现快速反应。

在可靠性与安全性方面,LibrA拥有全方位安全保障机制,独创的主+备+Handoff三重数据保护,协调节点多活设计,提供企业级可靠性保障。

古龙说"只有阳光是最公平的,不管你这个人是不是快死了,都同样照在你身上,让你觉得光明,温暖。" LibrA在英文中还代表了天秤座,这个星座最大的特点便是如同阳光一样公平公正,同时懂得因地制宜,像FusionInsight LibrA一样弹性可靠,适应力强。

面对持续激增的海量数据信息,企业开始认识到数据的价值,希望通过数据采集、挖掘、治理,完成大数据辅助决策,实现数据到价值的转换。华为FusionInsight大数据平台通过融合仓库、LibrA等技术驾驭海量信息,帮助企业快速构建海量数据信息处理系统,对企业内部和外部的信息数据进行实时与非实时的分析挖掘,帮助企业将数据"点石成金",赋能行业并实现价值,让数据焕发智慧之光。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多
说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具