大数据技能专家肖冠宇:国内数据仓库兴起助力企业做出商业决议计划
发布时间:2022-09-29 18:19:19 来源:贝博体育ballbet西甲

  “国内大数据正在从萌发迈向老练,各行各业关于数据仓库的依靠程度和注重程度也在逐步进步。”肖冠宇对记者说作为大数据技能范畴的专家,他比任何人都清楚地感触到了该范畴在国内的改变。

  数据显现,在曩昔的几年时刻里,我国大数据市场规模从 2019 年的 619.7 亿元增加到了 2021 年的 863.1 亿元,复合年增加率到达 18.0%,开展势头微弱。

  而国内的数据仓库职业尽管起步较晚,在市场规模、市场份额、产品技能和运用方面都有很大的生长空间,但也跟着大数据范畴的迅速开展和普惠化,各方面趋于安稳老练。

  5G年代降临后,数据仓库更是协助用户处理了数据量大、数据类型杂乱、数据价值深化发掘等实践场景问题,也因而备受国内企业重视,不只电信、金融、稳妥等传统数据密集型企业开建数据仓库,国内的零售企业、制造企业也开端有了这方面的需求。

  但仍然有许多人对数据仓库的开展现状不行了解。有人以为数据仓库是个十分大的数据库,有人以为数据仓库的建造是一次性工程,也有人觉得数据仓库是将一切的事务数据存在一同的。

  “事实上,数据仓库并不等同于数据库,二者的运用场景不同,”肖冠宇说,“数据库首要是面向线上产品功用进行日常的事务处理。数据仓库是面向主题集成的,对前史多种类型数据进行剖析,助力企业事务开展,支撑企业决议计划。”

  为了职业能够更好开展,肖冠宇期望更多的人能够了解数据仓库,更多的企业能够运用数据仓库,“对职业来说,更多的了解或许会发生更多的需求,而更大的需求也会成为开展的原动力。”

  专心数据仓库建造、深耕大数据范畴十年、曾出书《企业大数据处理》《Python3快速入门与实战》等书的大数据技能专家肖冠宇,向咱们共享关于国内数据仓库的二三事。

  肖冠宇介绍自己,到本年,从事软件开发、大数据相关的作业现已有十年的时刻了。“开端我是在一家电信职业的技能服务公司做软件开发,2013年开端,大数据在国内进入了快速开展期,我也因而触摸到了大数据相关的作业,我发现大数据能够给咱们的日子带来许多便当,但国内其时的大数据研讨并不充沛,还有很大的开展空间。意识到这一点后,我就深扎大数据范畴,开端跟进大数据、数据仓库方面的作业,而且也取得了一些成果。此外,在2017年年末,我还参加一家正在创业的公司,做大数据人工智能的在线教育。”

  谈到开端缘何触摸到数据仓库,肖冠宇说,“我从事数据仓库的研制造业也有七年了。开端触摸数据仓库便是由于其时的公司是要求我去做大数据渠道的相关作业,再加上我本身也对这部分内容很感兴趣,就转到了大数据方向的技能研讨和大数据渠道的建立。”

  后来,跟着公司的数据量越来越大,事务也变得越来越杂乱,针对多杂乱场景的数据剖析、多维剖析和数据发掘的需求越来越激烈,所以肖冠宇就转到了大数据和数据仓库这个方向,研讨依据大数据技能的数据仓库处理计划。“咱们最早以 Hadoop、Hive、Spark 等开源技能计划建立公司内部的数据仓库,后来选用公司自研大数据产品进行数据仓库和数据湖的建造。”

  被问及在数据仓库的建造进程中是否遇到过困难,肖冠宇介绍自己现在首要从事公司内部数据仓库建造的作业,担任公司内部海量数据的处理、办理、统计剖析、办理等。海量数据存储和核算优化,多杂乱场景的数据办理、高效运用、数据价值的发掘是作业中的首要研讨内容。

  肖冠宇说,“数据仓库建造进程中遇到的难点仍是许多的。由于大数据开端在国内技能有限,运用场景也十分含糊,在国内能完结落地的场景更是少之又少,这就导致咱们短少一些有用的事例作参阅,所以咱们只能从头开端进行研讨,摸着石头过河,从底层大数据技能开端研讨,这个进程相对来说是比较苦楚的,除了身体上的疲惫外,高难度的作业也会带来精神上的紧绷。”

  好在这些支付都得到了回应,现在国内的大数据技能现已十分老练了,大数据也广泛地运用在了咱们日子的各方各面,肖冠宇介绍,比如说咱们在购物网站常常看到一些依据你的阅读前史猜出你想要购买的产品;短视频网站也会依据你的喜爱去引荐视频;出行时,健康码、行程码、场所码更是发挥了重要的效果。

  谈到数据仓库在企业中的运用以及数据仓库的价值,肖冠宇说,“在谈数据仓库的价值之前要先了解下数据仓库的特色,被誉为数据仓库之父的美国核算机科学家William Inmon 界说了数据仓库的四大特征,数据仓库是面向主题的、集成的、相对安稳的、反映前史改变的。”

  数据仓库能够将不同来历的各种数据集成到一同,数据进入数据仓库后,一般不会发生改变,跟着前史数据的堆集,经过数据仓库能够针对特定主题或范畴进行前史数据剖析和商业洞悉。

  也便是说,企业能够经过数据仓库整合不同场景来历的海量数据,运用依据大数据技能的数据仓库的强壮剖析才能从多个维度剖析、发掘数据价值,从数据中取得名贵的事务洞悉,协助本身做出正确的商业决议计划。

  肖冠宇持续共享,“一起,企业中的人工智能专家、数据科学家们还能够运用数据仓库高效剖析许多不同的数据,发掘出更多高价值事务特征,进步算法模型的猜测才能,有利于企业对未来事务开展猜测做出更精确的判别。”

  在大数据年代,数据是企业的中心财物,因而数据的安全性至关重要。关于“为了确保数据安全,数据仓库在建造进程中应该怎么躲避危险”这个问题,肖冠宇说,“安全性是重中之重,在数据仓库的建造中,团队会一直将其放在第一位。”

  当时,肖冠宇团队首要经过数据脱敏、加密、设置数据安全级别分级办理来有用确保数据的安全,经过严厉的权限办理机制,依照数据最小化权限准则,针对特定剖析场景,操控不同安全级别数据的拜访权限。

  此外,在办理层面,团队实施批阅职责到人、谁批阅谁担任的规则,结合数据血缘办理,做到数据权限批阅可追溯,数据运用可追溯。

  被问到数据仓库产品未来的方向,肖冠宇介绍道,“云上湖仓一体的处理计划或许是未来数据仓库产品开展的一个大方向。许多企业或许还不知道,现在数据上云十分便利,云服务厂商有很强的技能和资源优势,能够有用下降数据存储、办理、剖析和办理本钱,数据湖和数据仓库现已没有显着的鸿沟了,两者之间的差异在将来或许会越来越含糊,湖仓一体的处理计划会将数据湖的灵活性与数据仓库的安全性、老练的分层办理和完善的血缘系统结合在一同,大大下降企业对海量数据的存储和办理本钱,进步多场景杂乱剖析才能,发掘出数据更多价值,为企业降本增效。”

  肖冠宇曾于2017年出书《企业大数据处理》一书,五年曩昔了,他有出书新书的计划。对此,肖冠宇介绍,“跟着大数据在日子中被越来越广泛地运用,我也想要再出一本数据仓库、数据湖方向的书,向群众介绍数据仓库、数据湖现在的建造状况以及建造方向,让更多的人去了解相关内容以及咱们团队现已落地的技能计划。对职业来说,更多的了解或许会发生更多的需求,而更大的需求也会成为开展的原动力。”

  【广告】免责声明:本内容为广告,相关资料由广告主供给,广告主对本广告内容的真实性担任。本网发布意图在于传递更多信息,并不代表本网附和其观念和对其真实性担任,广告内容仅供读者参阅。

  新闻信息服务许可证音像制品出书许可证播送电视节目制造运营许可证网络视听许可证网络文化运营许可证

上一篇:北部湾港:华泰联合证券有限责任公 下一篇:立法促进大数据展开使用

地址:北京市海淀区丰秀中路3号院12号楼 / 邮编:100094 / 电话:010-82695000 010-82883933 / 传真:010-82883858

版权所有:贝博体育ballbet西甲 京ICP备05008170号 京公网安备11010802029694号
© All rights reserved by 贝博体育ballbet西甲

扫一扫,关注贝博体育ballbet西甲