• 有赞数据治理之提质降本

    有赞数据治理之提质降本

    有赞数据治理的精髓就是九个字:大质量、全成本、重运营,其中涉及的质量分、成本账单都有可借鉴之处! 导读:有赞是通过SaaS起家的,经过多年的数据沉淀,有大量数据,可以说是一家大数据公司,但是有赞的最终目标是成为AI公司。在这个阶段,数据积累到一定体量,数据治理是非常有必要的。数据治理的最终目的也是服务AI、做智能应用,发挥数据的价值,而质量和成本是数据价值的核心所在。在有赞,是如何衡量质量好坏、成本高低的?又是如何依靠产品,结合运营的手段,提升质量,降低成本的?本文,为你揭晓。 一、数据治理概述…

    技术追踪 2022-02-09
  • Hive SQL迁移Spark SQL在网易传媒的实践

    Hive SQL迁移Spark SQL在网易传媒的实践

    在整个迁移过程,除了前期踩坑阶段,期间线上基本没出什么问题,十分平滑的将2000左右的任务迁移到了sparkSql,而且也没耗费过多人力,这说明整个迁移方案的设计和实施是比较成功的。 引言:把基于mapreduce的离线hiveSQL任务迁移到sparkSQL,不但能大幅缩短任务运行时间,还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL,这里做个简单的记录和分享,本文偏重于具体条件下的方案选择。 迁移背景 SQL任务运行慢Hive SQL处理任务虽然…

    技术追踪 2022-02-09
  • 大数据黑产已经无孔不入,该如何破解?

    大数据黑产已经无孔不入,该如何破解?

    2022,又一千亿级黑产加速灭亡。 每一次点击,都可能诱惑我们走入一场巨大的阴谋…… 一、大选风云 2014年,咨询公司剑桥咨询研发了一款心理测试软件,放在脸书(Facebook)上做信息流推广,只要你下载并且做一个心理测试,就可以得到5美金的奖励。 在奖励与好奇心的驱使下,很多用户开始下载软件,并回答了“看看你心灵黑暗面是什么?”“动物世界中,你会变成哪种动物?”等有趣的问题,然后把答案变成图片,分享到自己的脸书账号上,并获得了5美金。 到2016年,这款心理测试App已在脸书累计拥有了超过5…

    行业动态 2022-01-30
  • 大数据行业人才缺口和发展趋势全方位分析

    大数据行业人才缺口和发展趋势全方位分析

    随着互联网的发展,IT人才变得炙手可热,而大数据人才作为其中的一个分支,也受到各企业的欢迎。 1、全国35所大学开设大数据专业 近日,“大数据专业”成为热词,这主要源于近期一则新闻—教育部公布的最新高校新增专业名单中,有32所高校成为第二批成功申请“数据科学与大数据技术”本科新专业的高校。 加上第一批成功申请该专业的北京大学、对外经济贸易大学及中南大学,目前共有35所大学获批开设大数据专业。 2、未来3~5年,需要180万大数据人才 大数据专业热度空前的背后,是大数据在全球的蓬勃发展。 分析机构…

    行业动态 2022-01-30

联系我们

19910713760

在线咨询:qq号: 83544844

邮件:19910713760@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信