https://i.ancii.com/yalin7076/
程序菜鸟、Python、大数据分析、每周五更新。
Ta还没有发布动态 ...
首先讲一下爱奇艺大数据平台业务背景，目前日均 DAU 接近三亿，爱奇艺在业务初期主要关注于长视频，随后发展业务有 PPC、UPC，同时还发展了游戏、直播、小说等业务。目前业务线达到 20 多条，存量的设备信息达到 30 亿，每天处理的用户行为日志超过 30
在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。去除日志中字段长度小于等于11的日志。需要在Map阶段对输入的数据根据规则进行过滤清洗。pu
0 关注 0 粉丝 0 动态
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
