阿里/网易/美团/58 用户画像中的 ID 体系建设 原文标题：阿里/网易/美团/58用户画像中的ID体系建设 - 技术文章日志
内容概要总结
本文（作者「索隆」）梳理阿里、网易、美团、58 四家互联网公司在用户画像中建设 ID 体系（ID-Mapping）的实践。阿里业务线众多、ID 类型含 phone、PC cookie、IMEI 与 IDFA、淘宝/支付宝账户、邮箱等，以 OneData 方法论、OneID 超强 ID 识别技术打通数据孤岛，并指出 ID 打通必须依赖 ID-ID 两两映射关系表，孤立 ID 无法打通，且计算量巨大，大数据领域用机器学习算法（稳定性与收敛性计算）替代野蛮计算，输出稳定 ID 关系对并生成唯一 UID。网易产品线（云音乐、邮箱、新闻、严选）ID 各异，结合账户与设备关系对、设备使用规律，用规则+数据挖掘（连通图划分+社区发现）判别是否同一人，并讨论社区发现会误关联异常账号、需设衰减系数处理一人多设备。58 用 guser/gbdid/gapud/gimei 等经 telep/bidua/appua/imei/idfa 关联。美团与大众点评合并后以手机号作为注册用户唯一标识。文章总结 ID-Mapping 三种常见方法：基于账号体系强关联 uid、基于终端设备 ID 精准识别未注册用户、基于账号&设备的数据挖掘映射。
原文内容（原文即中文）
5352 阅读
0 评论
9 点赞
在《标签构建过程中，如何快速盘点业务及数据需求？》梳理完标签画像体系的业务需求后，索隆开始了对画像体系的整体设计，其中首要遇到的就是用户ID体系的打通相关的问题。
公司各业务线ID繁多，数据割裂，如何才能尽可能关联更多的数据，以准确的描绘出一个用户的画像呢？
接下来我们来看看索隆通过对界内科技巨头：阿里、网易、美团、58的调研分析，来一步步建立自己公司的ID-Mapping体系的过程。
阿里巴巴作为一家包含多条业务线的公司，如电商、金融、广告、文化、教育、娱乐、设备和社交等领域，数据区域包含国内、国外；数据场景包含线上的人货场钱、线下的人货场钱位置等数据，以及物流、用餐、咨询、影视、出行、阅读、音乐和健康等相关数据。
ID类型包含phone、PC cookie、IMEI与IDFA、淘宝账户、支付宝账户、邮箱等。
而对于每个BU来说，他们知道的只是这个客户的片面属性，在开展营销活动时，只是针对一个手机号或一个邮箱做营销，但背后不能识别出来一个自然人、一个公司。
为打破数据孤岛，创造更大的数据价值，阿里使用OneData作为核心方法论。
OneID基于超强ID识别技术链接数据，高效生产标签；业务驱动技术价值化，消除数据孤岛，提升数据质量，提升数据价值。
而ID的打通，必须有ID-ID之间的两两映射打通关系，通过ID映射关系表，才能将多种ID之间的关联打通，完全孤立的两种ID是无法打通的。
打通整个ID体系，看似简单，实则计算复杂，计算量非常大。假如某种对象有数亿个个体，每个个体又有数十种不同的ID标识，任意两种ID之间都有可能打通关系，想要完成这类对象的所有个体ID打通需要数亿次计算，一般的机器甚至大数据集群都无法完成。
大数据领域中的ID-Mapping技术就是用机器学习算法类来取代野蛮计算，解决对象数据打通的问题。基于输入的ID关系对，利用机器学习算法做稳定性和收敛性计算，输出关系稳定的ID关系对，并生成一个UID作为唯一识别该对象的标识码。
网易产品线有网易云音乐、网易邮箱、网易新闻、网易严选等，不同应用上有不同的ID，如yanxuanid、oaid、musicid、phone、email、idfa、imei等。
结合各种账户、各种设备型号之间的关系对，以及设备使用规律等用户数据，采用规则规律、数据挖掘算法（连通图划分+社区发现）的方法，判别账户是否属于同一个人。
ID-Mapping过程中，常遇到的问题及对应方案如下：
解决方案：定义相关的阈值进行关联。社区发现当前应用于营销场景，暂未用于风控或用户运营场景，因为这种方式会把一些异常的账号关联在一起，且会存在仅登录使用过一次的设备信息。
解决方案：设定衰减系数，对单用户多设备加大衰减力度。
备注：通常一人多设备对应的场景有，借用朋友设备、设备脏数据、刷号等。
58业务场景丰富，其产品线包含58同城、赶集、安居客、中华英才网、转转、58到家等。
在这种多用户、多业务线、多子公司的情况下，用户数据种类繁杂，构建画像的数据来自于日志、简历库、帖子库、用户信息库、商家库、认证信息库等数据源，其中仅日志就涉及到58、赶集、安居客等各个子产品的PC/M/APP日志。
如何将众多数据源串联起来是构建用户画像面临的第一个问题，如下是58构建的ID-Mapping模型图。
58赶集：guser、gbdid、gapud、gimei
其中可以通过telep、bidua、appua、imei、idfa关联起来，由此建立不同ID之间的关联映射关系，就是ID-Mapping的过程。
美团与大众点评进行了合并，那同一个用户在两个APP上有不同的身份标识，美团要怎样进行唯一标识呢？
我们来看看美团和大众点评的账号体系。美团采用手机号、微信、微博、美团账号的登录方式；大众点评采用的手机号、微信、QQ、微博的登录方式；其交集为手机号、微信、微博。最终，对于注册用户账户体系，美团采用了手机号作为用户的唯一标识。
从上述案例可看出，ID-Mapping有三种常见方法：
企业中最常用的是基于账号体系来做ID的打通，用户注册时，给到用户一个uid，以uid来强关联所有注册用户的信息。
那对于未注册用户可以通过终端设备ID精准识别，包含Android/iOS两类主流终端的识别。通过SDK将各种ID采集上报，后台利用的ID关系库和校准算法，实时生成/找回终端唯一ID并下发。
结合各种账户、各种设备型号之间的关系对，以及设备使用规律等用户数据，采用规则规律、数据挖掘算法的方法，输出关系稳定的ID关系对，并生成一个UID作为唯一识别该对象的标识码。
由于公司包含租住、生活服务等多条业务线，不同业务的用户标识不一；数据来源各不相同，数据散落在各业务表中，ID标识包含phone、邮箱、神策ID、cuid、IMEI、idfa等。
ID-Mapping体系的建立，旨在打破数据孤岛，将更多用户的数据关联起来，形成全域用户画像，帮助营销人员进行精细化营销。
第一阶段：基于用户账号体系，用phone关联注册用户的ID，维护一个ID映射库，统计注册用户线上线下行为数据。
第二阶段：基于设备，用device ID关联未注册用户的ID，统计未注册用户的行为数据。
第三阶段：基于账号&设备，采用数据挖掘算法做ID映射。
接下来要做的就是按计划开展项目。这个过程中，注意要点在于，基于公司的数据现状出发，一步步实施；梳理清楚底层数据表中的ID标识；理清楚各ID之间的关系图，便于做映射。
整个ID体系建设完成后，接下来会开始标签设计的篇章~
03.标签构建过程中，如何快速盘点业务及数据需求？03
- Post date：2020-10-27 16:49:05
- Article url：http://www.shujurenclub.com/a/a-li-wang-yi-mei-tuan-58-yong-hu-hua-xiang-zhong-de-ID-ti-xi-jian-she.html
- Prev > 干货 | 用户画像在携程商旅的实践
- Next > 干货 | 阿里/网易/汽车之家画像标签体系
阿里/网易/美团/58用户画像中的ID体系建设
干货 | 用户画像在携程商旅的实践
数据百问系列：用户画像的数据该怎么存？
对用户画像标签体系的一点思考
Comment list 共有 0 条评论
发表评论
取消回复
