@no13bus
2016-09-18T14:54:21.000000Z
字数 1706
阅读 1265
姨搜分析
姨搜 大数据 宜信
这篇文字主要是通过微信里面的一些公号文章总结下宜信能够实现快速秒批的核心系统-姨搜的技术架构和涉及到的相关技术.希望能给自己和风控一些启发, 提高消费金融的核心-风控系统的时效.
1.名词解释
- 用户画像: 根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的。 具体见知乎的解释. 还有一些做这种分析的公司
- 知识图谱: 包括用户画像以及用户之间的社交等属性的联系。知识图谱由Google提出，目的是提高搜索质量。以风控举例来说，假如骗子团伙一起来骗取额度套现，从单个用户画像来看，审核人员不易甄别出虚假用户， 但是如果将他们之间的联系（如紧急联系人的电话号码，登陆IP等）进行分析的话，会有效的识别出骗子之间的属性关联。参考资料
- 结构化数据/非结构化数据: 大数据风控建模中，有确定意义的所谓结构化数据只占一部分，比如在借款申请表中的身份证号码，一定是16位或者18位，并且代表一个人的身份，根据这个号码可以从公安系统中查到一个人的姓名、照片等信息，这就是结构化数据。大部分数据是不太容易处理的非结构化数据，比如网页上出现了一串不是很规则的数字，有可能是发帖人的电话，有可能是某个饭店的电话，有可能都不是，甚至有可能不是电话号码，这就是非结构化的数据，需要用一些专业技术进行分析。
2.姨搜的用途
实时授信或者辅助信审人员进行授信,甄别用户
在姨搜出现之前，信审人员的工作是这样的：
有了姨搜之后，他们的工作是这样的，只需要在姨搜系统里输入申请人的身份证号码，即可获得与申请人相关联的数据，如下：
姨搜以网查为切入点，密切配合宜信各条业务线的特点和需求，积极、高效提供风控数据的一站式服务。姨搜的爬虫覆盖了100多个公开网站（如人法、工商、百度、生活服务类、十几家网贷黑名单等），能支持单日百万个query的爬取
反欺诈.
在姨搜出现之前，反欺诈人员的工作是这样的：
他们需要根据借款人提供的信息，查找多方面资料，进行不同属性的比对，从而发现“羊群中的狼”。这种工作复杂而枯燥，为了识别团伙欺诈，往往需要收集、整理、分析各种维度的数据，工作量更是成倍增加。
有了姨搜之后，他们的工作是这样的：
姨搜依托搜索技术中最先进的知识图谱技术，把每个客户的信息、宜信过往客户的信息以及网络上公开的信息织成一张巨大的关系网，并通过可视化的图形将这种关系展示出来。结合反欺诈部门多年来积累的实战经验，图谱搜索能快速的找出来存在欺诈的客户.
金融获客(给BD同学推送有价值的用户)
3. 姨搜的架构
需要说明的几点:
首先是数据的获取. 姨搜的数据来源包括:
- 用户在公共平台的公开数据(家庭联系人数据,电商数据, 社交数据), 使用爬虫爬取.
- 用户授权宜信查询的数据
- 合作伙伴提高的用户数据
- 宜信的线上和线下历史数据
其次进行数据的去噪
数据去噪是特别具有技术挑战的难题，需要花很大的精力去做数据的去噪。除了技术手段要高，机器学习的能力要比别人强，还有一个关键的方面，就是要用多个数据源去交叉验证。有些时候，在技术不完全能解决的情况下，就要线上线下相结合，进行验证。关于数据整合后如何使用看下图:
4. 姨搜的使用流程
- 当一份客户申请资料被输入宜信的信审系统后，“姨搜”会自动针对核心信息进行检索与筛选，瞬间生成一张信息检索结果列表，审核人员利用这些数据来辨别用户资料的真实、完整性。
- 同时，信息的分析和归类也是一项极其关键的工作。“姨搜”会对所有相关数据进行预筛选，并且按照信息的重要程度分等级呈现给审核人员，警示关键风险点。辅助审核人员进行风险把控.
- 姨搜的问答系统会根据用户的资料对可疑用户自动生成一份问卷和答案, 比如借款人家庭、单位地址的周边信息自动生成多个维度的问题及答案，并进行精选、分类等等, 方便风控同学电调的时候甄别用户.
5. 我们所欠缺的
- 公共网络的爬取系统
- 结构化,非结构化数据分析能力. 参考Python中的NumPy,SciPy,Matplotlib以及Pandas, Scikit-learn库和机器学习的内容.
