谐云独创前后台关联无埋点技术，实现用户行为超细粒度分析

未分类

随着互联网的快速发展，大数据时代的信息爆炸，企业从海量数据中获取数据、分析数据的难度指数增加；在互联网打破时空地域限制的背景下，用户拥有了更多选择，这对企业的转化率、用户粘度提出了挑战。企业亟待抓取全面的用户行为数据以迅速分析业务、优化产品、响应决策，最终提高运营效率、产品体验、用户满意度。

为了帮助企业克服以上痛点，今年四月份谐云科技正式发布了用户行为分析产品代号UAM(User Activity Monitor)2.0，在信息爆炸的当下，助力企业进行高效的用户行为数据分析，致力于为企业提供新一代用户行为分析工具，帮助企业优化、改善用户的体验。

为了帮助大家进一步了解UAM这个产品，InfoQ对谐云科技进行了深度采访。

InfoQ:你们做这个UAM产品的出发点是什么？

谐云科技：

当前，国内市场上关于用户行为分析的产品有两种，分别是基于前台数据的用户行为分析和基于后台埋点采集数据的用户行为分析，这两类产品都有一定的片面性，用户行为的结果和用户的行为分析是不一样的，一个是结果，一个是过程，如果只是侧重于一个方面，我们认为只完成了用户行为分析的一部分。只有两者很好地结合起来，才能算是完成真正意义上的用户行为分析。

数据是用户行为分析的大前提，一切的分析都始于数据，巧妇难为无米之炊。用户行为的数据来源有前台点击数据和后台业务数据。仅仅使用后台的业务数据，会导致前台用户行为缺失，这样和仅仅通过数据库做传统地统计实现的效果差不多。假设有两种路径能够下单（用字母D表示），A-B-C-E-D 和A-B-F-D，我们通过后台数据仅仅知道一个客户下单以及下单金额是多少，可如果我们想知道通过哪种路径引导才能让客户更容易下单该怎么办呢？

如果仅仅使用前台数据，还是上面那个例子，虽然能够识别出用户是来自A-B-F-D下单的，但是要想分析这个路径带来的用户有多大价值，在这之后，该用户是否再次购买，之后在我们产品上消费了多少，像这种复杂的分析，依赖前台数据也是做不到的。

为了让企业更加关注其高净值客户的行为，根据二八原则，只有服务好了高净值的客户，才能保证公司正常的利润，在此基础之上，才能更好的服务于其他客户，保证公司的发展。

谐云UAM由此诞生。

InfoQ:请您向我们介绍一下UAM的产品功能，以及使用场景。

谐云科技：

谐云UAM的关键技术是前后台关联无埋点技术，帮助企业做到在几乎没有代码开发的工作量前提下，只依赖配置（某些情况需要少量开发），就能细粒度的分析用户行为。

目前市场的用户行为分析产品，主要是前台无埋点和后台埋点的产品。后台无埋点获取数据的产品比较少，而前后台关联分析的用户行为产品就更少了。

谐云UAM给企业带来带来最大的价值，我们总结为两高一低。两高为高效的实施，高价值的分析报告，低成本的开发和维护代价。

谐云UAM还可以轻松应对遗留系统或者缺少维护的系统的分析需求，而绝大多数企业都存在类似的系统，从长期来看，越来越多的系统会缺少维护，而在面向互联网转型过程中这方面的分析需求也会越来越强烈。

以我们服务的客户蒙牛爱养牛为例，蒙牛爱养牛，由于主要用户群是企业端，这个群体的客户量并不大，但是单次的客单价都比较高，因此对爱养牛来说，提高用户体验在其客户管理体系中占有核心地位，只有更加精细粒度的用户行为分析才可为其每一位高净值客户的转化率和留存率保驾护航。谐云UAM再现用户使用其产品时的场景，还原了用户使用中碰到的问题，对于每个使用时间很短的用户，均会安排专人通过谐云视频回放功能研究用户如何使用，并优化产品。同时针对浏览过大额商品的城市，都通过相关调研了解到该城市相关企业，并安排专人针对性营销。谐云UAM深度全面地分析了用户行为，为爱养牛调整营销策略、优化产品提供了数据支撑。

InfoQ: UAM这个产品强调的前后台关联无埋点的技术特点是什么？它比传统的技术好在哪儿？

谐云科技：

传统的数据仓库方式在应对用户行为分析诸多问题中，出现了一些不适应的情况，第一建设成本贵，第二只能够分析落库的数据，在实际业务系统开发过程中，很多用户操作的中间数据是不会落库的。

前台无埋点技术，收集了前台的用户操作的行为数据，但是仅仅停留在了前台数据，缺少一些细粒度的业务数据，如回答“订单金额大于1万的高净值客户的行为以及转化率”就比较困难，必须将前后台数据打通进行关联分析，而业务数据只能存在后台系统中。

我们谐云科技的前后台关联的无埋点产品，前后台数据能够关联起来，相对仅仅依赖靠前台无埋点的产品，具有细粒度的业务维度数据的优势，这些细粒度维度的业务数据，都来自于后台无埋点。所以我们能够回答诸如“订单金额大于1万的高净值客户行为以及这个群体的转化率”等问题。

在典型的前后台交互的程序中，数据最通用的来源，我们发现是wired data。Wired data应该包含了90%以上的细粒度的业务数据，只是这些数据是以不同格式存在于wired data中，这里的难度是如何设计一种数据处理方案，能够将存在于wired data的数据利用起来，这是后台无埋点的实现关键。

InfoQ:你们在实现无埋点技术的过程中，遇到过什么问题？后来是怎么解决的？

谐云科技：

由于前台后台采集的数据是分开的，两者如何进行关联分析让我们苦恼了很久。前后台无埋点的关联点就在于cookie，在用户请求中埋入特殊的sessionid和uid。后台的数据采集wired data中如用户信息，通过sessionid和uid关联之后，就可以知道某次下单业务是哪个用户操作的，在页面上有何种行为。

InfoQ:对于cookie等敏感信息的传输安全是如何保护的？

谐云科技：

第一，我们的用户分析行为都是部署在客户私有网络环境，我们是不碰客户数据的。后台无埋点所获取的数据，是从服务端获取的，所以依赖的是内网安全。

第二，前台无埋点采集的数据，我们可以通过加密机制传输，保证安全。

InfoQ:UAM系统的实时性如何？后端数据分析系统采用了哪些关键技术和框架？

谐云科技：

我们产品的实时性目前完全满足用户行为分析的需求。与日志和埋点方案相比，具有同一级别的实时性，但相比传统ETL的方案，实时性会高很多。

实时性是我们今后需要努力的一个方向，由于我们采集了大量的数据，所以数据处理相对耗时，目前做到了分钟级的延时。

后台我们使用了Spark，hdfs，ElasticSearch，Airospike等框架。

InfoQ:未来打算在哪些方面做进一步的升级？

谐云科技：

最关键的是我们需要引入更多的算法，来智能化处理配置信息，减少配置，让用户傻瓜式地使用上我们的产品。

另外一个是刚刚提到的实时性，优化系统，争取明年能到秒至毫秒级，达到这个功能之后，可以用在风控领域监控业务指标。