事件分析平台设计球王会

　　球王会服务器每天收集的用户行为日志达到上亿条，我们希望能够充分利用这些日志，了解用户行为模式，回答以下问题：

　　为了回答这些问题，事件分析平台应运而生。本文将首先介绍平台的功能，随后讨论平台在架构上的一些思考。

　　总的来说，为了回答各种商业分析问题，事件分析平台支持基于事件的指标统计、属性分组、条件筛选等功能的查询。其中，事件指用户行为，例如登录、浏览、购买付费等。更具体一些，事件分析平台支持三类分析：「事件分析」，「漏斗分析」，球王会和「留存分析」。

　　事件分析是指，用户指定一系列条件，球王会查询目的指标，用于回答一个具体的分析问题。这些条件包括：

　　让我们举个具体的例子。我们希望回答「最近一年，在北京地区，不同年龄段的用户在下单时，下单金额的平均数对比」这个问题。这个问题可以很直观地拆解为下图所示的事件分析，其中：

　　例如，用户的完整购买流程可能包含以下步骤：登录 app - 浏览商品- 加购-提交订单。我们可以将这个流程设置为一个漏斗，分析整体以及每一步转化情况。

　　此外，漏斗分析还需要定义「窗口期」，整个流程必须发生在窗口期内，才算一次成功转化。和事件分析类似，漏斗分析也支持选择维度分组和时间范围。

　　在留存分析中，用户定义初始事件和后续事件，并计算在发生初始事件后的第 N 天，发生后续事件的比率。这个比率能很好地衡量用户的粘性高低。

　　在下图的例子中，我们希望了解 app 是否足够吸引用户，因此我们设置初始事件为激活app，后续事件为浏览，留存周期为 7 天，进行留存分析。

　　数据写入：埋点日志从客户端或者服务端被上报后，经过 Kafka 消息队列，由 Flink 完成 ETL，然后写入 ClickHouse。

　　分析查询：用户通过前端页面，进行事件、条件、维度的勾选，后端将它们拼接为 SQL 语句，从 ClickHouse 中查询数据，展示给前端页面。

　　不难看出，ClickHouse 是构成事件分析平台的核心组件。我们为了确保平台的性能，围绕 ClickHouse 的使用进行了细致的调研，回答了以下三个问题：

　　事件分析平台的数据来源有两大类：来源于埋点日志的用户行为数据，和来源于「用户画像平台」的用户属性数据。

　　ClickHouse 在海量数据存储场景被广泛使用，高效支持各类聚合查询，配套有成熟和活跃的社区，促使我们最终选择 ClickHouse 作为存储引擎。

　　根据我们对真实埋点数据的测试，亿级数据的简单查询，球王会例如 PV 和 UV，都能在 1 秒内返回结果；对于留存分析、漏斗分析这类的复杂查询，可以在 10 秒内返回结果。

　　「存在哪」的问题解决后，接下来回答「怎么存」的问题。ClickHouse 的列式存储结构非常适合存储大宽表，以支持高效查询。但是，在事件分析平台这个场景下，我们还需要支持「自定义属性」的存储，这时「大宽表」的存储方式就不尽理想。

　　所谓「自定义属性」，即埋点日志中一些事件所独有的属性，例如：「下单一对一课程」这一事件在上报时，会带上「订单金额」这个很多其它事件所没有的属性。如果为了支持「下单一对一课程」这个事件的存储，就需要改变 ClickHouse 的表结构，新增一列，这将使得表结构的维护成本极高，因为每个新事件都可能附带多个「自定义属性」。

　　为了解决这个问题，我们将频繁变动的自定义属性统一存储在一个 Map 中，将基本不变的公共属性存为列，使之兼具大宽表方案的高效性，和 Map 方案的灵活性。

　　在设计 ClickHouse 的部署方案时，我们采用了业界常用的读写分离模式：写本地表，读分布式表。在写入侧，分为3个分片，每个分片都有双重备份。

　　由于事件分析的绝大多数查询，都是以用户为单位，球王会为了提高查询效率，我们在写入时，将数据按照 user_id 均匀分片，写入到不同的本地表中。如下图所示：

　　之所以不写分布式表，是因为我们使用大量数据对分布式表进行写入测试时，遇到过几个问题：

　　Too many parts error：分布式表所在节点接收到数据后，需要按照 sharding_key 将数据拆分为多个 parts，再转发到其它节点，导致短期内 parts 过多，并且增加了 merge 的压力；

　　写放大：分布式表所在节点，如果在短时间内被写入大量数据，会产生大量临时数据，导致写放大。

　　我们可以使用 ClickHouse 的内置函数，球王会轻松实现事件分析平台所需要提供的事件分析、漏斗分析和留存分析三个功能。

　　事件分析可以用最朴素的 SQL 语句实现。例如，最近一周，北京地区的，发生过浏览行为的用户，按照年龄段的分布，可以表述为：

　　留存分析使用 ClickHouse 提供的 retention 函数。例如，注册APP后，计算浏览APP的次日留存、7日留存可以表述为：

　　漏斗分析使用 ClickHouse 提供的 windowFunnel 函数。例如，在 浏览 - 购买，窗口期为2天的这个转化路径上，转化率的计算可以被表达为：