ClickHouse 官方文档

文中举例均为简单示例，根据业务自行扩展。

实际业务场景中很多会需要统计 pv uv 值，比如页面的 pv uv 值，商品、店铺的 pv uv 值……

这边举一个简单的例子，比如说统计商品访问的 pv uv：

• 简单的源数据表创建如下：

1
2
3
4
5
6
7
8
9

CREATE TABLE IF NOT EXISTS test.product_operation
(
    ts_date_time  DateTime COMMENT '事件触发时间',
    gen_date_time DateTime COMMENT '入库时间',
    product_id    UInt64 COMMENT '商品ID',
    user_id       UInt64 COMMENT '用户ID',
    operation     UInt16 COMMENT '商品操作类型（1：访问，2：购买，3：收藏）'
) ENGINE = MergeTree()
      ORDER BY (toDate(ts_date_time), operation);

像这种数据量可能很大，又需要预先聚合计算以减小获取耗时的，我们添加 物化视图 来帮助我们做这个事。

• 创建按天聚合数据的物化视图：

1
2
3
4
5
6
7
8
9
10
11

CREATE MATERIALIZED VIEW IF NOT EXISTS test.product_operation_day_pv_uv_mv
            ENGINE = AggregatingMergeTree()
                ORDER BY (ts_date, product_id, operation)
AS
SELECT toDate(ts_date_time)        as ts_date,
       product_id,
       operation,
       sumState(1)                 as pv,
       uniqState(user_id, ts_date) as uv
FROM test.product_operation
GROUP BY ts_date, product_id, operation;

• 创建总的聚合数据的物化视图：

1
2
3
4
5
6
7
8
9
10

CREATE MATERIALIZED VIEW IF NOT EXISTS test.product_operation_total_pv_uv_mv
            ENGINE = AggregatingMergeTree()
                ORDER BY (product_id, operation)
AS
SELECT product_id,
       operation,
       sumState(1)        as pv,
       uniqState(user_id) as uv
FROM test.product_operation
GROUP BY product_id, operation;

• 现在我们往源数据表中插入一条数据：

1
2

INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-26 10:10:10'), now(), 1, 1, 1)

• 再查询：

忽略时区问题导致的时间显示

1

SELECT * FROM  test.product_operation ORDER BY gen_date_time DESC;

• 查询视图（day）：

1
2

SELECT ts_date, product_id, operation, sumMerge(pv) AS pv, uniqMerge(uv) AS uv
FROM test.product_operation_day_pv_uv_mv GROUP BY ts_date, product_id, operation;

• 查询视图（total）：

1
2

SELECT product_id, operation, sumMerge(pv) AS pv, uniqMerge(uv) AS uv
FROM test.product_operation_total_pv_uv_mv GROUP BY product_id, operation;

• 再往源数据插入数据：

1
2

INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-26 23:10:10'), now(), 1, 1, 1);

• 查询视图：

• 换个 user_id 插入数据：

1
2

INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-26 23:20:10'), now(), 1, 2, 1);

• 查询视图：

• 再换个 ts_date_time 插入数据：

1
2
3

INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-27 10:20:10'), now(), 1, 1, 1),
       (toDateTime('2022-01-27 11:20:10'), now(), 1, 2, 1);

• 查询视图：

综上，实现不难，clickhouse 丰富的聚合函数可以节省很多操作。

还可以用 Kafka引擎 做数据的增量同步，结合视图。

其实年味没那么浓了，不过一家人在一起就很满足

去年没有能回家，今年可算是回去了。回去的前一天在曙光医院做了核酸，排了一个多小时吧，然后到了之后在镇上又做了几次核酸，免费的。

老爸之前看猪肉那么贵，去年养了几头猪，可想而知，贵了一段时间后价格就下来了，到后来就没赚到几个钱，人还弄得辛苦。年前也是杀猪的时候，现在不像以前了，现在先用电给猪电一下，再动手。喊声凄惨凄惨的。弱肉强食，生物链。年前忙活了两天，几头猪到了年三十还没弄都卖掉，还留下来差不多一扇。没办法，只能自己塞到冰箱了，塞不下就用盐腌起来，反正也是要吃肉的嘛。这么一整，老爸说不愿意养猪了，寻思去养牛……

今年也是没有走亲戚，省事却是省事了。过年期间也是天天呆在家，吃吃喝喝躺躺看看电视，十分惬意。

在家呆上个一星期，又要背上行囊沪飘了，这么算来，到今年就在上海呆了五年了，好快啊。时间都耗在了大上海，钱也没赚几个，最近这个大 A 也疲软不堪，不成气候啊。

这个月大事必要数俄乌大战了，这一战波及全国，重金属也随之狂飙，本来是准备最近就要买金器的。上次一犹豫没有买，现在都已经每克又涨了几十了，头皮发麻。再看看吧，再过个几天 A 还是这样疲软也没办法，该取出来的还是要取出来，用钱之时。

国内的和平是其他国家所渴望的，生活在如今这个和平的国度是我们大家的幸福。

及时行乐，命最重要。

• 元旦

  今年这个元旦没有回家也没有出去玩，是的，因为疫情。

  日子很快，一晃就过。

• 生日

  小邱的生日过得也不开心，当天还干了一架，晚上吃了一顿羊肉锅。

  买了一个千层蛋糕，不过没有吃完后来丢了半个，太浪费了。

  后来还有次喝酒喝大了，好家伙。

• 回家

  回家的票倒是买了，近来上海静安奶茶店疫情封锁引起的话题不小。

  还好浦东这边没有，不然就真回不去了。

  回家算了算能待个八天，已经有半年没回过家了，去年春节还没有回去。

  到时候带点年货回去，再包上个红包。

  回家的心已经很迫切，核酸肯定难免，真想早点回家了。

• 疫情

  疫情我想也是大概率今年或者明年就不会这么恐慌了，后期可能也就跟流感一样与人类长期共存，死亡率也降到跟流感差不多。海外疫苗好像已经有很大的进展，尽管大家对口罩、酒精、健康码、行程码已经习以为常。大家当然都不想自己的行程会受到未知因素的影响，已经过去了两年，该要对此做一个了结了。人类渴望自由生活的脚步不可阻挡。

接下来就是喜迎春节了！

躲过了迪士尼，没想到在园区中招了

今天是 12 月 7 日，上午 2 号楼说是有密切接触者然后下午确诊了。然后整个园区被封锁，大家难免有点慌乱。接下来做了核酸，然后就是等结果，也不能出去，所有人都在公司。现在已经过了 12 点了，还没有消息，估计今天是走不掉了，是集体在公司通宵的一天。没想到离疫情可以这么近。

一点左右眼皮开始打架，迷迷糊糊在工位上眯了一会，身体实在是难受。之后公司发了睡袋，在地板上又迷迷糊糊躺了两三个小时，现在浑身都不舒服。七点就起来了，公司发了牙刷，看来还得要一段时间，至少要 48 小时了。庆幸最近没有去休闲广场搓麻将。

在公司睡了两个晚上，今天终于解禁了，终于能回去洗个热水澡，躺在柔软的大床上了。现在是 12 月 9 日下午 6 点。对面整栋楼的人都带去酒店隔离了，来了好几辆大巴车，好险。

海马体初体验

由于小邱说想去摄影想了好几年，但是一直没去，我就索性给她预约了长泰广场的海马体。结果没成想小姑娘羞涩，怎么也不想去，于是乎第一次就退了。然后这次是她自己主动提出的，那就没办法了，不想去也要去，于是就开始了摄影前的“减肥”。这个肥有这么好减的吗？一斤没瘦甚至去拍摄前一晚还点了夜宵吃……

首先，里面的工作人员不是很多，一个人要负责服装、化妆、发型、道具。我们是圣诞当天去拍的，可能也是跟特殊日子特别忙有关系。场地就是一个小房间，背景一块布，然后摄影师会帮凹造型，全场七八个造型，咔咔咔。我们俩都一本正经极其严肃，出来的效果可想而知。简直是销售界的精英……

然后约了元旦去门店看片，再给修一修……

今年元旦也是没能回家……

而已已逝，二六尔尔

这个年度总结来得好像迟了点，一方面感觉真是如白驹过隙，另一方面确实也是近段时间过于懒惰，无法静静地沉下心来……

今年好像没有完整看完一本技术书，只是看了一些电子文档。当时花了小两张毛爷爷买来的 k8s 技术书甚至没有正儿八经打开翻阅。

年初托别人介绍，遇到了现在的小邱。现在两人在一起快 275 天了，胖了将近十斤，过几天就是小邱的生日，没什么好送的，就送上我炽热的内心吧。

今年遇到教育行业大整顿，然后我就离开了原先的公司，换了一家初创型的，中间没什么大波折，目前为止一切感觉也都还不错。

今年两人在一起花销最多的应该就是吃的了，光光自助就去了不止十回了吧，吃进去的是自己的，不亏。

今年养了一只猫，小时可爱，大了点后皮。手上时不时出现几道划痕。

今年也没攒什么钱，理财还给理没了一点。

今年疫情还是伴随在我们身边，时不时搞点大动静。

今年回家次数明显变少了，好多个节假日也没能回去。

今年没有写技术文章，已经快废了…… 没有输出

今年在公司用 python 写了不少代码，学习了 clickhouse、kafka、es…… 还开始自学大数据相关东西，还是得学新东西，能省很多业务操作

今年收货了很多东西，也开始对未来的规划更加得清晰，有很多种生活的方式，我们只要选择那种适合我们的就行

最近为了用户行为分析头疼不已，找了一圈也没有什么特别好的方式，只能自己摸着石头过河了。

今年这个双十一剁得好像还可以

龟

去年九月在八戒家买的两只麝香苗前几天出掉了，算下来血亏。我可爱的小麝香啊。

现在只剩下那只北美鳄了，算下来也有四年多了，今年个头倒是长得好像不多，可能跟我有一顿没一顿喂食有关吧。现在龟不在了，龟粮还刚买来没开封，现在又得要降价出掉了，心痛。

冷

又是一天降温十度以上，一天入冬。天冷就应该多吃吃火锅，小邱双十一买的火锅真是太棒了，在家吃火锅也比外头划算得多，吃到瘫在地上。现在电瓶车早上晚上骑的时候呼呼的，不戴手套的话手真的没知觉，还好配备了手套和耳罩，公司离得也近，还是比较方便的。听说今年的冬天要巨冷，现在还没到冷的时候哩！

吃

最近连着吃了两天的寿喜自助，吃完真的连看到肉头都晕。最近一段时间不怎么想吃肉了，还是想吃点蔬菜。现在蔬菜比肉还贵着哩！吃得杂，肚子也胀气，运动也少了，体重就上去了。

地震

之前从来没有亲身经历过这种这么明显震感的地震，这次在办公室都感觉到了大楼的震动和晃动。吓得我们赶紧下楼，直到确定安全了为止，震感很明显。

玩偶

迪士尼的圣诞款官方已经出来了，这次采用的预约购买策略，预约到的名额还要去现场排队购买。这一波不知道二级市场要炒到什么价位。到时候我也试试手气。又爆发疫情了，活动也延期了。

好久没回家了，刚稳定了点，上海网传又出现确诊的了，唉。

月首，国庆节假日跑步进场，在还没享受到位又匆忙离场，不想上班。

前半个十月，还是如同夏日般炎热干燥，一夜秋雨，寒气上身，瑟瑟发抖，纷纷穿上棉衣。

这月买了迪士尼的年卡，看到了半夜川沙的吵闹，也看到了玩偶沦陷的男男女女，川沙妲己直接溢价几倍。

终于看到了迪士尼的夜晚烟花秀，特别是漫威的那一系列完美衔接，真是如同身临大片场景，张嘴发不出惊叹。

一年一度的双十一又要开始了，此时购物车已填满了心仪之物，预售方式也覆盖了绝大热门商品。本来以为够疯狂的世界了，前几天一则新闻又刷新了对世界的认知，格局还是太小了。一个带货主播一晚就可以产生上百亿的销售额，结舌。在领域做成头部都是了不起的人物。

本来报名的横马又因为疫情延期了，本来票和酒店都定了，还好只扣了一点手续费。这次由于国庆旅游导致的多地爆发，还是让人们不能对疫情有所松懈。

近来已无多运动，有些衣裤穿着穿着就穿不了了。已经开始吃沙拉了，小肚腩略微明显，脸蛋略微圆润。

跟小邱玩了switch的分手厨房，游戏确实好玩，非常能锻炼手和脑的结合，也很讲究策略，两人得要很好的搭配。业余消遣，还不错的游戏。

桂花开始飘香，秋风开始萧萧，我也还在劳忙，不知何时下岗。

现在有点秋老虎的意思了，虽然前段时间吹了几天台风。

上海台风这个月又刮了一阵子，就在即将要登陆上海的时候它拐弯了，不过我们也没有放假或者在家办公。对了，这个月入职了新公司，就快要一个月了。

打工不易啊，差不多同一时刻来的两个小伙都走了，现在就剩我了，也不知道能呆多久，感觉很不好啊。

中秋回了一趟家带着小邱，回家确实也没什么好逛的，天嘛又热，在家呆了三天。

国庆准备去南通，一个长假，现在就在盼着这个假期了，人活在世，悲一时是时，喜一时也是时，自在就行。

现在搞了辆电瓶车，上班不用那么着急了，差不多都是九点出发。想到给电瓶车上牌照的那个周六早上，真是难从心底来啊。周六七点多出门，到车管所差不多八点，结果前面已经有好几十人在排队，他们有些甚至早上六点就在排了。排队也就算了，那天早上还下起了暴雨，没带伞啊。一直到下午一点多，全身湿透的完事回去了。

太难了，还是早起的鸟儿有虫吃！

今天休息一天，然后上 5 天班就国庆了。

期待国庆！

八月，身边多了许多空位，少了许多欢声笑语。

每天都有熟悉的人奔赴更好的前程，也有不少人一直在等待那一刻的来临，包括我。

但看来，那一刻我是等不到了，至少没有那么快。

现在每一天其实没有多少活，大多都是闲的状态，大家也都在各自准备着，没办法，行业的问题。

现在每天下午都犯困得不行，晚上回去就又精神抖擞。脑袋晕昏昏的，就想躺着从白天睡到晚上。

秋乏症状：

1、人容易疲乏，经常工作一会就觉得无精打采，打不起精神，注意力不集中，容易困倦、打哈欠、疲劳，昏昏欲睡。人们通常选择喝浓茶或者浓咖啡，但是都起不到提高注意力和专注力的效果，说明秋天容易疲劳。

2、容易口舌干燥，天气比较干燥，容易口干、口渴，甚至会引起嗓子疼、喉咙发炎等等症状。

3、睡眠质量差，白天不能集中专注力，困倦至极，到晚上更难以入睡，入睡以后睡眠的质量也会很差，而且会经常做梦。

4、人容易暴躁，人在这种情况下特别容易焦虑，性格容易暴躁，容易产生倦怠等情绪。

终于有猫了！

一只名叫球球的英短虎斑就这样成为了我沪漂生活中的第一只小猫咪。

球球刚来的时候特别安静，放到笼子里自己就在那躺着睡觉。到了第三天就开始不装了，飞檐走壁，到处乱钻乱咬，不过还好能自己跑到猫砂里方便，算懂事。

有猫的生活确实多了一点情趣，是得像自己的孩子一样对待新成员，皮得很。

八月的尾巴我也是要离开这家公司了，没办法，行业的问题，抵不过。

本来想着多留些时间能出去玩玩休息下，结果这几天上海又出现了病例，风险等级一下子就给提高了，那就躺着吧。

希望多年后自己的这个选择不会让自己失望，月底入职新公司。

机械迷城（Machinarium），最近终于通关了，陆陆续续玩了些时间。虽然是 09 年的游戏，但是丝毫不觉得逊色，许多场景令我绝呼！太喜欢这种解密系的游戏了，下次趁着 Steam 搞活动一定要把
Amanita Design 的游戏多买点。昨天《刺客信条·大革命》打折就买了，这两天体验体验其中的超真实场景。

这个月发生了不少事

7·20 郑州特大暴雨，2021 年 7 月 18 日 18时 至 21 日 0 时，郑州出现罕见持续强降水天气过程，全市普降大暴雨、特大暴雨，累积平均降水量 449 毫米。可怕的暴雨，极罕见的降雨量导致了几十人遇难，天灾。

住房教育大整顿，政策影响还是相当大的，俗话说得好，做什么也不能跟 zf 对着来。一个政策下来，刷刷地，变化快得令人瞋目结舌。就我目前所在的在线教育行业公司，最近政策下来，相关业务马上就停了，大裁员是少不了。有一些大型教育行业公司已经开始出手，听说裁员的裁员，关门的关门，裁员都是 70% 往上。当潮水褪去后，才知道哪些是在裸泳。

中概股的黄昏?中概股最近跌得是有点惨。引爆老美的股市没搞成，把自己炸了个半死……科技确实能给人带来便捷与生活质量的大幅提升。试想要是没有滴滴哈啰这类出行科技公司的出现，现在外面会是怎样？要是没有饿了么美团这类外卖科技公司的出现，现在生活会是怎样？要是没有腾讯阿里这些科技巨头，现在市场是不还是乱如一锅粥？当然没有这些种种科技公司的出现，人们还是照样活。不过当这些出现在我们的日常生活中以后，渐渐得发现我们已经很难再去脱离他们了。我还是坚信科技的力量，只不过要保持一份冷静。

新冠又来了，这次据说变异了，传播更快了，短短几天范围就扩散到了几十个省份，太可怕了。现在管控又严格起来，都不能私自离沪了。

东京奥运会也开始了，也是由于疫情原因推迟了一年，没想到今年疫情还是没有结束。奥运会的吐槽，裁判惊人的眼力。另外，南京要感谢东奥。

写在最后，今年确实是比较难的一年，也许去年说的那句话并不虚。最差的一年，也是未来最好的一年……

共勉。