烈日七月(2022)

二十多年前七月的某一天,我,一个平平无奇的帅小伙,从妈妈的肚子里跑了出来。

今年的上海感觉格外得热,不止上海,周边城市除了高温预警也还是高温预警。甚至都有记者蹲在路边用铁锅炒鸡蛋,纯天然,眼球足够吸引。

前几天回了趟家,约了个顺风车,这也是我第一次从上海回去做顺风车的。本以为是不可能约到的,结果还是个老乡接的单,很巧很巧。路上,很颠很颠,三个小时,时常想吐,回来也是顺风车,一样。三小时的高速路程,看似距离也不是很远,但足够让人感到疲惫。

还好回家了,不然又不知道什么时候才能回去。


美好六月(2022)

六月很快也就要过去了。

这一个月看似一切都在往好的方向前进,疫情得以控制,股市也得以触底反弹。就是在上海的人们还是不能在商场中堂食,除了这一点和常规做核酸和扫场所码进出以及口罩的佩戴,其他与之前基本无异。

每周六一次全体核酸大筛查,72小时内的核酸证明才能进出公共场所。疫情的这几年总是反反复复,一波平息后就觉得终于可以不用去哪都戴口罩不用再捅鼻子捅嗓子了。但现实往往没过多久,它又拿着刀叉来人群中疯狂“索命”,隔三差五还带个兄弟。

最近唐山的事件沸沸扬扬,当小纸船中的水蒸干之后,总会让火一烧而光。网络是把双刃剑,像这类事情若不是网络的传播,在早十几年前就像大海中滴入了一滴水,什么波浪都不会起。不过这种事情我相信还是有很多的,只是没有烧起来。

最近去打了狂犬疫苗,被猫抓得实在太多,求个心安……由于现在附近只有一个医院可以打这个疫苗,去排队的时候真是惊呆了,原来每天有这么多人要打狂犬疫苗的。一共要打四针,第一次打两针,后面隔一星期打一针,再隔二星期打一针,一针八十块啊还不能走医保。医疗资源还是很匮乏的,尽管如今医疗水平上去了,医院数量也多了,但还是架不住好的医院太少了,专业的人太少了,生病的人,太多了。大城市尚且如此,小城市就更加困难了,医疗的未来还需要加速发展。

上海最近连续几天都是零新增了,俄乌局面也开始缓和,一切都在变好。

2022已经过去一半了。


解封五月(2022)

居家办公两个多月,终于要去公司办公了。

端午搬家累得够呛,一居室确实很得劲。

提供 72 小时内的核酸证明就可以,希望这波就此能控制住了。估计之后要长时间两天做一次核酸了,还好小区内就有做核酸的站点。

突然要去公司上班一下子也不是那么适应。

相信生活会越来越好!


居家四月(2022)

从三月到四月,在好转。

已经居家办公一月有余,上海这疫情还是没有止住的趋势。前几天新增确诊人数刚有所下降这几天又有继续往上的势头,若股市像这般该有多好。

一眨眼就要到五月份了,一个小长假开始了,然而还是无法出门,只能在这个几十平米的空间自由活动。最近上海的快递开始恢复了,一切看似都在往好的方向发展了。

吃吃喝喝躺躺过五一!


焦躁三月(2022)

这个三月有点焦躁,不光是气温回升换季的焦躁还是那些个想要救国纷纷下海的人的焦躁,包括有我……

本来想着年初已经跌到位了,再缓缓就取出来买金器各种开销,没成想,一切只是开始,短短十几天已经是到了地板摩擦了。黄金还给涨了不少,郁闷……

没办法,愿赌服输,这几年的利润算是全回吐出去了。好好被市场先生教育了一番。

今天是 2022-03-15,可以看看中概股都变成啥样了,以后看到可以上网回顾回顾。

再给市场一星期,实在不行那我也没撤,钱也是到了必取的时候了,这一波投资有点失败。

这一波波的要是能撑下来,今后的收获绝对满意。可惜啊,要用钱了,真是要用闲钱投资。


昨天还在感慨,今天市场就来个大反转。

3月16日,国务院金融稳定发展委员会召开专题会议。受此消息影响,A股港股全线反攻。

截至收盘,沪指涨3.48%,深成指涨4.02%,创业板指涨5.20%,两市超4300只个股上涨,成交额近1.2万亿,北向资金净卖出0.82亿元。

午后金融股异动拉升,券商板块大幅冲高。中银证券、华鑫股份、国盛金控、广发证券涨停,中金公司、天风证券、东方财富等涨超7%。

港股方面,在昨夜中概股企稳止跌之后,今日恒生科技指数绝地反击,涨超20%,单日涨幅创最高纪录,盘中涨幅一度扩至22%;恒生指数涨近8%。

恒生科技指数成份股中,哔哩哔哩涨近40%,美团、京东一度涨超30%,腾讯控股最高涨幅24%。

这种直下直上的感觉真是有点刺激,安全带不系紧一点恐怕一下子就甩没影了。

有人欢喜有人忧。


这个月下半月都是居家办公,就快要解封的时候楼下又出了一个阳的,这下又得 14 天,估计再这样弄下去得到劳动节了。上海这波是真的没控制住,影响太大了,经济靠什么来增长呢。

之前屯的菜已经快消耗完了,最近早上都在抢菜,是真难抢,实在没撤还好有许多面饼,还有一袋米。整天头发打缕,赤脚走动,时间久了确实是希望能正常出入上班,但实话说居家办公舒服确实是舒服。


第一个季度过去了,希望下个季度能都有所好转。


ClickHouse 实战整理 - 统计 pv uv

ClickHouse 官方文档

文中举例均为简单示例,根据业务自行扩展。

实际业务场景中很多会需要统计 pv uv 值,比如页面的 pv uv 值,商品、店铺的 pv uv 值……

这边举一个简单的例子,比如说统计商品访问的 pv uv:

  • 简单的源数据表创建如下:
1
2
3
4
5
6
7
8
9
CREATE TABLE IF NOT EXISTS test.product_operation
(
ts_date_time DateTime COMMENT '事件触发时间',
gen_date_time DateTime COMMENT '入库时间',
product_id UInt64 COMMENT '商品ID',
user_id UInt64 COMMENT '用户ID',
operation UInt16 COMMENT '商品操作类型(1:访问,2:购买,3:收藏)'
) ENGINE = MergeTree()
ORDER BY (toDate(ts_date_time), operation);

像这种数据量可能很大,又需要预先聚合计算以减小获取耗时的,我们添加 物化视图 来帮助我们做这个事。

  • 创建按天聚合数据的物化视图:
1
2
3
4
5
6
7
8
9
10
11
CREATE MATERIALIZED VIEW IF NOT EXISTS test.product_operation_day_pv_uv_mv
ENGINE = AggregatingMergeTree()
ORDER BY (ts_date, product_id, operation)
AS
SELECT toDate(ts_date_time) as ts_date,
product_id,
operation,
sumState(1) as pv,
uniqState(user_id, ts_date) as uv
FROM test.product_operation
GROUP BY ts_date, product_id, operation;
  • 创建总的聚合数据的物化视图:
1
2
3
4
5
6
7
8
9
10
CREATE MATERIALIZED VIEW IF NOT EXISTS test.product_operation_total_pv_uv_mv
ENGINE = AggregatingMergeTree()
ORDER BY (product_id, operation)
AS
SELECT product_id,
operation,
sumState(1) as pv,
uniqState(user_id) as uv
FROM test.product_operation
GROUP BY product_id, operation;
  • 现在我们往源数据表中插入一条数据:
1
2
INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-26 10:10:10'), now(), 1, 1, 1)
  • 再查询:

忽略时区问题导致的时间显示

1
SELECT * FROM  test.product_operation ORDER BY gen_date_time DESC;
ts_date_time gen_date_time product_id user_id operation
2022-01-26 02:10:10 2022-01-26 03:54:36 1 1 1
  • 查询视图(day):
1
2
SELECT ts_date, product_id, operation, sumMerge(pv) AS pv, uniqMerge(uv) AS uv
FROM test.product_operation_day_pv_uv_mv GROUP BY ts_date, product_id, operation;
ts_date product_id operation pv uv
2022-01-26 1 1 1 1
  • 查询视图(total):
1
2
SELECT product_id, operation, sumMerge(pv) AS pv, uniqMerge(uv) AS uv
FROM test.product_operation_total_pv_uv_mv GROUP BY product_id, operation;
product_id operation pv uv
1 1 1 1
  • 再往源数据插入数据:
1
2
INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-26 23:10:10'), now(), 1, 1, 1);
  • 查询视图:
ts_date product_id operation pv uv
2022-01-26 1 1 2 1
product_id operation pv uv
1 1 2 1
  • 换个 user_id 插入数据:
1
2
INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-26 23:20:10'), now(), 1, 2, 1);
  • 查询视图:
ts_date product_id operation pv uv
2022-01-25 1 1 3 2
product_id operation pv uv
1 1 3 2
  • 再换个 ts_date_time 插入数据:
1
2
3
INSERT INTO test.product_operation(ts_date_time, gen_date_time, product_id, user_id, operation)
VALUES (toDateTime('2022-01-27 10:20:10'), now(), 1, 1, 1),
(toDateTime('2022-01-27 11:20:10'), now(), 1, 2, 1);
  • 查询视图:
ts_date product_id operation pv uv
2022-01-26 1 1 3 2
2022-01-27 1 1 2 2
product_id operation pv uv
1 1 5 2

综上,实现不难,clickhouse 丰富的聚合函数可以节省很多操作。

还可以用 Kafka引擎 做数据的增量同步,结合视图。


团圆二月(2022)

其实年味没那么浓了,不过一家人在一起就很满足

去年没有能回家,今年可算是回去了。回去的前一天在曙光医院做了核酸,排了一个多小时吧,然后到了之后在镇上又做了几次核酸,免费的。

老爸之前看猪肉那么贵,去年养了几头猪,可想而知,贵了一段时间后价格就下来了,到后来就没赚到几个钱,人还弄得辛苦。年前也是杀猪的时候,现在不像以前了,现在先用电给猪电一下,再动手。喊声凄惨凄惨的。弱肉强食,生物链。年前忙活了两天,几头猪到了年三十还没弄都卖掉,还留下来差不多一扇。没办法,只能自己塞到冰箱了,塞不下就用盐腌起来,反正也是要吃肉的嘛。这么一整,老爸说不愿意养猪了,寻思去养牛……

今年也是没有走亲戚,省事却是省事了。过年期间也是天天呆在家,吃吃喝喝躺躺看看电视,十分惬意。

在家呆上个一星期,又要背上行囊沪飘了,这么算来,到今年就在上海呆了五年了,好快啊。时间都耗在了大上海,钱也没赚几个,最近这个大 A 也疲软不堪,不成气候啊。

这个月大事必要数俄乌大战了,这一战波及全国,重金属也随之狂飙,本来是准备最近就要买金器的。上次一犹豫没有买,现在都已经每克又涨了几十了,头皮发麻。再看看吧,再过个几天 A 还是这样疲软也没办法,该取出来的还是要取出来,用钱之时。

国内的和平是其他国家所渴望的,生活在如今这个和平的国度是我们大家的幸福。

及时行乐,命最重要。


期待一月(2022)
  • 元旦

    今年这个元旦没有回家也没有出去玩,是的,因为疫情。

    日子很快,一晃就过。

  • 生日

    小邱的生日过得也不开心,当天还干了一架,晚上吃了一顿羊肉锅。

    买了一个千层蛋糕,不过没有吃完后来丢了半个,太浪费了。

    后来还有次喝酒喝大了,好家伙。

  • 回家

    回家的票倒是买了,近来上海静安奶茶店疫情封锁引起的话题不小。

    还好浦东这边没有,不然就真回不去了。

    回家算了算能待个八天,已经有半年没回过家了,去年春节还没有回去。

    到时候带点年货回去,再包上个红包。

    回家的心已经很迫切,核酸肯定难免,真想早点回家了。

  • 疫情

    疫情我想也是大概率今年或者明年就不会这么恐慌了,后期可能也就跟流感一样与人类长期共存,死亡率也降到跟流感差不多。海外疫苗好像已经有很大的进展,尽管大家对口罩、酒精、健康码、行程码已经习以为常。大家当然都不想自己的行程会受到未知因素的影响,已经过去了两年,该要对此做一个了结了。人类渴望自由生活的脚步不可阻挡。

接下来就是喜迎春节了!


危险十二月(2021)

躲过了迪士尼,没想到在园区中招了

今天是 12 月 7 日,上午 2 号楼说是有密切接触者然后下午确诊了。然后整个园区被封锁,大家难免有点慌乱。接下来做了核酸,然后就是等结果,也不能出去,所有人都在公司。现在已经过了 12 点了,还没有消息,估计今天是走不掉了,是集体在公司通宵的一天。没想到离疫情可以这么近。

一点左右眼皮开始打架,迷迷糊糊在工位上眯了一会,身体实在是难受。之后公司发了睡袋,在地板上又迷迷糊糊躺了两三个小时,现在浑身都不舒服。七点就起来了,公司发了牙刷,看来还得要一段时间,至少要 48 小时了。庆幸最近没有去休闲广场搓麻将。

在公司睡了两个晚上,今天终于解禁了,终于能回去洗个热水澡,躺在柔软的大床上了。现在是 12 月 9 日下午 6 点。对面整栋楼的人都带去酒店隔离了,来了好几辆大巴车,好险。


海马体初体验

由于小邱说想去摄影想了好几年,但是一直没去,我就索性给她预约了长泰广场的海马体。结果没成想小姑娘羞涩,怎么也不想去,于是乎第一次就退了。然后这次是她自己主动提出的,那就没办法了,不想去也要去,于是就开始了摄影前的“减肥”。这个肥有这么好减的吗?一斤没瘦甚至去拍摄前一晚还点了夜宵吃……

首先,里面的工作人员不是很多,一个人要负责服装、化妆、发型、道具。我们是圣诞当天去拍的,可能也是跟特殊日子特别忙有关系。场地就是一个小房间,背景一块布,然后摄影师会帮凹造型,全场七八个造型,咔咔咔。我们俩都一本正经极其严肃,出来的效果可想而知。简直是销售界的精英……

然后约了元旦去门店看片,再给修一修……


今年元旦也是没能回家……


你好,尔尔

而已已逝,二六尔尔

这个年度总结来得好像迟了点,一方面感觉真是如白驹过隙,另一方面确实也是近段时间过于懒惰,无法静静地沉下心来……

今年好像没有完整看完一本技术书,只是看了一些电子文档。当时花了小两张毛爷爷买来的 k8s 技术书甚至没有正儿八经打开翻阅。


年初托别人介绍,遇到了现在的小邱。现在两人在一起快 275 天了,胖了将近十斤,过几天就是小邱的生日,没什么好送的,就送上我炽热的内心吧。

今年遇到教育行业大整顿,然后我就离开了原先的公司,换了一家初创型的,中间没什么大波折,目前为止一切感觉也都还不错。

今年两人在一起花销最多的应该就是吃的了,光光自助就去了不止十回了吧,吃进去的是自己的,不亏。

今年养了一只猫,小时可爱,大了点后皮。手上时不时出现几道划痕。

今年也没攒什么钱,理财还给理没了一点。

今年疫情还是伴随在我们身边,时不时搞点大动静。

今年回家次数明显变少了,好多个节假日也没能回去。

今年没有写技术文章,已经快废了…… 没有输出

今年在公司用 python 写了不少代码,学习了 clickhouse、kafka、es…… 还开始自学大数据相关东西,还是得学新东西,能省很多业务操作

今年收货了很多东西,也开始对未来的规划更加得清晰,有很多种生活的方式,我们只要选择那种适合我们的就行


最近为了用户行为分析头疼不已,找了一圈也没有什么特别好的方式,只能自己摸着石头过河了。