读书-银河帝国基地七部曲

过了好久才决定正式读银河帝国-基地系列,读了好久才读完。 读起来最纠结的就是第四部:基地前奏。可能是读国内的玄幻有点多,总是期望谢顿灵感一现的那一刹震撼:心理史学就那么建立起来了。但是,作者就这么折磨人的花了一本书,从谢顿三十,写到四十,写到八十,心里史学的框架才慢慢搭建起来,一直等待谢顿死了,心里史学也才是初见眉目,后续经历了好几代人的努力,那些复杂的公...

Read More

flink实时分析的几点总结

最近在折腾公司打点日志(trace跟踪日志,类似阿里的鹰眼)的实时分析,大概总结一下。 实时流处理的技术越来越成熟,相对于spark而言,flink的模型已经抽象的很好;幸好我是从beam开始切入了解流处理的,现在回头看一些spark以及spark stream,flink的概念就很好懂了。 流处理基本概念如果你想了解流处理,一定要看下面两篇文章: the...

Read More

大流量下的反压问题

最近在梳理公司的大数据处理的流程,运维HBase的同事反馈我们中间件的链路收集日志(类似阿里的鹰眼)给HBase造成的压力最大,问我能不能优化一下。在优化的过程中,梳理了整个链路的反压处理,意识到在流处理,甚至在普通的大流量处理里面,这是一个很重要的问题,结合自己在消息系统的经验,在这里总结一下。 反压问题的场景反压问题,说直白点就是当系统有压力的时候,我们...

Read More

排查CPU偏高引起的一点思考

公司某个业务总是发现机器CPU偏高,要求运维扩容,结果扩容后,过了一段时间CPU还是涨了上来,又要求扩容。运维觉得老是这么扩容不是办法,就拉我一起看看问题出在哪儿。 问题定位在另外一篇文章里,介绍了如何使用perf排查cpu偏高的问题,接到问题后,马上使用perf map agent看了看,很明显就找出来耗CPU的地方: 123456789101112131...

Read More

问题排查一次诡异的rt拉高现象

升级了公司的Dubbo到3.0.0版本,然后推动业务升级,结果,业务反馈升级后,rt拉高了2~3ms,由于业务的整体rt才在7ms左右,所以,这次升级对业务的影响还是很大的,业务决定回滚,而我这边就开始了问题的排查 现象根据我们的监控,可以很明显看到升级新的dubbo后的rt变化: 同时,观察了升级后的cpu变化: 现在看,升级新的dubbo后,直接的结...

Read More

读书-永恒的终结

很早之前读过,又看了一遍,值得推荐。 书里面的情节我觉得一般,但是,我比较喜欢作者的构造出来的这个“永恒时空”,我在很长的时间,都在想,如果真的存在就好了,最近突然想到一个乱七八糟的想法,觉得“永恒时空”不可能存在,就郁闷了好久。 上面是永恒时空的大概样子:在一般时空之上,有一个永恒时空的存在,永恒时空的人,负责穿梭于一般时空的各个时间点,对人类的行为进...

Read More

关于分布式锁

看了两篇文章:1,2,主题是“基于Redis的分布式锁到底安全吗?”,作者翻译了分布式大神Martin Kleppmann和Redis的作者antirez之间就发生过一场争论,等有时间我也去看看原文,这里先总结一下文章里面的主要观点,以及关于分布式锁和fencing机制的几种实现。 看完后,我觉的Martin大神的几句话让我印象深刻,写在前面: Marti...

Read More

性能优化-偏向锁

最近在研究如何提升MQ的性能,了解到了JVM的停顿,一个一个来,先看看Java的偏向锁带来的性能损耗 Java的锁Java在锁方面做了好多优化,具体的一些介绍,另外,网上也有很多文档,可以自己搜索看看。这里大概摘抄总结下: 锁 优点 缺点 场景 偏向锁 加锁和解锁(非竞争下)基本不需要额外的消耗 如果存在锁竞争,会带来额外的锁撤销的消耗。 适用于...

Read More

读书-奇妙的思维实验

奇妙的思维实验 很简单的一本书,里面讲了一些有意思的思维实验。我对其中一个印象很深,记录一下: 你自身的引力传播进了外太空,绵延至数百亿英里外,即使已经从这个世界消失数百万年,它的旅行仍然继续。从某种程度上,每个人都是永恒的,因为我们都拥有引力场。 引力会不断弱化,但永远不会消失。出生仅8.3分钟,我们的引力就触碰到了太阳表面,5.5小时后,它就抵达了...

Read More

读书-第三种黑猩猩

第三种黑猩猩就是我们-人类,我们与黑猩猩基因的差别只有1.6%. 这本书的好多观点跟《人类简史》差不多,比如: 是语言,让我们进化成了现在的人类;还记得人类简史里面说的,人类语言最大的特别之处就是虚构,我们能虚构出现实不存在的场景,比如,年底涨薪,这让我们今天的工作充满动力 人类的迁移伴随着其他的物种的大灭绝;我觉得,这都可以算到人类的原罪里面了 这本...

Read More