有人会问,如果业务越来越多,我怎么知道我的监控系统是否要扩容?
很简单,你把2)步骤里面的netty服务器里面的2个内存队列的size做监控信息采集,同样上报给后端,同时在1)里面设置好报警参数
也就是你做了一个自监控,一旦内存队列的size超过了阀值,说明输入的速度>输出的速度啊,嗯,跟老板申请扩容吧
可以是加web服务器,也可以是提高后面的处理速度,自己分析吧。
招一个好一点的大数据人员,维护好hbase,storm这些,这套系统就可以水平扩展了,不管你一天有多少T的数据量,照单全收,毫无压力。
另外附上我们之前生产环境的数值:每天300G数据,没办法,不是大公司,没这么多的产品,而且很多中台产品都是1分钟上报1次,频率有点低,其实几秒钟上报1次都是可以的,这样很快可以发现哪个业务出了问题,也可以做到秒级感知啊 :) 。
PS:因为时间有限,最近在研究别的东西,这个项目的代码不会经常更新,附上架构图给各位网友,以此为蓝本,加上你的自由发挥的能力,没问题。
另外有兴趣做HDFS数据入库的可以看看我的另外一个项目MyHDFS,从前同事得知最新的数据是 5000万条数据/单日(其实写几个亿丝毫没有问题)