最近有个项目，是硬件结合的，硬件上传到服务器的日志，每天数百万条，有时候某个设备出问题了，因为日志的数据很混乱，很难查出具体的原因。
所以写了这个工具，主要是提高日志分析的效率，可以通过关键词提取日志数据。
工具使用了多线程、I/O等技术，本人技术有限，所以只能写到这样子，测试过很多次。
测试出来的数据：400MB的日志，5个线程：96~97秒完成分割，分割出来的日志大小大同小异，为什么不把分割出来的日志合并呢？因为线程的启动时间不是顺序的，加上本人懒，所以没做了。
不建议使用超过20个线程去处理日志。因为如果是2GB的数据，10个线程去处理，每个线程也只需要处理204.8MB。这个已经是非常快的效率了。
近期评论