昨天跟哥们儿撸串的时候,听他说他们公司接了个大单子,数据量蹭蹭往上涨,老板急得跳脚。我心里琢磨着,之前刷帖子见过有人提过“大莫里斯”这玩意儿对付大数据还行,不如自己动手试试看。
一、开搞前的瞎折腾
回来就翻出吃灰的旧笔记本,这破玩意儿卡得要命,先给它刷了个最简版乌班图系统。官网下东西慢得像乌龟爬,等了半个钟头才拖完安装包。解压的时候还报错了两次,气得我差点把鼠标摔了,发现是硬盘空间不够,删了几百张猫片才腾出地方。
- 启动命令敲进去屁反应没有,屏幕干干净净跟没睡醒似的
- 查日志发现端口被占用了,关掉八百年不用的迅雷才消停
- 好不容易看见登录界面,密码死活不对,原来默认密码是带下划线的!
二、跟配置文件死磕
凌晨两点还抱着保温杯改参数。那个内存分配把我整蒙圈了,1G的破机器,留给系统的和给工作节点的数愣是算不明白。干脆拍脑袋分了三七开:
- 300MB给系统喘气用
- 剩下700MB塞给节点干活
保存文件时手滑点成取消,白折腾半小时,当时真想抽自己大嘴巴子。
三、栽进数据泥坑
想着拿公司上月报销记录练手,500M的CSV文件传上去跟见了鬼似的:
- 前200条唰唰进去了
- 后面突然卡住不动了,进度条冻得跟冰棍儿一样
- 查监控发现内存炸了,工作节点直接躺平装死
蹲厕所刷手机才想起来,这破工具吃数据是生吞活剥的格式。连夜把表头改成英文拼音混合体,日期格式全掰成“20231001”这种,跟伺候祖宗似的。
四、差点翻车的意外
正嘚瑟查询速度快了,笔记本风扇突然鬼哭狼嚎。伸手一摸烫得能煎鸡蛋,屏幕“唰”地就黑了。慌得我拔电源拆后盖,拿闺女的小风扇对着吹了十分钟才活过来。
后来才知道是聚合查询写崩了:
- 傻乎乎用SELECT 捞全表
- 还连着三个表JOIN
- 这破本子不炸才怪!
现在摸着石头过河
现在每天把车间设备日志往里喂:
- 早上开机先查半夜的异常报警
- 用漏斗分析逮住三台老出毛病的冲压机
- 温度超限告警直接推送到组长手机
虽然查询语句写得跟狗爬似的,查错时间还要翻手册,但比原来用电子表格快多了。下个月打算咬咬牙租台云服务器试试,这破笔记本怕是撑不过今年夏天了。
还没有评论,来说两句吧...