Devops 中的 Overfitting | 卡瓦邦噶!
kawabangga.com · 101 words · saved by 1 readers
在运维工作中,很多人都在宣扬自动化,经过几年的工作,我发现这种自动化在某些地方有些极端了。devops 崇尚自动化,但并不是一味的自动化。有一些事情是适合手工操作的,过度的自动化会浪费跟多的成本,只能得到很少的收益。
Posted on 2020年12月23日 by laixintao 6 Comments 在运维工作中,很多人都在宣扬自动化,经过几年的工作,我发现这种自动化在某些地方有些极端了。devops 崇尚自动化,但并不是一味的自动化。有一些事情是适合手工操作的,过度的自动化会浪费跟多的成本,只能得到很少的收益。 就好像一台电梯,用古老的电梯算法运行了很久,但是有一天有人觉得这个电梯运载能力没有发挥到极致,我们可以使用机器学习训练他采用更好的算法。于是就需要更多的人力资源来实现这个项目:一个小组提供训练数据,一个小组来训练新的算法模型,设计一套硬件设施监控和对比运载效率,设计回归的方案评估运载效率的变化,等等…… 最终可能发现将原来两台电梯的运载能力变成了相当于2.5台的运载能力,但是这优化出来的0.5台电梯带来的问题有:1)某些情况下的表现可能还不如电梯算法 2)没有人知道现在电梯是怎么运行的了,因为这是机器学习训练出来的模型 3)复杂的算法从上线走向成熟需要持续的维护和优化,稳定性不如原来的电梯算法。等等。其结果还不如就再增加一台电梯。(当然,也可能因为当初楼里的设计结构不允许再增加电梯,软件工作中也有类似的问题。) 最近又看到一个例子: 牙膏厂生产流程会产出没放牙膏的空箱。厂长花8百万请专业顾问,用牛逼的秤测箱子重量,发现空箱就警报并停止流水线,员工手动除空箱。后来秤再也检测不到空
related reading
- Too much efficiency makes everything worse: overfitting and the strong version of Goodhart’s law | Jascha’s blogsohl-dickstein.github.io
- Cognitive load is what mattersminds.md
- 最近的工作感悟 | 卡瓦邦噶!kawabangga.com
- AI is removing the middle class of software engineeringblog.florianherrengt.com
- SRE 的工作介绍 | 卡瓦邦噶!kawabangga.com
- Coding Models Are Doing Too Much | whnrehiew.github.io
- Why Over-Engineering Happens | Yusuf Aytasyusufaytas.com
- Queues Don't Fix Overloadferd.ca
- Thoughts on slowing the fuck downmariozechner.at
- How SRE Relates to DevOpssre.google
- Why I Ignore The Spotlight as a Staff Engineer - Lalit Magantilalitm.com
- Why Software Automation Is Hard — LessWronglesswrong.com