✳flâneur — a map of the web's best reading
Devops 中的 Overfitting | 卡瓦邦噶!
kawabangga.com · 101 words · saved by 1 readers
在运维工作中,很多人都在宣扬自动化,经过几年的工作,我发现这种自动化在某些地方有些极端了。devops 崇尚自动化,但并不是一味的自动化。有一些事情是适合手工操作的,过度的自动化会浪费跟多的成本,只能得到很少的收益。
Posted on 2020年12月23日 by laixintao 6 Comments 在运维工作中,很多人都在宣扬自动化,经过几年的工作,我发现这种自动化在某些地方有些极端了。devops 崇尚自动化,但并不是一味的自动化。有一些事情是适合手工操作的,过度的自动化会浪费跟多的成本,只能得到很少的收益。 就好像一台电梯,用古老的电梯算法运行了很久,但是有一天有人觉得这个电梯运载能力没有发挥到极致,我们可以使用机器学习训练他采用更好的算法。于是就需要更多的人力资源来实现这个项目:一个小组提供训练数据,一个小组来训练新的算法模型,设计一套硬件设施监控和对比运载效率,设计回归的方案评估运载效率的变化,等等…… 最终可能发现将原来两台电梯的运载能力变成了相当于2.5台的运载能力,但是这优化出来的0.5台电梯带来的问题有:1)某些情况下的表现可能还不如电梯算法 2)没有人知道现在电梯是怎么运行的了,因为这是机器学习训练出来的模型 3)复杂的算法从上线走向成熟需要持续的维护和优化,稳定性不如原来的电梯算法。等等。其结果还不如就再增加一台电梯。(当然,也可能因为当初楼里的设计结构不允许再增加电梯,软件工作中也有类似的问题。) 最近又看到一个例子: 牙膏厂生产流程会产出没放牙膏的空箱。厂长花8百万请专业顾问,用牛逼的秤测箱子重量,发现空箱就警报并停止流水线,员工手动除空箱。后来秤再也检测不到空
Explore this link on the map →related reading
- Why Over-Engineering Happens | Yusuf Aytasyusufaytas.com
- Choose Boring Technologyboringtechnology.club
- The Eternal Sloptember | the singularity is nearergeohot.github.io
- Overfitting in Machine Learning: What It Is and How to Prevent Itelitedatascience.com
- SRE 的工作介绍 | 卡瓦邦噶!kawabangga.com
- After Automation | Everyevery.to
- Life on Claude Nine - Igor Babuschkinbabuschk.in
- The Untrainablex.com
- Dario Amodei — "We are near the end of the exponential"dwarkesh.com
- sarah guo on X: "The Untrainable" / Xx.com
- The Coming Loop | Armin Ronacher's Thoughts and Writingslucumr.pocoo.org
- 4 – The Overfitting Iceberg – Machine Learning Blog | ML@CMU | Carnegie Mellon Universityblog.ml.cmu.edu