✳flâneur — a map of the web's best reading

Evolutionary Merging of Models - Sakana AI

sakana.ai · 211 words · saved by 1 readers

Sakana AI aims to develop foundational models by applying principles of nature such as evolution and collective intelligence. Our goal is not just to train and develop models ourselves; we are challenging ourselves to create new methods to streamline, improve, and automate the development of foundational models. As a first step towards this goal, we have published a preprint titled " Evolutionary Optimization of Model Merging Recipes ." Highlights of this release include: We propose a method called evolutionary model merging , which uses evolutionary algorithms to discover ways to merge a wide range of open source models with diverse capabilities to build new foundational models. Our method can automatically create new foundational models that excel at the capabilities specified by the user. It is highly efficient to create models because it leverages the vast collective intelligence of existing open models. We found that our approach can automatically discover ways to merge models fro

Read in English --> 自動的で効率的な基盤モデル開発に向けて 更新（2025年1月28日） 論文「Evolutionary Optimization of Model Merging Recipes」が論文誌「Nature Machine Intelligence」に採択され本日掲載されました。最新バージョンでは本アプローチをさらに実証する新たな実験結果を含んでいます。ぜひ以下からご覧ください。 https://www.nature.com/articles/s42256-024-00975-8 Sakana AIは2024年3月に「進化的モデルマージ」を公開し、大きな反響を呼びました。公開時には国内外の多くのメディアに取り上げられニュースになりました。進化的モデルマージはmergekitやOptuna Hubといった著名なOSSフレームワークにも実装され、多様なユーザーがそれを活用し、数々の個性的なモデルが作成・公開されてきました。また、社内外の複数のチームが後続研究を活発に進めており、その一例である「CycleQD」に関する論文はICLR 2025に採択されています。今回の論文掲載によって、「進化的モデルマージ」の科学的正当性と学術的価値が改めて認められた形となります。 私たちは進化的モデルマージを今後の長期的な研究開発の第一歩と位置づけています。Sakana

Explore this link on the map →

related reading