23.08.15_大模型赛道的技术和应用分析（残缺） - Feishu Docs
马丁2.0 Search Workspace pages（No content yet） Shared With Me 23.08.15_大模型赛道的技术和应用分析（残缺） GPT-4人员统计 23.08.15_大模型赛道的技术和应用分析（残缺） Last modified: 10:32 PM Oct 10 Share 23.08.15_大模型赛道的技术和应用分析（残缺） 更新记录 大模型技术追赶现状 残缺GPT-3.5已经不是问题 完整GPT3.5仍然有距离 真正比较遥远的是GPT-4水平，全方位的困难 Knowhow 算力 预训练 Alignment 评测 Moe 人才密度、组织效率 市场环境变化带来的连锁影响 短期市场环境变动 创业公司的考验点从技术往应用转移 后续市场可能发生的变化 粗犷的猜测 应用 开源市场的机会（0817更新） 微调会成为最重要的方向 向量化不是唯一，NLP技术和策略才是未来壁垒（0817更新） 能力追逐 精细的猜测 大模型的应用方向分析(残缺) 一、虚拟角色 定义赛道 ①情感投射 ②厌倦期和角色消费 ③角色代入/扮演 ④剧情推演 ⑤情感陪伴 ⑥创造养成 ⑦附属、但不可或缺的需求——社区 一些产品思考 先从已有产品出发 一些简单原则 附加思考：让角色尽可能更像人重不重要？ 初创团队能力要求 共情能力 运营能力 专业能力 二、2B，不坏的选择 2B是一个一定要做的选择 2B不是一个纯粹产品（技术）问题 2B是一个练兵场+信息器 关于2B的一些建议 23.08.15_大模型赛道的技术和应用分析（残缺） martin bing Created on August 5 • Infra：卡的训练效率，工程问题仍然有很大的差距，而这一点和卡的数量又反过来制约数据配比实验的速率。目前一般效率只能到30%~40%（其实Infra完全值得被单独抽出来，但我实在是不完全懂） • 爬虫：实时数据的爬取及清洗是一个大工程，这一方面大厂反而是不怕的（搜索引擎有惯性业务） Alignment • 目前不能说RLHF一定比SFT好，要综合判断（0817更新） ◦ 第一：性能，不确定（哪怕OpenAI内部也仍有小分歧） ▪ 这里的性能是，是不是两者能做到的上限，一定是RLHF优于SFT（不考虑资源） ▪ 但真的不好说，具体场景要具体分析——ChatBOT、
马丁2.0 Search Workspace pages（No content yet） Shared With Me 23.08.15_大模型赛道的技术和应用分析（残缺） GPT-4人员统计 23.08.15_大模型赛道的技术和应用分析（残缺） Last modified: 10:32 PM Oct 10 Share 23.08.15_大模型赛道的技术和应用分析（残缺） 更新记录 大模型技术追赶现状 残缺GPT-3.5已经不是问题 完整GPT3.5仍然有距离 真正比较遥远的是GPT-4水平，全方位的困难 Knowhow 算力 预训练 Alignment 评测 Moe 人才密度、组织效率 市场环境变化带来的连锁影响 短期市场环境变动 创业公司的考验点从技术往应用转移 后续市场可能发生的变化 粗犷的猜测 应用 开源市场的机会（0817更新） 微调会成为最重要的方向 向量化不是唯一，NLP技术和策略才是未来壁垒（0817更新） 能力追逐 精细的猜测 大模型的应用方向分析(残缺) 一、虚拟角色 定义赛道 ①情感投射 ②厌倦期和角色消费 ③角色代入/扮演 ④剧情推演 ⑤情感陪伴 ⑥创造养成 ⑦附属、但不可或缺的需求——社区 一些产品思考 先从已有产品出发 一些简单原则 附加思考：让角色尽可能更像人重不重要？ 初创团队能力要求 共情能力 运营能力 专业能力 二、2B，不坏的选择 2B是一个一
Explore this link on the map →