V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
sitdownkevin
V2EX  ›  奇思妙想

小模型可以在本地迭代变得越来越懂用户嘛

  •  
  •   sitdownkevin · 55 天前 · 2349 次点击
    这是一个创建于 55 天前的主题,其中的信息可能已经有所发展或是发生改变。

    非 AI 从业者,想到一个问题,不知道有没有可行性

    在用户端运行一个小模型,随着用户与小模型的交互越来越多,能否积累一些个性化的用户数据,利用这些数据让小模型在用户端自我迭代,变得越来越懂用户?

    小模型完全离线运行,确保了隐私性

    现在的算力能做到这样嘛?

    18 条回复    2024-11-08 17:08:00 +08:00
    LuckyLauncher
        1
    LuckyLauncher  
       55 天前
    目前来看端侧的算力还不足以去 finetune 一个小模型
    sitdownkevin
        2
    sitdownkevin  
    OP
       55 天前
    @LuckyLauncher 在可见的未来内,可以看到端侧的算力提升到这种程度嘛?
    qiangduan
        3
    qiangduan  
       55 天前
    最新的天玑 9400 ppt 上已经宣称支持手机侧 LoRA 微调模型了。。早晚的事情
    LuckyLauncher
        4
    LuckyLauncher  
       55 天前
    @sitdownkevin #2 当然可以,甚至不会太久,但是能不能达到效果还不好说。毕竟这一波的 AI 是通过算力和数据堆起来的。
    shinsekai
        5
    shinsekai  
       55 天前
    没必要手机端训练啊,手机收集的数据定期发给电脑训练好后再发回手机
    LuckyLauncher
        6
    LuckyLauncher  
       55 天前   ❤️ 1
    @sitdownkevin #2 甚至还会出现一个中间态,类似于 NAS 这种的数据和算法私有部署和训练方案,比如最近发布的 m4 mac mini ,性能远强于手机这类端侧设备,这类设备负责收集端侧的数据和微调模型,然后将训练好的模型再同步到对应的端侧,这可能比直接在端侧上训练来的更早
    andyC
        7
    andyC  
       55 天前
    小模型没有可用性, 现在的 AI 是基于大模型的数据量和算力实现的伪智能
    cat
        8
    cat  
       55 天前
    @LuckyLauncher 家庭/企业内部的 AI 中枢吗,感觉很快就会来临
    LuckyLauncher
        9
    LuckyLauncher  
       55 天前
    @cat #8 大概就是这个意思,但是我对目前小模型的实用性持怀疑态度,Apple Intelligence 的端侧智能貌似也没有什么实用的场景
    tairan2006
        10
    tairan2006  
       55 天前
    可以的,小米 15 发布会的时候不就说是完全本地的
    tommyZZM
        11
    tommyZZM  
       55 天前
    现在的 AI 有一个问题就是能耗比较高,能量利用效率低下,人脑的功率才十几几十瓦,降低能耗应该是下一个阶段的发展方向
    liu731
        12
    liu731  
       55 天前
    并不会。但是相较于云端 AI ,本地 AI 对历史消息(记忆)的存储更具优势。
    sitdownkevin
        13
    sitdownkevin  
    OP
       55 天前
    @LuckyLauncher 对 主要是好奇需要收集多少数量的用户数据才能让小模型朝着更好用的方向迭代
    LuckyLauncher
        14
    LuckyLauncher  
       54 天前
    @sitdownkevin #13 主要看端侧收集的是哪方面的数据,比如手机可能更多的是你的使用数据,要是能拿到你用 APP 的数据,那数据量其实是非常庞大的。最起码在中国,用手机可以解决你的衣食住行,你的社交、信息的输入也大多来自于手机,这数据肯定是足够了的,毕竟这也只是个小模型
    viber
        15
    viber  
       54 天前
    @tairan2006 好像只有苹果说自己的 AI 是本地部署吧;搜了公关稿 小米说的是把记录保存在本地🤣
    GeekGao
        16
    GeekGao  
       54 天前
    1 楼说的很明白了。
    补充: 即便端侧算力很强,但你产生的那点用户数据,如果不做监督学习(主要为了正确的正则化、处理文本并输出整理成可以被微调的样本),那对模型的提升也近乎于 0
    ivyliner
        17
    ivyliner  
       47 天前
    @sitdownkevin, 我对这个方向挺感兴趣的, 其实目前苹果就有这方面的技术, 但是我仔细想想好像引用常见也不多或者特别明确. 你有什么使用的场景了可以分享一下吗 ?
    wudaye
        18
    wudaye  
       47 天前
    有没有多模态本地大模型,能通过输入我本地的视频和图片学习我的癖好==
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1173 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 18:21 · PVG 02:21 · LAX 10:21 · JFK 13:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.