站长之家（ChinaZ.com）6月12日 消息:上周苹果推出的Vision Pro头戴显示器引起了很多人的兴趣。你能想象一下如果加上人工智能的话，会是什么样的体验吗?
最近，新加坡南洋理工大学和微软雷蒙研究所推出了一个多模态的人工智能助手——Otter（水獭）。它能够以视频作为输入，完成多模态的感知、推理和上下文学习，并经过专门的指令遵守训练。
(相关资料图)
它不仅能够教你打麻将、开飞机，还能教你调酒。它能够实时识别现实场景并回答人类提问，简直是一个全能型的选手。
Otter支持8种语言，包括中文。在训练过程中，团队使用了适用于增强现实头戴显示器的第一人称视角视频，明确表示这是为苹果头戴显示器准备的。有网友发现，在各种测试项目中，Otter的平均成绩比传统的MiniGPT-4、OpenFlamingo等传统模型高出了十几个百分点。
Otter使用视觉识别模块来分析场景信息，并结合ChatGPT生成答案。其中，关键的视觉模块是基于改良版的LLaVA进行训练的。Otter的工作流程大概是这样的:首先要对视觉信息进行处理，并结合系统信息生成激励。生成好的激励会被传递给ChatGPT，得到指令-回应数据。这些回应数据再经过一步筛选器的筛选，由ChatGPT将所选择的语言进行翻译并输出。此外，团队还引入了冷启动机制，用于发现可用于数据库中的情景实例。
在线体验:
https://otter.cliangyu.com/
论文地址:
https://arxiv.org/abs/2306.05425
GitHub页面:
https://github.com/Luodian/Otter
（举报）
更多精彩
苹果Vision Pro头显AI助手来了 会调酒还会打麻将_天天快播报
摩羯座本身就是有着一张面瘫脸 表情变化是非常少的？
狮子座就是一个崇尚实力的人 一直比较喜欢人才？
处女座一直以来对所有的事情要求都是非常高的？
金牛座本来就是一个默默消化的人 自我安慰能力强？
巨蟹座就是一个特别成熟稳重的人 压力都是自己承受？
摩羯座看起来就是一个非常高冷的人 不喜和人交流？
狮子座就像是自带bgm出场的人一样 特别有气场？
处女座不喜欢浪费 吃的用的都是够用够吃就好？
白羊座在饭桌上点菜很少 是因为他们比较抠门？
天蝎座一直都活得比较没脸 总是会去和别人借东西用？
白羊座比较小心眼 总是喜欢算计身边的人？
处女女非常的体贴 不会为了照顾孩子就去忽略老公的存在？
白羊女比较依赖自己的另一半 需要丈夫去拿主意？
射手座不喜欢工工整整的写字 会通过写草书来发泄内心？
想要字写得好看 很多时候都是需要做到平心静气？
射手要通过纹身来证明自己的审美 表示不落伍？
白羊座就是那种很喜欢彰显自己个性的人 不觉得纹身不好？
如果跟身边的人比 那么天蝎座算是特别的优秀？
金牛座的时间不够用 更多的是因为他们手脚太慢了？
八字起名
公司起名
生肖星座
2022-12-07 16:33:21
起名宝典
返回顶部
