手搓AI夜视婴儿看护器,80亿参数大模型帮我熬夜带娃

Description
手搓AI红外夜视婴儿看护器,帮我熬夜盯娃。
7x24小时持续盯梢,实时监测:宝宝惊醒惊跳、口鼻是否遮挡、看护人操作是否正确。
事件发生时,ESP32手环震动、蓝牙枕下音箱播放音乐,只摇醒我,不吵醒我老婆。
背后使用的AI算法,是京东开源的80亿参数开源视频理解大模型JoyAI-VL-Interaction,基于vLLM-Omni推理引擎本地部署,给它接入任意摄像头或者直播视频流,AI就能任劳任怨,盯到天荒地老。边看边说,持续、实时理解视频画面。
AI自主决定,要说话、闭嘴,还是委派智能体干活儿,非常有眼力见儿。当事件发生时,及时触发提醒
京东全栈开源了训练方法、数据集,80亿参数的模型权重文件,以及一套带完整前后端和WebUI的本地部署系统。
代码:https://github.com/jd-opensource/JoyAI-VL-Interaction
论文:https://arxiv.org/html/2606.14777
模型:
HuggingFace:https://github.com/jd-opensource/JoyAI-VL-Interaction
魔搭社区:https://modelscope.cn/models/jd-opensource/JoyAI-VL-Interaction-Preview
HuggingFace视频理解榜单:https://huggingface.co/models?pipeline_tag=video-text-to-text

Comments

向上生长VW 3d ago

文化人取名字:古诗词,美好含义 普通人取名字:娃儿缺金木水火土就用名字补吧[笑哭]

♥ 189 ↩ 8

LCL李同学 4d ago

上次中科院见面还是个小伙子,怎么突然变成中年宝爸了

♥ 132 ↩ 3

数码小男孩 1d ago

省流,3万+成本!!!

♥ 43 ↩ 6

九月风叙旧 3d ago

这才是真实命中需求的AI应用

♥ 20

太快了自卑 3d ago

[星星眼]

♥ 62 ↩ 1

栗悟飯与櫷波功 4d ago

我去,这一套完整的大模型监控方案就做出来了?本人大学生刚刚手搓了一个特别简陋的,科技发展的速度真快啊[笑哭]

♥ 125 ↩ 11

鸣珂果有嘉 3d ago

张开尚这个名字起的好好啊[打call]简单的字不简单的排列,有典故,有记忆点,三个字的韵母还是把口腔打开的声音[喜欢]

♥ 34 ↩ 4

Lincoln-Wang 3d ago

总结需要的硬件: 中维奥柯 720P USB 红外摄像头 Seeed Studio XIAO SEP32-C6 手环主控板 手环震动马达(没说型号) DGX Spark / AI TOP ATOM (大概 3 万,可以找找替代的) 此外可能还需要: 摄像头固定支架 枕下音响

♥ 9 ↩ 1

深瞳游戏 2d ago

边缘计算的好实例。。

♥ 2

阿吉利 2d ago

保安要失业了~~

♥ 4 ↩ 1

宫女小徐 3d ago

为好爸爸,好丈夫点赞👍👍👍

♥ 2

Godot首席体验师 3d ago

3w的主机不便宜

♥ 6

三个好人 16h ago

省流:3万

♥ 4

昵称Victoria_ 3d ago

有无可能多传感融合?我设想:呼吸毫米波+热成像头+夜视红外+可动底座跟踪+AI,我认为很有搞头

♥ 9 ↩ 2

287138531 20h ago

三万+的设备不算成本是吧?这样定义免费token[笑哭]

♥ 4 ↩ 1

rover雷达 3d ago

感谢分享,还没娃,但备用

♥ 1

摸丶馍丶抹丶墨 3d ago

为了这个宝宝高低得投机两个币[星星眼]

♥ 3

大壮黑牛 3d ago

本地部署,硬件要求多少?

♥ 25 ↩ 7

卡卡栗 3d ago

谢谢!很需要!宝宝也很可爱[脱单doge]

♥ 1

热心事民丶 16h ago

显卡一句不提