Description
手搓AI红外夜视婴儿看护器,帮我熬夜盯娃。
7x24小时持续盯梢,实时监测:宝宝惊醒惊跳、口鼻是否遮挡、看护人操作是否正确。
事件发生时,ESP32手环震动、蓝牙枕下音箱播放音乐,只摇醒我,不吵醒我老婆。
背后使用的AI算法,是京东开源的80亿参数开源视频理解大模型JoyAI-VL-Interaction,基于vLLM-Omni推理引擎本地部署,给它接入任意摄像头或者直播视频流,AI就能任劳任怨,盯到天荒地老。边看边说,持续、实时理解视频画面。
AI自主决定,要说话、闭嘴,还是委派智能体干活儿,非常有眼力见儿。当事件发生时,及时触发提醒
京东全栈开源了训练方法、数据集,80亿参数的模型权重文件,以及一套带完整前后端和WebUI的本地部署系统。
代码:https://github.com/jd-opensource/JoyAI-VL-Interaction
论文:https://arxiv.org/html/2606.14777
模型:
HuggingFace:https://github.com/jd-opensource/JoyAI-VL-Interaction
魔搭社区:https://modelscope.cn/models/jd-opensource/JoyAI-VL-Interaction-Preview
HuggingFace视频理解榜单:https://huggingface.co/models?pipeline_tag=video-text-to-text
Comments
文化人取名字:古诗词,美好含义 普通人取名字:娃儿缺金木水火土就用名字补吧[笑哭]
♥ 189 ↩ 8
上次中科院见面还是个小伙子,怎么突然变成中年宝爸了
♥ 132 ↩ 3
省流,3万+成本!!!
♥ 43 ↩ 6
这才是真实命中需求的AI应用
♥ 20
[星星眼]
♥ 62 ↩ 1
我去,这一套完整的大模型监控方案就做出来了?本人大学生刚刚手搓了一个特别简陋的,科技发展的速度真快啊[笑哭]
♥ 125 ↩ 11
张开尚这个名字起的好好啊[打call]简单的字不简单的排列,有典故,有记忆点,三个字的韵母还是把口腔打开的声音[喜欢]
♥ 34 ↩ 4
总结需要的硬件: 中维奥柯 720P USB 红外摄像头 Seeed Studio XIAO SEP32-C6 手环主控板 手环震动马达(没说型号) DGX Spark / AI TOP ATOM (大概 3 万,可以找找替代的) 此外可能还需要: 摄像头固定支架 枕下音响
♥ 9 ↩ 1
边缘计算的好实例。。
♥ 2
保安要失业了~~
♥ 4 ↩ 1
为好爸爸,好丈夫点赞👍👍👍
♥ 2
3w的主机不便宜
♥ 6
省流:3万
♥ 4
有无可能多传感融合?我设想:呼吸毫米波+热成像头+夜视红外+可动底座跟踪+AI,我认为很有搞头
♥ 9 ↩ 2
三万+的设备不算成本是吧?这样定义免费token[笑哭]
♥ 4 ↩ 1
感谢分享,还没娃,但备用
♥ 1
为了这个宝宝高低得投机两个币[星星眼]
♥ 3
本地部署,硬件要求多少?
♥ 25 ↩ 7
谢谢!很需要!宝宝也很可爱[脱单doge]
♥ 1
显卡一句不提