我让AI真正看到了我的游戏画面
Description
模型是mimoV2.5，通过我游戏的MCP实时获取游戏截图并判断游戏画面，目前还有一些问题，但让AI获取画面的能力已经实现了，说不定以后可以用来做更多有意思的功能。截图识别功能仅限多模态模型，纯文本模型只能通过射线检测获取大概的地形情况
模型是mimoV2.5，通过我游戏的MCP实时获取游戏截图并判断游戏画面，目前还有一些问题，但让AI获取画面的能力已经实现了，说不定以后可以用来做更多有意思的功能。截图识别功能仅限多模态模型，纯文本模型只能通过射线检测获取大概的地形情况
Comments
前几周也是搓那种让ai接管npc的插件，某一天突然想通了就不搞了
♥ 6 ↩ 5
以前网游的挂机插件也有寻路功能. 地图传送,避障,挂机防卡死
♥ 3 ↩ 4
有连续画面吗…还是只是通过单帧进行的工具调用与判断吗？ 我的ai是走的单帧画面用glm的模型做视觉处理，输出画面内容之后用mcp转给语言模型（主人格，目前用的deepseek）做输出对话，但效果还是感觉不太好，“人味“还是差一些（？）… 后面试着做连续画面的视觉，目前是每读取一个帧就存入视觉缓冲区，但是这种方法无法根本上解决掉大量丢帧问题，影响视觉…而且我的ai判断单帧图片/视频内容也做不到很好的理解… 期待和up分享一下技术细节
♥ 2 ↩ 1
延迟高么
♥ 2 ↩ 1
之前做过类似的桌宠，顺便根据返回结果，可以控制键盘和鼠标，回合制的游可以代替玩，或者陪玩闲聊出谋划策，但是其他类型的感觉延迟还是有点问题。最好还是游戏本身的接口能拿到是最好的，然后条件允许，模型最好也是自己训练一下，可以剔除掉一些不用的信息，速度回提升不少。
♥ 1 ↩ 1
这种属于是模型多模态功能吗？
♥ 1 ↩ 1
前排前排
♥ 1