Description
我从两年前(2022)就开始思考换3D模型直播,可动性更高,能互动的内容更多,可是3D模型即便自己建模,动捕设备依旧是一个难以解决的问题,便宜设备不准确,优质设备价格没两位数万拿不下来,还需要搭棚子,而Live2D这种贴图2D模拟纵深3D的表现方式还是令我着迷,于是我转头研究2D如何能“动起来”。
live2D是如何实现让静止的贴图动起来的呢?其实原理很简单,大家只需想象一个立方体,画师准备好立方体的正侧下顶面,模型师将每个面按现实的顺序、透视预制方位,当机师使用软件面部捕捉的时候,由摄像头传输现实方位,映射到模型方位同步更新,脸正面是立方体正面,脸左侧是立方体左侧,这样便达到了“以假乱真”的动。
当然了,2D想要和现实一模一样是不可能的,面捕会受设备和软件算法的影响,因此无法完美达到预想,可是我们还是可以迭代技术,去接近现实。市面上最常规的是脸部捕捉+外接设备反馈,大家能看见的模型即便是半身、全身在跟着动,实际上也是假动——预设为头部带动身体,身体便会跟着运动,但这不是真正的控制。要想以现在的算法做到身体部位随心而动,如何办到呢?我为了研究这一点,花了大半年的时间。
2023年6月,我正式开始做原画和拆分,开始踏上一条无人涉足的道路,绝大部分模型师都是在现有技术上精益求精,苏打要做的,则是完全没出现过的东西:live2d模型的四肢独立控制。
听起来这是3D才能做到的事情,连动画的四肢都需要一帧帧绘制,仅靠贴图的模拟,能做到吗?说实话苏打一开始的摸索期也没底,头部是常规的制作,可是一旦涉及到脖子以下便是技术区的空白,为了找到手臂的实现方式,我设想了无数方案,画了三套原画,建了三次手臂模型,最后统统推翻——根本无法实现,穿模都不知道穿成啥样了!那段时间我也在怀疑自己到底能不能实现,毕竟这个Q版苏打仅仅是我做的第三个模型。但是我还是没有放弃,转而去其他软件探索思路。
live2d的网格是动的基础,网格变形,微妙地改变着贴图的外观,可是live2d有一些致命的缺点,导致一些在其他软件能简单实现的功能无法在其实现(别骂我,看后面),我之前有接触过spine、an(前flash)、ae软件的动画,和live2d原理类似,各有特点,但是仍然没有找到思路,最后我想起了另一个软件:moho,这款才是真正堪称2D动画黑魔法的软件,果不其然我在翻找视频的时候找到了思路,剩下的,只是因地制宜,活用到live2d里,于是理所当然的,我又搞砸一次。
哪有那么顺利啊?哈哈~
在又更换了一套方案,舍弃了live2d及其短板的空间Z轴后,终于,最大的技术问题解决了,虽然不是完全符合预期,但是他,确实可以做到360度的手臂运动,接下来就是较为简单的腿部了。
制作完成,难度不算太高,但是我又遇到了新问题:当前的软件算法不足以支撑我的模型,手捕仅是最基本的骨骼模拟,空间位置也是极其模糊的,在实操的时候,会出现以下血压炸了的问题:手突然丢了啊、正面识别成背面啊、手指打直变弯了啊、右手突然识别成左手啊、手部位置不准确乱飘啊。。。我研究新领域技术的目的之一,也是希望算法更新吧,请开发者加油!
因为模型操控难度极大,我脑子也转不过来,目前只能保证手或者脚其一的精准控制,双手双脚限于算法还是太难了,后面苏打还会持续更新这个模型,大家来一起康复训练和跳舞~!
注:原理自己研究,苏打不会透露细节的,嘿嘿,应该能看出一两点吧?
-
个人势全能技术主播,喜欢的话关注苏打吧!呜哇~♥
录播号:@苏打与小东西们
游戏交流聊天Q群2群:246748683
禁言通知视频直播信息群:179307723
每月上舰有专属立牌礼物,每月有互动观看打赏榜感谢哦,月底定期揪粉丝小礼物,感谢所有人支持~
主页工房有苏打周边售卖,桃宝周边店:钴蓝苏打小物馆,无要紧事每晚八九点左右有B站直播
-
DARK SOULS Ⅲ - 北村友香,東京混声合唱団
추억의 뽑기 - 정준영
Head Empty - Tsundere Twintails
一笑江湖 (DJ弹鼓版) - 闻人听書_