尝试入门 ARKit 和 Metal,我上架了一个 app。
CUBE 是一款结合了 ARKit 和 Metal 能力的 app,可以让你创造出具有实时效果的有趣视频和照片。
这一切起源于 WWDC 2019,当时苹果发布了 ARKit 3,支持人像分割(person segmentation),相比于过去 AR 内容都只能浮在画面上,支持人像分割之后,AR 体验变得真实很多,这引起了我非常大的兴趣。
ARKit 3 的发布,也引起了很多开发者的关注,不过大多是 Unity 开发。一开始我也准备使用 Unity 来进行开发,不过很快就放弃了。除了实现最核心的效果功能,还有 UI,内购,录制等等,对于我来说难度太大。但是退回 Apple 原生,也没有使事情简单很多,我完全没有做过图形渲染相关的开发,开发基本上靠着不停地查资料。经过一段时间的努力,最终还是完成了这个 app。
当你使用 CUBE 时,你可以
- 实时切换各种效果
- 将效果应用于人像、背景,或者整个画面
- 通过调整多种参数自定义效果
- 捕捉全高清和高比特率视频
在完成了几个 2D 平面效果之后,我又尝试把 LiDAR 获取的深度信息也加入进来,完成了 LiDAR 扫描效果。
采样实时图像与 LiDAR 扫描仪生成的深度图,生成 3D 粒子(点云)。
将生成的 3D 粒子与现实世界的场景混合在一起,让你感觉身处超现实世界。
在 CUBE 这个 app 里,我尝试完成了我看到过觉得非常有趣的效果,在这里希望你也能从其中获得乐趣。
可以从这个链接直达 App Store。
apps.apple.com或者在 App Store 里搜索 boringfei。
App Store 内购限时半价中。(3元)