3月28日青亭网报道，3D内容方案商Luma AI上周宣布完成A轮融资消息后，本周继续宣布推出视频转3D场景API：Video-to-3D API。
据了解，该服务基于Luma的NeRF能力，将以往只能在Luma App中拍摄来使用的功能开放，现在只需要一段视频即可。
价格方面，转换一个视频费用1美元，就是单纯的按照次数收费，不管视频容量大小，所以当然是尽量丰富视频的细节，转换时间在30分钟左右。
当然视频也有一定要求，比如体积最大5GB，至少需要包含物体的2-3个面。Luma表示，这一方案将为：电子商务、游戏美术、影视特效等领域发展重要价值，因为此前创建3D模型的价格在60-1500美元，时间需要2-10周（Luma提供数据）。
转换效果
以下是Luma提供的用于转换3D场景的视频拍摄技巧：
捕获速度：运动模糊会显著降低重建的质量。为了达到最佳效果，慢慢移动手机，尽量避免快速移动，尤其是旋转。
场景覆盖：为了获得最佳效果，应该从尽可能多的独特视角捕捉物体或场景。此外，在拍摄时最好移动手机(在3D空间中)，而不是从静止位置旋转它。站在同一个地方，在一个球体中向外捕捉通常不太好。引导捕获模式是一个很好的选择，以确保足够的覆盖。
对象大小：对于引导捕获，任何可以从所有角度(包括顶部和底部)轻松查看的对象都是一个很好的候选对象。对于自由形式的捕捉来说，任何东西都是公平的，尽管更好的覆盖范围会产生更好的结果，所以较大的物体可能难以获得完全干净的结果。
物体距离：为了获得最佳效果，在扫描时尽量保持整个物体在帧中。这样做将为应用程序提供更多关于反射和物体形状的信息，从而实现更准确的重建。
物体材质：目前，该应用程序挣扎于复杂的反射(例如，曲面镜面)，弯曲的透明物体(例如，车窗或塑料水瓶)，以及非常大的无纹理表面(例如白墙)。大多数其他材料都很好。
捕捉环境光照水平：该应用程序可以在大多数光照条件下捕捉物体，只要纹理仍然可以识别(即，没有被洗掉或完全黑暗)。照明条件将被烘焙，所以场景应该点亮，但你希望它出现在最终的结果。
移动的物体：在捕捉过程中，场景中的任何运动都可能降低最终结果的质量。例如，在风中移动的树叶可能会导致细节的丢失，而在背景中移动的人可能会引入伪影。拍摄时请注意不要将手指/手臂/腿伸入画面。
视频设置陷阱:如果使用视频捕捉，关闭视频稳定是非常重要的，因为它会导致帧具有不稳定的相机intrinsic;这在Android设备上尤为重要。同时也要避免在iOS上使用“HDR视频”选项。
曝光:如果你拍摄自己的视频，我们建议在可能的情况下使用固定曝光，尽管允许曝光变化对光照变化的室外场景有益。您也可以上传原始图像(尽管现在可能很难在大小限制下容纳许多图像，请参阅“图像压缩”)。
使用图片压缩而不是视频:你可以通过Luma网页界面上传图片压缩而不是视频。照片通常比视频质量更高，有意拍摄，没有模糊，并包含EXIF元数据。如果需要最高的质量，它们可以是更可取的。zip中任何路径上的任何图像都将被使用。
提示:您可以上传原始图像(如CR3和DNG，以及其他许多图像)和HDR图像(.exr)，以实现更高的动态范围和学习去马赛克以提高质量。如果使用原始文件，元数据将用于sRGB渲染(而底层NeRF将是HDR)。使用EXR，渲染的颜色将在当前颜色空间中，因为没有colorspace元数据。问我们关于pro模式渲染EXRs和深度以及。请注意，自2023年1月8日以来，EXR处理已得到改进。
虽然我们的系统相当健壮，但当使用>4k图像(例如6K, 8K, 12K)并且没有真正有效地使用它们时，它会有问题，所以我们不建议您上传这样高分辨率的图像。
360摄像头和鱼眼镜头捕捉:360视频可以帮助更有效和完整地覆盖室内大面积区域。许多常见的360摄像头，如insta360，实际上是双鱼眼摄像头，两侧各有一个鱼眼摄像头。拼接图像会导致失真，但你可以通过将相机直接连接到你的电脑来获得双鱼眼图像。
参考：Luma
