引用格式
王宇啸, 石源源, 陈招达, 吴珍芳, 蔡更元, 张素敏, 尹令. 猪三维点云体尺自动计算模型Pig Back Transformer[J]. 智慧农业(中英文), 2024, 6(4): 76-90.
Citation:WANG Yuxiao, SHI Yuanyuan, CHEN Zhaoda, WU Zhenfang, CAI Gengyuan, ZHANG Sumin, YIN Ling. Pig Back Transformer: Automatic 3D Pig Body Measurement Model[J]. Smart Agriculture, 2024, 6(4): 76-90.
猪三维点云体尺自动计算模型Pig Back Transformer
王宇啸2， 石源源1， 陈招达1， 吴珍芳2，3，4， 蔡更元2，3，4， 张素敏1， 尹令1，2，4*
（1.华南农业大学 数学与信息学院，广东广州 510642，中国；2.国家生猪种业工程技术研究中心，广东广州 510642，中国；3.华南农业大学 动物科学学院，广东广州 510642，中国；4.猪禽种业全国重点实验室，广东广州510640，中国）
摘要：［目的/意义］为了提高体尺关键点定位准确率，猪三维点云体尺自动测量方法会采用点云分割，在各个分割后局部点云定位测量关键点，以减少点云之间相互干扰。然而点云分割网络通常需要消耗较大计算资源，且现有测量点定位效果仍有待提升空间。本研究旨在通过设计关键点生成网络从猪体点云中提取出各体尺测量所需关键点。在降低显存资源需求的同时提高测量关键点定位效果，提高体尺测量的效率和精度。
［方法］针对猪三维表面点云进行体尺测量，提出了一种定位猪体尺关键点的模型Pig Back Transformer。模型分为两个模块，分别设计了两种改进的Transformer自注意力编码器，第一模块为全局关键点模块，首先设计了一种猪背部边缘点提取算法用于获取边缘点，再使用edge encoder编码器以边缘点集合作为输入，edge encoder的edge attention中加入了边缘点和质点的偏移距离信息；第二模块为关键点生成模块，使用了back attention机制的back encoder，其中加入了与质心和第一模块生成的全局关键点的偏移量，并将偏移量与点云注意力通过按位max pooling操作结合，最后通过生成猪的体尺测量关键点和背脊走向点。最后设计了使用关键点和背脊走向点作为输入的体尺算法。
［结果和讨论］对比关键点和背脊走向点生成任务上Pig Back Transformer表现最佳，并对比体尺计算结果与人工测量结果，体长相对误差为0.63%，相对PointNet++、Point Transformer V2、Point Cloud Transforme、OctFormer PointTr等模型有较大提升。
［结论］Pig Back Transformer能相对准确地生成猪体尺关键点，提高体尺测量数据准确度，并且通过点云特征定位体尺关键点节省了计算资源，为无接触牲畜体尺测量提供了新思路。
关键词： Pig Back Transformer；三维点云；体尺自动测量；测量关键点定位；深度相机；自注意力机制
文章图片
图 1 猪点云体尺计算的整体流程图
Fig. 1 Process flow diagram of pig's point cloud body size calculation
图 2 使用Azure Kinect的猪体点云采集通道现场与设备摆放示意图
Fig. 2 Tunnel for pig's point cloud collect using Azure Kinect
图 3 Pig Back Transformer模型的刚性立方体配准物配准过程
Fig. 3 Registration process of the rigid registration box in Pig Back Transformer model
图 4 使用局部范围内移动最小二乘法的点云平滑效果
Fig. 4 The smoothing effect of point cloud using local range moving least squares method
图 5 修剪前后的猪体背部点云对比
Fig. 5 Origin point cloud & trimmed point cloud
图 6 边缘点提取中的拟合平面的变换过程
Fig. 6 The transformation process of the fitted plane in edge point extraction
图 7 边缘提取算法中k近邻在临近点拟合平面上投影的极角
Fig. 7 The projectiles of k nearest in polar coordinate system in edge detection algorithm
图 8 本研究提出的Pig Back Transformer结构
Fig. 8 The Pig Back Transformer's structure proposed in this research
图 9 Edge Embedding & Edge Transformer结构
Fig. 9 Structures of Edge Embedding & Edge Transformer
图10 Back Embedding & Back Transformer结构
Fig. 10 Structures of Back Embedding & Back Transformer
图 11 Pig Back Transformer模型生成的关键点
Fig. 11 Key points generated by Pig Back Transformer
图 12 人工标记的测量关键点和背脊走向点
Fig. 12 Human marked measurement key points and spine direction points
图 13 Pig Back Transformer模型的猪体长关键点与拟合曲线
Fig. 13 Key points for pig body length calculating & the fitting curve in Pig Back Transformer model
图 14 体尺算法中的猪体高、体宽、胸围、腹围关键点和切片区域
Fig. 14 Key points & slicing area for height， width， chest circumstance and abdomen circumstance in body size calculation algorithm
图 15 猪体宽计算过程中的肩宽、腹宽、臀宽的测量截面图
Fig. 15 Slice for shoulder，abdomen and hip width calculation in width calculation process
图 16 胸围计算过程中的胸围曲线拟合结果
Fig. 16 Fitting results of chest circumference
图 17 猪腹围曲线拟合结果
Fig. 17 Fitting curve of pig's abdomen circumference
图 18 顶部视角猪背部点云的边缘提取结果
Fig. 18 Results of edge detection for pig back's point cloud captured from top angle
图 19 顶部视角猪背部点云的边缘提取结果的侧面
Fig. 19 Side view of the result of edge detection for pig back's point cloud captured from top angle
图 20 顶部视角猪背部点云的修剪后的边缘提取效果
Fig. 20 Edge detection result after trimmed for pig back's point cloud captured from top angle
图 21 Point++， OctFormer， Pig Back Transformer关键点和猪背脊走向点拟合效果和人工标记对比图
Fig. 21 Key points & pig spine direction points generated by PointNet++， OctFormer， Pig Back Transformer compare with manual labeling
图 22 边缘提取和点云修剪的消融实验
Fig. 22 Ablation experiment of edge detection and point cloud trim
图23 猪姿态剧烈变化时的体长和腹宽分布
Fig. 23 The distributed of body length and abdomen width when pig's posture changed significantly
作者介绍
尹令 教授
尹令，华南农业大学教授，猪禽种业全国重点实验室、国家生猪种业工程技术研究中心和广州市智慧农业重点实验室成员。主要研究方向为种畜生长、繁殖、行为等表型自动获取技术和产业化配套工程技术方向。
来源：《智慧农业（中英文）》2024年第4期
（转自：智慧农业期刊）
