The Digital Twin Virtual Simulation System of the Embryonic Rice Processing System

QI Zhi-gang, HU Xin-yu, LI Bing, LUO Cheng-gan

PDF(2218 KB)
PDF(2218 KB)
Manufacturing Automation ›› 2025, Vol. 47 ›› Issue (3) : 175-181. DOI: 10.3969/j.issn.1009-0134.2025.03.022

The Digital Twin Virtual Simulation System of the Embryonic Rice Processing System

Author information +
History +

Abstract

In this article， a digital twin virtual system of the Rice Processing System is built based on Unreal Engine 5. Aiming at the mutual mapping and integration of physical simulation platform and virtual simulation platform， a digital twin system model of the processing line of preserved rice is constructed.To address the data transmission problem of digital twin five-dimensional system model， a real-time data communication network architecture of digital twin system is constructed， while a new comprehensive network based on Mask RCNN is designed to promote the digital transformation of rice processing to address the issue of detection and segmentation of the fine rice quality with the help of extremely subtle local differences in characteristics. By applying this digital twin system， the detection speed of rice in the production and processing process is greatly improved， the problem of untimely detection data caused by the need for manual inspection in the traditional rice processing industry is solved， and the pain point of the industry where milling accuracy depends on the experience of skilled workers is tackled.

Key words

digital twin / virtual reality / condition monitoring / mask RCNN

Cite this article

EndNote

Ris (Procite)

Bibtex

Download Citations
QI Zhi-gang , HU Xin-yu , LI Bing , LUO Cheng-gan. The Digital Twin Virtual Simulation System of the Embryonic Rice Processing System[J]. Manufacturing Automation. 2025, 47(3): 175-181. https://doi.org/10.3969/j.issn.1009-0134.2025.03.022

0 引言

在国际环境日趋复杂的背景下，各行各业的竞争趋于白日化。制造业作为创新驱动经济高质量发展的主力军被大国战略博弈所聚焦。世界各国都在致力于推动制造业往数智化转型发展。为实现“制造大国”向“制造强国”的转变，制造技术转型升级是关键。数字孪生以超逼真、高精度、多系统融合等特点，通过数字化技术对物理实体的外形特征、行为、性能进行描述与建模，进而实现对原物理系统的监控、预测与实时控制，有效地解决智能制造信息融合的问题。
柳林燕等［1］提出了基于数字孪生的生产车间使生产过程透明化，同时优化生产。郑小虎等［2］提出了基于数字孪生的纺纱智能工厂，为纺织智能生产与精益管理提供思路。张南等［3］根据数字孪生理论模型为基础提出了数字孪生车间作业监控以及可视化方法，并对系统的关键技术进行了研究。石浩［4］采用数字孪生技术对智能车间进行了虚拟模拟，缩短了电机车间的调试周期和生产成本。
综上所述，各个研究为实现生产状态的可视化提供了多维度多角度的理论基础，但是在加工过程中存在工艺调整不及时，实时控制能力差，反馈效率低的特点。本文通过结合数字孪生技术、构建Mask RCNN网络检测，极大地提高稻米在生产加工过程中的检测速度，解决了传统稻米加工产业中由于需要人工巡检导致的检测数据不及时的问题，进一步提高粮食产量。同时结合三维建模、虚拟现实、物联网等技术满足了智能生产过程检测需求，通过现场数据可视化分析，物理产线实时监控与管理来集成建设智能化车间，以最优路径打造数字化产线，有效解决传统制造业实时控制能力差、反馈效率低、信息孤岛等产业痛点。

1 留胚米加工过程的方案设计

留胚米加工自动化产线在加工过程中，全面检测留胚米的白度、留胚率、垩白度及胚芽完整度等指标，依托虚拟的场景及功能设计，结合小目标检测分割技术，构建面向生产控制的数字孪生工厂，实现对留胚米加工检测过程的数据检测、参数自设定、加工决策等功能。

1.1 留胚米检测过程方案设计

针对于传统留胚米留胚度检测方法过度依赖人工，检测精度低，检测效率低下等问题。基于数字孪生系统通过Mask RCNN网络对留胚米进行留胚度检测，通过算法检测提高了检测效率以及检测精度。检测过程主要分为采集过程、训练过程、检测过程，如图1所示。
图1 留胚米检测方案总体设计图

Full size|PPT slide

1.2 加工参数的监控与控制方案设计

针对于原控制系统只是通过工控机下发指令，数据依赖人工巡检，设备运行状态依赖人工等问题，基于数字孪生控制系统，通过登录账号随时随地查看产线运行数据，及时对参数不达标以及故障进行预警，提醒服务端解决问题，同时依据加工结果分析应用参数，设定更适合的加工参数，应用于之后的加工操作中，图2为加工参数的监控与控制总体示意图。
图2 数字孪生控制系统总体示意图

Full size|PPT slide

2 数字孪生工厂在生产控制阶段应用

2.1 基于活米检测过程控制实现

基于活米检测过程的数字孪生工厂体系架构，以及闭环控制系统的功能需求，设计活米检测研究方案，如图3所示。主体分为两部分：第一部分描述基于小目标检测分割技术网络的活米检测原理及流程；第二部分描述通过访问SCADA系统API获取图片，通过对图片进行处理的数据分析从而决策接下来活米加工方式［5］。
图3 活米检测研究方案设计图

Full size|PPT slide

2.1.1 留胚米检测流程

Mask RCNN框架图主要分为四部分：基于Swin Transformer的特征提取、基于ME-PAFPN的特征融合、RPN、基于ROI Head Fully Convolution Nets的分割head［6］。基于Mask RCNN框架，并结合检测对象是小且是同类物体的留胚米，采用实例分割（Instance segmentation）算法，对留胚米胚芽完整度进行识别，实现胚芽米完整度准确、快速检测，图4为分割框架图。
图4 基于小目标算子分割技术的框架图

Full size|PPT slide

基于Mask RCNN架构，利用Mask RCNN网络模型对留胚米胚芽进行识别，准备了3000张原始图像，2100张用于训练集，900张用于验证集，通过大量数据集训练改进了Mask RCNN算法，并得到对应的权重文件，应用时加载其权值进行后续的推理和分割工作。通过对所得数据的分析从而对留胚米加工参数调节提供准确的参考和反馈［7］，决策下一步加工方式，再根据实验数据验证项目的可行性。图5所示为Mask RCNN网络的训练以及检测过程示意图。
图5 网络训练及检测流程

Full size|PPT slide

2.1.2 留胚米检测数据可行性分析

数据集的质量以及数据集的数量将直接影响网络学习的效果。数据集的样本数量太少时，容易造成网络模型训练过程中的欠拟合现象。当数据集中数据分布单一时，容易造成网络模型的过拟合现象［8］。以留胚米为样本，使用安装在米机内部的相机进行图像采集，得到了原始的分辨率为4096×2016留胚米图像，为了方便后续特征提取需要对图像进行灰度化处理，并且通过去噪，降低摄像头成像过程中由脉冲噪声形成的白点或者黑点噪声影响，最终得到图像如图6（a）所示。为了更好的对目标进行标注，减少背景的干扰，使用描边的手法得到了如图6（b）所示的标注图。经过大量的训练以及Lose曲线的判断，得到了对应的权重文件，应用时加载权值，输入初始图便可直接得到如图6（c）所示的分割图。
图6 不同阶段留胚米示意图

Full size|PPT slide

以单粒米胚芽完整度为评价标准，根据指标检测要求，将通过Mask RCNN网络检测的留胚米胚芽完整度与人工识别结果进行对比，验证实验可行性。
检测系统对留胚米胚芽完整度检测结果如表1所示。胚芽完整度准确度最高的分别是0%~12.5%以及87.5%~100%区间内的留胚米，其胚芽完整度准确率达到了98%。胚芽完整度准确率最低是37.5%~50%区间内的留胚米，其胚芽完整度准确率为94%。故推测在留胚米碾磨过程中，由于高胚芽完整度或者是低胚芽完整度都具有比较明显的特征，而位于胚芽完整度中间区域的留胚米，特征相对不够明显，磨损形状各异，相邻区间差距不大，难以完全正确分类［9］。虽然在胚芽完整度不同区间上，胚芽完整度检测准确率有所浮动，但是总体平均率高达96.1%，满足生产检测需求。
表1 留胚米胚芽完整度检测结果
胚芽完整度类别 人工分类结果/粒 检测系统结果/粒 胚芽完整度准确率/% 平均准确率/%
0%~12.5% 100 98 98 96.1
12.5%~25% 100 96 96
25%~37.5% 100 96 96
37.5%~50% 100 94 94
50%~62.5% 100 95 95
62.5%~75% 100 95 95
75%~87.5% 100 97 97
87.5%~100% 100 98 98

2.2 基于留胚米加工工艺参数的控制

留胚米加工产线主要由去石机、米机、抛光机、色选机、白米筛组成。其加工流程简图如7所示。
图7 加工流程简图

Full size|PPT slide

2.2.1 留胚米加工系统控制流程

现以留胚米机为控制对象，简化控制流程，图8是原系统系统示意图，通过上位机设定各项加工参数，将其指令通过工控机传递给米机，米机通过米刀以及砂带对留胚米进行开糙、去皮、精磨，最终通过对应的白度计以及人工方式得出对应的白度以及留胚率等参数。通过人工巡检的方式检查设备运行状态，砂带磨损情况，由工控机界面显示各类加工参数，通过工人工作经验决定下一步执行方案。
图8 原控制系统示意图

Full size|PPT slide

引入闭环控制，得到基于数字孪生的加工系统如图9所示。该系统可以实时获得各项机器运行情况。各类机器无论运行故障或者是加工结果未达到预期都有对应的报警系统，能够对数据进行实时准确的监控。通过登录端口地址，能够远程实时的观看数据并且下发控制指令，有效解决地域以及时间限制。同时形成的闭环控制系统使得整个系统处理问题误差变小，通过调节对应参数下发指令实时反馈效果，大大增加了工作效率以及加工精度。
图9 数字孪生控制系统示意图

Full size|PPT slide

2.2.2 留胚米加工系统参数设置控制

分别以六组数据作为研究基础，在其它参数设定不变的情况下。探究不同控制系统下砂带压力与米刀间隙对留胚率的影响。砂带碾磨压力与留胚率的关系图如图10所示。从对比图我们得知原控制系统在不同压力下，整体留胚率波动浮动较大，其原因主要是因为原控制系统是开环控制系统，每次加工前只能先设定一个砂带压力值，根据加工完一批米之后的留胚米留胚率情况决定之后的砂带压力值的设定。而现数字孪生控制系统会通过加工过程的反馈，以及对于不同米种、不同粒型的历史加工数据进行分析［10］。提前指定对应的加工方案，不同压力对应不同加工情形，取代人工主观判断，即使在不同压力设定下，留胚率依旧趋于相对稳定的状态。
图10 不同控制系统留胚率与砂带压力的关系对比示意图

Full size|PPT slide

米刀间隙与留胚率的关系图如图11所示。从对比图可知，两个控制系统米刀间隙与留胚率之间的关系都具有较大波动性［11］。其主要原因是区别于砂带压力，米刀间隙具有一定动态特性，因为随着加工碾磨进程推进由于加工过程中米刀间隙会有±0.1~±0.3 mm的波动性，同时不同品种的留胚米其最适合的米刀间隙也不同，并且米刀间隙是毫米级别，很容易受到外界扰动影响从而影响判断结果。但是得益于数字孪生控制系统的历史统计以及数据分析，米刀间隙参数的设置更贴近于数据而非人工判断，这也使得即使曲线呈现波动性，但是总体留胚率仍然高于原控制系统。
图11 不同控制系统留胚率与米刀间隙的关系示意图

Full size|PPT slide

综合以上数据分析，考虑到生产过程动态性，没有哪一组砂带压力和米刀间隙是适用于所有品种的留胚米，只能通过统计加工数据，得出各个品种最高留胚率对应的参数，从而为后一阶段加工做参考。参考两张曲线留胚率峰值对应参数，图12所示为通过数字孪生系统下发设置砂带压力为140 N，米刀间隙1.51 mm设置指令。
图12 留胚米加工参数设置

Full size|PPT slide

3 留胚米加工系统数字孪生仿真实现

3.1 总体架构设计

基于留胚米加工系统需求分析制定了留胚米智慧加工数字孪生系统五维模型，并基于功能指标进行了总体框架的设计，如图13所示。通过建模以及渲染技术完成对留胚米数字孪生系统模型的构建。依托Web端以及Varest实现数字孪生系统通信，搭配VR设备实现虚拟现实交，不仅能有沉浸式的交互体验，还能对闭环系统进行监控与命令，最终实现对产品生产生命周期中的优化管理与控制。
图13 留胚米加工数字孪生五维模型构成图

Full size|PPT slide

3.2 虚拟场景实现

虚拟仿真平台是对物理仿真平台的镜像映射，通过模型构建和材质构建两部分，并搭建系统效果逼真的三维虚拟场景，用户可以搭配VR设备实现虚拟现实交互。通过在虚幻引擎5里进行场景渲染，结合光照使其呈现更逼真的效果，并按照生产线顺序进行模型摆放。构建好的虚拟场景设备如图14所示。
图14 虚拟场景机械设备整体布局

Full size|PPT slide

3.3 交互通讯实现

在数字孪生的物理实体、虚拟孪生体、服务系统、连接、孪生数据五部分中，连接扮演着重要的角色，通过连接才能够将系统各个环节串联并且联动起来。图15所示为本文系统通信总体设计以及各部分连接示意。物理仿真平台主要是各类加工设备以及对应的工控机，工控机与SCADA连接时需要配置config.json文件，指定SCADA的IP、所用协议、SN码。通信方式是TCP/IP。虚拟仿真平台指的是UE5端，它是通过访问SCADA的API端口实现数据通信，通信方式是WebSocket。
图15 数字孪生系统通信总体设计

Full size|PPT slide

虚拟现实交互主要分为场景漫游以及场景交互两部分，场景漫游指的是以VR预览的方式在虚拟场景中移动并且观看数字孪生虚拟场景。场景交互指的是通过操作映射，蓝图逻辑实现实际操作手柄对应虚拟场景中射线与设备的交互［12］。
VR预览需要在场景中导航网格体完全覆盖的地方才能实现漫游，通过设置房间规模以及站立状态的高度确定预览时的移动范围以及视野高度。确定移动范围之后就要对于漫游操作进行设置［13］。从而通过控制手柄实现瞬移、旋转、抓取等功能，如图16所示。
图16 虚拟场景漫游示意图

Full size|PPT slide

至于场景交互，主要分为碰撞检测以及蓝图通信两部分。虚拟现实交互过程中碰撞检测的主要作用是检测射线，这里使用的是按通道进行线条追踪，其作用是通过获取线条交互后的位置［14］，如果与交互的设备发生碰撞，则射线由红色变为绿色，同时在其蓝图类中编写对应触发的事件，图17所示为场景碰撞交互示意图。
图17 虚拟场景碰撞交互示意图

Full size|PPT slide

4 结论

依据实际工程项目需求，响应国家“中国制造2025”，助力推动稻米加工数字化转型［15］。从提高加工效率、加工过程可视化角度出发，构建留胚米智慧加工数字孪生系统。实现了数字孪生工厂在生成控制阶段的有效利用，在一定程度上为未来数字化可视化生产产线的发展提供了思路。
本文针对留胚米加工产线数字孪生系统，基于基于数字孪生五维模型，对物理仿真平台进行虚拟仿真平台建模，配合VR设备，实现了虚拟场景漫游、虚拟现实交互功能。通过蓝图通信建立了虚拟空间对于物理空间加工信息的实时映射，实现了沉浸式观看及交互留胚米加工过程，同时对留胚米加工过程的实时监控与控制，并基于Mask RCNN网络，结合数字孪生服务提升了分析速率，增大了高留胚率的留胚米产量。通过建立闭环反馈控制系统，相对于原控制系统在数据实时性、识别准确性、问题处理效果性上都有显著提升。

References

Publishing order | Descend order by publishing year | Descend order by cited within
1
柳林燕，杜宏祥，汪惠芬，等.车间生产过程数字孪生系统构建及应用 ［J］.计算机集成制造系统，2019，25（6）：1536-1545.
本文引用 [1]
2
郑小虎，张洁.数字孪生技术在纺织智能工厂中的应用探索［J］.纺织导报，2019，（3）：37-41.
本文引用 [1]
3
张南，张顺，刘利勋，等.基于数字孪生的车间生产过程监控方法 ［J］.组合机床与自动化加工技术，2022，（7）：156-159.
本文引用 [1]
4
石浩，杨祖伟，张佳欣. 基于数字孪生的电机智能车间研究与应用探索［J］. 电机与控制应用，2021，48（5）：105-112.
本文引用 [1]
5
化泽帅.基于虚拟现实渐进式视觉分析沉浸式交互系统研究［D］.广州：华南理工大学，2020.
本文引用 [1]
6
祝冰艳，陈志华，盛斌.基于感知增强Swin Transformer的遥感图像检测 ［J］.计算机工程，2024，50（1）：216-223.
本文引用 [1]
7
柳碧辉，王培元.基于改进MASK R-CNN的舰船目标三维识别 ［J］.无线电通信技术，2022，48（1）：188-195.
本文引用 [1]
8
魏瑞歌.基于深度学习的无人机小目标检测算法研究 ［D］.成都：电子科技大学，2022.
本文引用 [1]
9
何超.留胚米胚芽完整度在线检测方法研究 ［D］.哈尔滨：哈尔滨工程大学，2018.
本文引用 [1]
10
万伟红，杨卫平，刘峰.留胚米加工工艺及设备研究 ［J］.包装与食品机械，2012，30（1）：3-4.
本文引用 [1]
11
林玉辉.一种揉搓加工留胚米的工艺及效果研究 ［J］.粮食与饲料工业，2022（5）：1-3.
本文引用 [1]
12
郭洁畅.多种VR设备下的三维模型交互技术研究 ［D］.杭州：杭州电子科技大学，2018.
本文引用 [1]
13
沈珉.VR内容生产研究：具身的视角 ［J］.出版科学，2023，31（1）：91-99.
本文引用 [1]
14
吴丽婷，郭景，王晖，等.基于UE4的长租公寓VR软装选配系统的开发与实现 ［J］.施工技术，2020，49（16）：40-44.
本文引用 [1]
15
熊海铮，张宁，孙健，等.水稻留胚米的营养价值，加工技术及产品开发研究进展 ［J］.核农学报，2012，26（7）：1031-1032.
本文引用 [1]
PDF(2218 KB)

51

Accesses

0

Citation

Detail
Sections
Recommended
Copyright © Manufacturing Automation, All Rights Reserved.
E-mail: ma@riamb.ac.cn
Powered by Beijing Magtech Co., Ltd.

/

〈 〉