果品產業可視化、智能化修剪管理新途徑-藏刊網

0 引言

樹形結構對果樹的產量和品質有著重要的影響,修剪是取得優質高效樹形結構的主要技術手段.例如,通過整形和修剪改變花期和營養生長[1],或用來控制樹形及平衡營養生長和生殖生長[2].然而,傳統剪枝主要依據經驗知識對樹冠進行修剪,其操作過程不可逆[3].目前,果樹修剪技術培訓和推廣工作中,主要存在以下問題:一是傳統口頭講解、教學光盤等形式的果樹修剪技術培訓不能夠直觀形象、效果欠佳;二是掌握果樹修剪技術的科技人員相對短缺[4];三是在農村普及正確的修剪技術有一定難度[4].

隨著信息技術的發展,虛擬植物\\(果樹\\)為生長建模、過程模擬、可視化計算分析等提供信息服務和技術支撐[5].因此,如何通過信息技術手段改進果樹修剪技術培訓和科技推廣成為各國科研人員的研究興趣.虛擬現實從應用上看是一種綜合計算機圖形學技術、多媒體技術、人機交互技術、網絡技術、立體顯示技術及仿真技術等多種科學技術綜合發展起來的計算機領域的最新技術,也是力學、數學、光學、機構運動學等各種學科的綜合應用[6].如果將其應用到果樹修剪中,將為樹形分析研究、果樹修剪技術培訓等應用提供一種全新的技術手段,縮短在真實果樹上進行修剪試驗的時間,同時極大地降低成本.

近年來,不少國內外研究者圍繞果樹的虛擬修剪進行了研究.Balandier 等人[7]以單株的幼年核桃樹為例,設計了一種 SIMWAL 的功能結構模型,根據枝葉生長、修剪時間、修剪點等參數對模型進行修剪,研究氣候變化與枝條修剪對核桃樹的影響.潘云鶴等[8]提出了一種交互設計技術的果樹樹形修整方法,從樹根遍歷所有枝條是否執行剪除操作,缺點是不能對某根枝條進行交互式修剪和編輯操作.王劍[1]等提出通過創建修剪規則庫,利用鼠標控制模型運行的參數將修剪動作映射到相應的規則中,然后根據規則將相應修剪后的模型進行可視化輸出.以上研究修剪過程不夠自然,樹木真實感比較差,不能滿足真實的果樹修剪也限制了果樹虛擬修剪系統的推廣應用.

同時,還有一些植物建模軟件如 Xfrog、Onyx Tree 等,與真實的剪枝也有較大差距.基于以上不足,本文試圖提出一種更加自然、樹木真實感更好,并使用"虛擬剪刀"的交互修剪技術,為果品產業提供一個可視化、智能化的修剪管理新途徑.

1 關鍵技術

1. 1 Unity3D 虛擬現實技術

虛擬現實是利用電腦模擬產生一個三維空間的虛擬世界,提供使用者關于視覺、聽覺、觸覺等感官的模擬,讓使用者如同身歷其境一般,可以及時、沒有限制地觀察三度空間內的事物[9].本文涉及的 Unity3D 是專業的虛擬現實開發引擎,可用于創建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內容.其開發界面如圖 1 所示.

首先,Unity3D 是一個層級式的綜合開發環境[10],開發者可以根據自己的視覺習慣選擇不同的編輯類型顯示,編輯區有詳細的屬性編輯器和動態的游戲預覽;其次,一個完整的 Unity3D 項目是由若干個場景和場景中的界面組合起來的,每個場景中又包含許多模型,并通過腳本來控制它們的交互行為;最后,Unity3D 擁有強大的物理引擎,能模擬現實世界中的物理現象\\(如碰撞和重力效果\\),并且還提供粒子系統\\(如火焰、霧和瀑布等效果\\).

本文將三維重建后的果樹模型導入 Unity3D,通過場景編輯視圖創建虛擬果園.為了加快計算速度及提高交互性,對模型從 3 個方面進行優化:①合并使用同貼圖的材質球及其 Mesh;②創建預置,將場景中重復使用的模型定義為預置體\\(Prefab\\),并通過動態異步加載的方式加載模型;③使用光照貼圖.像素的動態光照將對頂點變換增加開銷,使用光照貼圖減少開銷.

為了提高軟件的運行效率,對代碼也進行了如下優化:

①盡量避免每幀處理,如 Update 函數改為每 5幀處理 1 次;②主動回收垃圾;③優化數學計算等.

總之,Unity3D 擁有優化的圖形渲染管道,應用程序能協調并行工作,把它作為虛擬開發平臺,克服了傳統方法開發周期長、數據兼容性差及發布平臺受限等缺點.

1. 2 建立三維模型庫

人們獲取物體的三維模型的方式有 3 種[11]:一是通過三維掃描設備來獲取;二是通過建模軟件構造三維模型;三是通過利用圖像來重建三維模型.本文取第 1 種方式,具有過程如下:首先,利用三維掃描儀獲取果樹幾何構造與外觀數據,根據農學知識分析數據并提取模型關鍵特征;其次,基于知識建立數字植物的三維形態模型,實現植物對象數字化可視化表達[12];最后,完成三維重建,將模型保存模型庫滿足交互應用需求.三維模型庫構建流程如圖 2 所示.

本文三維重建后,需要導出 FBX 格式文件,在導出之前需要注意以下步驟:

①檢查模型法線是否正確;②檢查材質和對象是否規范;③檢查場景模型的組別和層次是否滿足需要;④檢查各物體的局部坐標朝向;⑤檢查 UV 是否正確.通過這些步驟導出模型,然后再導入到 Unity 中;導入 Unity 后對待修剪的枝條進行單位大小調整及添加物理屬性碰撞體組件處理,否則鼠標無法完成拾取操作.

1. 3 果樹修剪技術

果樹在生長發育過程中,根據每個時期的生長特點和要求,所采用的修剪方式也不一樣.本文以柑橘為例,柑橘樹一生要經歷幼年、成年和衰老等生物學階段,就修剪而言,不同階段的技術要點不同[14]:幼樹期修剪的目的是整形,主要通過抹芽放梢及疏除花蕾;初結果期修剪是為了保持坐果率,采取適當除果及剪除徒長枝的方式;衰老期修剪以保持樹形為主,一般做法是剪掉下垂枝;衰老期修剪要進促進其長勢,通過輪換更新和主枝更新的方法修剪.不同時期修剪規則圖解如圖 3 所示.

1. 4 射線拾取技術

拾取是計算機圖形處理系統一個重要功能,是圖形繪制、操作者通過輸入設備操縱屏幕上的物體、獲取物體的空間坐標或圖形數值的實現基礎[15].本文主要通過射線拾取算法實現鼠標拾取場景中的物體\\(修剪點\\),并判斷由視點發出經屏幕光標的射線是否與目標物體相交.射線拾取原理圖如圖 4 所示.

z = 0 處為視椎體近剪裁面,z = 1 處為遠剪裁面.其中,P0 為發射指向 P1,也就是 2D 平面的一個點映射至 3D 空間的一條射線.具體實現方法:

1\\)獲取屏幕上的點,并找到其對應的投影窗口上的點.

2\\)計算拾取射線.其是一條從屏幕上點擊的一點出發的射線.

3\\)將射線乘以觀察矩陣和投影矩陣連乘后的聯合矩陣的轉置逆矩陣,并變換到和模型相同的坐標系當中.

4\\) 判定物體和射線求交,被穿過的物體就是屏幕上拾取的物體.

1. 5 碰撞檢測技術

碰撞檢測是視景仿真中的重要研究內容,也是虛擬環境產生沉浸感的重要手段,可以使用戶以更自然的方式與仿真系統中的場景對象進行交互[16].碰撞檢測主要有空間分解法和包圍盒層次法兩大類,空間分解法存儲量大、不靈活.本軟件使用包圍盒層次法檢測"虛擬剪刀"模型是否柑橘枝條模型的碰撞.其基本思想是用簡單的包圍盒將復雜的幾何形狀圍住,當對兩個物體進行碰撞檢時,先對包圍盒求交,若相交,則只對包圍盒重疊的部分進一步相交測試.當模型幾何結構很復雜時,使用這種方法可以提高計算速度,滿足虛擬環境中實時性的要求.

如果要進一步提高修剪的沉浸感與趣味性,可與leap motion 體感設備相結合,通過手勢識別控制"虛擬剪刀"進行修剪操作.

2 軟件實現與實例驗證

2. 1 軟件簡介

本文研究的"果樹虛擬修剪軟件"是將果樹修剪技術、信息技術及虛擬現實技術相結合的果樹虛擬修剪仿真軟件.以單株果樹模型為例,用戶可以對模型進行旋轉、縮放及移動等操作,并使用"虛擬剪刀"的方式模擬其從幼樹期到衰老期的交互修剪.通過這種方式,將果樹較長的生長周期在短時間內模擬生長,縮短了在真實樹木上修剪試驗的時間,降低了成本.通過反復練習,來達到快速掌握科學修剪技術的目的.

2. 2 開發環境及流程

本文通過 Unity 3D 開發平臺進行虛擬果園場景編輯并采用 c#、JavaScript 腳本控制虛擬交互修剪操作.硬件環境為 CPUp5200、2. 5Hz、內存 2G、WindowsXP 操作系統.開發流程主要分為 4 個步驟: ① 數據采集.通過廣泛收集果樹修剪需要的媒體素材包括圖片、文字、聲音、視頻及動畫等.②獲取果樹三維模型.使用三維掃描儀獲取果樹形態數據,三維重建后導出 FBX 格式文件.③搭建果園場景,將重建后的果樹模型導入 Unity,使用 Unity 引擎優化模型、調節"虛擬剪刀"執行修剪動作動畫及編寫腳本.④測試并發布.對系統進行優化并測試,調試完善后發布 exe 及網絡版本.

2. 3 實例驗證

實驗以柑橘某枝條疏花疏果及果實采摘為例,通過鼠標交互快速、高效地拾取修剪點.此外,還可以對柑橘模型進行旋轉、縮放、移動等操作.交互修剪流程圖如圖 5 所示.（圖5略）

1\\) 疏花疏果模擬:柑橘通過疏花疏果,將過多的花、果疏除,有利于提高果實品質,保證樹體健壯[17].疏花疏果能夠模擬現實柑橘根據葉果比法進行疏花、疏果等操作.不同的品質葉果比是不同的:溫州蜜柑葉果比應保持在\\(20 ~ 25\\):1,而茂谷柑葉果比是\\(50~ 60\\):1.在柑橘某枝條上模擬疏花疏果,如圖 6 \\( a\\)所示.根據設置的修剪點,通過鼠標選擇修剪點\\(枝、葉、花等對象\\),若選擇正確,則出現"虛擬剪刀",如圖6\\(b\\)所示.然后"虛擬剪刀"檢測修剪點并執行修剪動作動畫剪掉所選對象,修剪后"虛擬剪刀"及所選對象消失,效果如圖 6\\(c\\)所示.若選擇錯誤,則彈出操作錯誤提示界面,點擊重新選擇可繼續點選.與文獻[18]實驗修剪結果相比\\(見圖 7 和圖 6\\(d\\)\\),可知本軟件樹木真實好,并通過"虛擬剪刀"的形式使得修剪更自然,交互性更好.（圖6略）

2\\)果實采摘模擬 :采果時應遵循"一果兩剪"方法:第 1 剪帶果柄約 3 ~4mm 剪斷,第 2 剪則齊果蔕把果柄剪去,并且應由下而上,由外到內,以免損傷果皮.果實采摘模擬,首先通過二維界面的形式讓用戶選擇"虛擬剪刀"的使用方式,果剪有正手與反手兩種方式.在第 1 剪時,使用者應選擇正手,如圖 8\\(a\\)所示.通過鼠標點擊正手方式時,則出現"虛擬剪刀",如圖 8\\(b\\)所示.播放修剪動作動畫將帶果柄的果實剪掉,剪掉的果實放到容器中,然后再選擇反手進行第 2 剪\\(即剪去果柄\\),完成果實采摘過程.

實驗結果表明,本研究通過 Unity3D 創建果園場景虛擬方法,樹木真實感強,符合自然的修剪,即當剪除母枝時,其子枝也被剪除;通過設置多個修剪點及反饋機制,增加了交互性;通過"虛擬剪刀"及其修剪動畫的方式,提高了修剪的趣味性.

3 結論與展望

本研究是果樹修剪方面的初步探索,也是在數字農業、虛擬農業應用中的嘗試.從虛擬修剪效果來看,具有樹木真實感好、符合真實人工修剪操作的優點.通過"虛擬剪刀"的形式有利于增加交互的趣味性,提升教學及培訓人員的熱情,從而快速掌握科學的修剪方法.但是要注意,應該根據不同樹種與品種的生物學特性,以及不同樹齡、樹勢和自然條件的特點,合理進行整形與修剪,才能收到預期的效果[19].

所有的一切都是建立在靈活應用科學的整形修剪技術之上的,所以園林樹木的整形修剪是栽培和管理創新的重要措施[20].由于修剪后形態發展的復雜性,對修剪后形態生理發展的模擬還有待于進一步研究.

近年來,大量更自然、速度更快、精度更高的虛擬交互技術和設備相繼出現,如數據手套、頭盔、近紅外手勢識別,以及 kinect、leap motion 等體感設備.如果能將這些虛擬交互技術產品應用于果樹虛擬修剪中,必然會增加虛擬修剪的沉浸感、交互性與趣味性,這也是下一步研究的趨勢.

參考文獻:

[1] Stephan J,Lauri PE,Dones N,et al. Architec ture of the prunedTree:Impact of constrasted pruning procedures over 2 years onshoot demography and spatial distribution of leaf area in apple[J]. Annals of Botany,2007,99\\(6\\):1055 - 1065.

[2] Thomas Cokelaer,Damien Fumey,Yann Guedon,et al. Competi-tion - based Model of Pruning: Application to Apple Trees[C]/ /6th International Workshop on Functional - StructuralPlant Models. Livermore:University of California,2010.

[3] 林榮錕,鄒杰,陳崇成,等. 虛擬樹木形態結構的交互式編輯技術及其實現[J]. 農業工程學報,2012,28\\(25\\):175 -180.

[4] 王劍,周國民. 基于虛擬現實技術的果樹修剪培訓系統的研究[J]. 浙江農業科學,2009\\(1\\):213 -216.

[5] 趙春江,陸聲鏈,郭新宇,等. 數字植物及其技術體系探討[J]. 中國農業科學,2010,43\\(10\\):2023 -2030.

[6] 許微. 虛擬現實技術的國內外研究現狀與發展[J]. 現代商貿工業,2009,21\\(2\\):279 -280.

[7] Balandier P,Andre Lacointe. SOMWAL: A structural -functional model simulating single walnut tree growth in re-sponse to climate and pruning[J]. Annals of Forest Sci-ence,2000,57\\(5\\):571 - 585.

[8] 潘云鶴,毛衛強. 基于交互變形的樹木三維建模研究[J].計算機輔助設計與圖形學學報,2001,13\\(11\\):1035 -1042.

[9] 祝敏嬌. 基于 Unity3D 的虛擬漫游技術的研究[J]. 硅谷,2012\\(20\\):77 - 77.

[10] Ryan Henson Creighton. Unity 3D Game Development byExample[M]. Birmingham:Packt Publishing Ltd. ,2010.

[11] 張典華,陳一民. 基于 Unity3D 多平臺虛擬校園設計與實現[J]. 計算機技術與發展,2013\\(11\\):1 -4.

[12] 肖伯祥,郭新宇,陸聲鏈,等. 植物三維形態虛擬仿真技術體系研究[J]. 應用基礎與工程科學學報,2012,20\\(4\\):539 -551.

[13] 陳曉青,王少偉. 基于 Unity 的虛擬現實技術在教育中的應用[J]. 軟件導刊:教育技術,2011\\(12\\):76 -78.

[14] 沈兆敏. 柑橘成年結果樹修剪技術[J]. 科學種養,2011\\(9\\):22.

[15] 劉薇. 基于 OpenGL 的射線拾取的探討[J]. 科技創新導報,2011\\(11\\):88 -90.

[16] 宋強,宋玲芝,康鳳舉,等. 包圍盒碰撞檢測算法應用研究[J]. 計算機工程與應用,2009,45\\(24\\):238 -240.

[17] 左媛媛,鄭黨軍. 合理疏花疏果,保障蘋果樹健壯生長[J]. 農業開發與裝備,2013\\(10\\):119.

[18] 林定,陳崇成,唐麗玉,等. 基于顏色編碼的虛擬樹木交互式修剪技術及其實現[J]. 計算機輔助設計與圖形學學報,2011,23\\(11\\):1800 -1807.

[19] 常紅玲. 北方果樹的修剪與修剪的好處[J]. 防護林科技,2011\\(3\\):115 -116.