一、建設背景
隨著信息技術的不斷發展，虛擬現實技術在教學中發揮了越來越重要的作用，在營造教學環境、促進教學互動、提升學生實踐能力等方面，顯示出巨大的優勢。特別是對于實踐性很強的專業教學來說，根據具體學科特點，運用相關現實虛擬技術和設備，設計科學的教材、教程和教法，可以大大提高教學的實踐性效果。此時，基于虛擬現實技術的課程設計及其輔助教學系統應用，成為教學實踐的一種嶄新手段和模式。
交互式教學利用虛擬現實及人機互動技術，模擬設備產品的裝配、操作過程，以及產品的介紹、使用、維護等流程，為不同應用方向提供基本理論及技術支持。通過系統教學，使學生掌握產品的基本原理，促進學生進入深入思考，加深對產品的理解，熟練掌握相關應用技能。通過一系列產品教學，期望學生體會到產品的技術精髓，為以后的產品使用打下堅實基礎。
二、研究內容
交互式教學通過構建計算機與AR眼鏡結合的教學環境，引入虛擬現實技術將各類產品信息和使用維護保障過程以電子化、信息化技術進行重構，著力于提高教學培訓的體驗度和交互性。將產品日常的使用維護、測試等過程進行梳理，通過視頻動態演示、構建虛擬場景等手段提高用戶在設備使用和訓練過程中技術保障的信息獲取體驗，縮短學習時間，提高學習效率。
基于增強現實AR的輔助教學主要包括以下內容：
1. 支持學生學習
能夠根據學生所在站位和操作點，在智能眼鏡和電腦上通過文字、圖片和語音提示各站位的操作步驟、內容、方法、標準及注意事項。
2. 支持教師教學
能夠在學生學習功能基礎上，實現教師佩戴智能眼鏡實裝講解，終端大屏上顯示、播放教師的第一視角、操作動作和語音，以文字、圖片形式自動提示操作路線、方法、標準和注意事項，引導學生利用電腦跟隨學習。
三、平臺簡介
為滿足教學需求，平臺在技術結構組成上自下向上分別是標準規范層、支撐層、數據層、服務層以及應用層。
基于增強現實AR的輔助教學平臺設計架構圖
功能組成
針對平臺的結構體系，核心內容主要包括目標識別檢測、實時流媒體、基于AR眼鏡的智能交互。
1. 目標識別檢測
目標識別檢測，主要是指對教學產品部位和產品教學點的識別檢測。識別完成后，根據識別結果提示相應的位置信息和教學產品部件的操作流程，并將教學產品部件的信息和操作流程疊加到終端屏幕和AR眼鏡上，主要包含純文字信息和圖片信息。其中，純文字信息一般是用來提示每一步操作步驟描述；圖片信息則適用于大部分場景，直接給出特定位置帶有特定標識的產品部位圖片，方便學生和教師對比真實場景和提示圖片，定位教學產品部件，方便教師和學生的教學和學習。
目標識別檢測模型訓練流程
目標識別檢測示意圖
2. 實時流媒體
實時流媒體，是基于AR眼鏡前置攝像頭捕獲的第一視角視頻流，并實時轉發到終端屏幕，是教師教學的重要支撐功能。
教學視頻同步示意圖
流媒體能夠將多媒體文件以數據流的形式傳輸于各設備之間。在傳輸數據之前,將視頻、音頻等多媒體文件進行編碼壓縮。經由流媒體服務器進行轉發,最后傳輸到目標計算機。
3. 基于AR眼鏡的智能交互
AR眼鏡的智能交互從頭盔攝像頭獲取特征圖的信息開始，獲取一幀圖像之后開始進行像素轉換，AR系統會對所獲取的這一幀圖像進行特征點提取與描述。在把相應的信息提供給應用層之前，圖像特征描述信息庫會通過特征識別單元對獲取的特征進行特征匹配處理和對象的識別。在此之后，根據對象坐標信息對相機的外參數求解得出單應性變換矩陣，進而獲得轉換后的幀和對應的對象狀態數據。一方面，將變換矩陣等信息返回到應用層用于二維虛擬物體和三維虛擬物體的矩陣轉換得到投影圖像；另一方面，與同步傳送回頭盔顯示屏的視頻幀進行精準融合，最后將生成的圖像顯示到頭盔屏幕上，呈現給使用者。
圖 5基于AR操作的示意圖
四、教學優勢
1. 推進課程設計更加合理化、人性化
基于“實物+AR增強現實”的課程設計和教學應用，使得課程在設計形式上更具人性化，呈現形式更加多樣化，呈現效果更佳。對于教學環節內容的落實、教學氛圍的改善和教學效果的提高有明顯的促進作用，推進了預期課程設計原則及教學目標的實現。
2. 助力教學課程設計
基于“實物+AR增強現實”的課程設計，為理論知識與實踐操作提供了一個嶄新平臺，對教學課程的設計提供了新思路和手段，為課程研發者提供了更多趨向于模擬現實的課程研發思路和方向。同時，也為創新型課程研發提供了更加廣泛的思考與發展空間。
3. 助力學習效率與參與度的提升
在傳統課程設計層面，最難以保障的就是實施環節中學生的學習效果。假如理科學科中知識體系過度枯燥抽象，將會導致學生學習疲勞，影響學習效率，影響學習效果。但在“實物+AR增強現實”教學模式下，理科學科的枯燥與抽象程度將會明顯削弱，有效緩解疲勞效應，學生在學習效率及參與程度上會有明顯提升。
4. 提高教學效率和效果
由于某些教學內容受到特定的環境限制，每次教學時最多只能進行一個或幾個學生的直接教學。完成一項教學內容往往需要分多批次進行，不僅教師工作量大、教學時間長，而且學生的實踐性感受也存在很大差異，直接影響了教學效率和教學效果。采用“實物+AR增強現實”教學模式后，學生無須進入特定環境即可以第一視角感受教學場景，還可以通過語音提示、信息查詢、互動交流等方式在終端設備上學習到相關設備的操作步驟、操作方法等內容，有效提高了教學效率和效果。
