錡軒誼
李招蓁
葉子瑜
王莉淇
張淳涵
十二年國教課綱正式將「臺灣手語」納入高中必修科目,致力培養學生溝通、表達的能力,促進對聾文化的理解與尊重。但目前手語教師的缺乏與傳統課堂搭配多媒體教材的學習模式,老師無法有效地掌握每一位學生的學習狀況,也沒辦法即時判斷與回饋學生手語打法的正確性。
因此,我們根據手語學習行為論,並使用深度學習技術開發「AI 手語辨識輔助學習系統」,讓電腦學習判斷學生手語動作的正確性,提供手語學習者一套具備學習、練習、測驗功能,與即時回饋機制的輔助學習工具。
「AI 手語辨識輔助學習系統」具備學習、練習、測驗三大區域,給予學生即時的學習回饋,以營造良好的互動學習環境。三大區域的介紹如下:
1.學習區:透過專業手語教學影片進行非同步線上教學。畫面右側為手語教學影片,左側選單為單元詞彙,可以直接點選左側選單,跳轉至欲學習的詞彙。
2.練習區:當學生按下開始錄製鍵即開始檢驗手語動作,題目出現在鏡頭畫面上方,若學生在練習中需要複習,可點選上方提示按鍵,即播放題目手語動作的教學影片。
3.測驗區:測驗過程中僅顯示鏡頭畫面,錄製學生手語動作內容加以辨識,並依據動作正確性在測驗結束後顯示該動作之考試分數。