不管是使用 Video 或 Image 當作資料來源都必須指定 WebViewer 屬性才可正常運作,因此我們需要從 User Interface 選項中拉出一個 Web aiappinventor2 Viewer 元件並指定給這個參數。 需特別注意的是此一 Web Viewer 元件在 Look 元件初始化完成前必須維持在可視 的狀態 。 而當使用 Video 作為資料來源時,因為程式會使用 Web aiappinventor2 Viewer aiappinventor2 來顯示 aiappinventor2 Video 畫面,因此使用時也必須維持在可視的狀態以便我們對準需要判斷的物體。
超過 10 年以上的資訊業界經驗,涵蓋軟體開發、資訊系統建置、研發團隊管理等層面。 Azure Custom aiappinventor2 Vision 是 Microsoft 人工智慧產品線中的一員,主要用於電腦視覺化的應用。 訓練好的模型可以透過 Web API 加以呼叫,因此可以輕易地應用在各式各樣的環境。
aiappinventor2: App Inventor 2 利用人工智慧進行物件辨識 (使用 Look 元件)
當判斷出的結果高於一定的可能性 (0.3) 時,程式會將物件名稱顯示在畫面上,並透過文字轉語音的元件念出該物件名稱。 這幾年大量出現影像辨識的應用,而 App Inventor 2 雖然一直沒有內建的元件可提供類似功能,但是其實 MIT 並不是完全對此棄之不顧。 MIT 提供了名為 Look 的延伸元件 aiappinventor2 ,可用來判斷畫面中的物件類別。 在這篇文章中,我們就來了解此一元件,並實際動手開發出具備影像判斷能力的 App Inventor 2 應用程式。 我們利用 Azure aiappinventor2 Custom Vision 訓練了一個可以用來辨識鋼彈的模型,並利用 App Inventor 2 製作了一個 App,可以將影像資料上傳至我們的模型以判斷鋼彈的型號。
- 超過 10 年以上的資訊業界經驗,涵蓋軟體開發、資訊系統建置、研發團隊管理等層面。
- 我們利用 Azure Custom Vision 訓練了一個可以用來辨識鋼彈的模型,並利用 App Inventor 2 製作了一個 App,可以將影像資料上傳至我們的模型以判斷鋼彈的型號。
- 需特別注意的是此一 Web Viewer 元件在 Look 元件初始化完成前必須維持在可視 的狀態 。
- 而當使用 Video 作為資料來源時,因為程式會使用 Web Viewer 來顯示 Video 畫面,因此使用時也必須維持在可視的狀態以便我們對準需要判斷的物體。
在技術上,這個套件的運作方式是將訓練過的辨識用模型下載至手機端,所以使用時不需要網路也可進行辨識,算是終端運算的一種。 這個套件目前並沒有提供修改模型甚至是使用自訂模型的功能,所以僅能辨識預設所提供的物件類別。 幸好目前 aiappinventor2 Look 所提供的模式可辨識 423 種物件,應足以滿足一般所需。 不過使用這種做法,程式需要依賴網路才能進行物件的判斷,因此我們可視實際使用情境選擇較為合適的方式來完成影像識別的功能。 我們利用 Look 元件就可以輕鬆建立物件辨識的功能應用,而在這裡可以看到兩個完整的範例專案。 其中 look_demo_for_image.aia 使用手機內的圖片當作物件判斷的資料來源,而 look_demo_for_video.aia 則以影像當作資料來源。