TYK-FTAI03A型 人工智能物聯(lián)網(wǎng)綜合實(shí)訓(xùn)平臺(tái)
一、產(chǎn)品概述
TYK-FTAI03型 人工智能物聯(lián)網(wǎng)綜合實(shí)訓(xùn)平臺(tái)是一款綜合5G通信、邊緣計(jì)算、視覺(jué)識(shí)別、語(yǔ)音識(shí)別、python應(yīng)用開(kāi)發(fā)的實(shí)驗(yàn)教學(xué)產(chǎn)品。
產(chǎn)品采用高性能AI處理器，內(nèi)嵌機(jī)器視覺(jué)庫(kù)和深度學(xué)習(xí)框架，外圍連接攝像頭、麥克風(fēng)陣列進(jìn)行圖像、語(yǔ)音信號(hào)的采集、分析、識(shí)別、決策；引出處理器接口用于信號(hào)交互，具有無(wú)線傳感網(wǎng)模塊；融合5G移動(dòng)通信，可將圖像、聲音、視頻等多媒體數(shù)據(jù)及結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)推送到云服務(wù)平臺(tái)；提供5G云端接入、視頻流實(shí)時(shí)推送、圖像處理基礎(chǔ)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、語(yǔ)音識(shí)別、數(shù)據(jù)預(yù)測(cè)、以及與物聯(lián)網(wǎng)模塊結(jié)合開(kāi)展綜合應(yīng)用的案例。
二、產(chǎn)品組成
1、邊緣計(jì)算網(wǎng)關(guān)：板載高性能四核64位ARM Cortex-A55處理器，主頻高達(dá)2GHz；內(nèi)存：4G；集成雙核心架構(gòu)GPU，高性能VPU及高性能NPU。GPU支持OpenGL ES3.2/2.0/1.1，Vulkan1.1；VPU可實(shí)現(xiàn)4K 60fps H.265/H.264/VP9視頻解碼和1080p 100fps H.265/H.264/VP9視頻編碼；NPU支持Caffe/Tensorflow等主流架構(gòu)模型的切換。內(nèi)置獨(dú)立的第三代NPU硬件加速器，性能0.8tops，支持Caffe/Tensorflow/pytroch等主流架構(gòu)模型。板載EMMC、M.2插槽（nvme協(xié)議 支持?jǐn)U展ssd固態(tài)硬盤(pán)），1個(gè)MIPI DSI和1個(gè)HDMI接口，支持支持雙屏同顯；具有2個(gè)USB 3.0接口，2個(gè)USB Host接口，1個(gè)千兆以太網(wǎng)接口，1個(gè)Type-C接口，1個(gè)音頻接口；集成wifi，藍(lán)牙，zigbee模塊。
2、攝像頭：支持200萬(wàn)像素，分辨率最大1920*1080，USB接口，無(wú)畸變。輸出格式MJPG，支持YUYV。
3、麥克風(fēng)陣列：遠(yuǎn)距離拾音，聲音播放功能。
4、5G通信模塊，是一款專(zhuān)為 IoT/eMBB 應(yīng)用而設(shè)計(jì)的 5G Sub-6 GHz 工規(guī)級(jí)模塊。采用M.2 封裝，幾乎覆蓋全球所有主流運(yùn)營(yíng)商。集成多星座高精度定位 GNSS（支持 GPS、GLONASS、BeiDou 和Galileo）接收機(jī)，內(nèi)置豐富的網(wǎng)絡(luò)協(xié)議，集成多個(gè)工業(yè)標(biāo)準(zhǔn)接口，并支持多種驅(qū)動(dòng)（如 Windows7/8/8.1/10、Linux、Android 等操作系統(tǒng)下的 USB/PCIe 驅(qū)動(dòng)等）。
5、顯示屏：10寸，HDMI接口
6、其他附件：包含至少32GB的TF卡（最大可支持128G）、揚(yáng)聲器、USB HUB、鍵盤(pán)鼠標(biāo)等。
三、產(chǎn)品功能
1、圖像識(shí)別
2、語(yǔ)音識(shí)別
3、智能綜合應(yīng)用
4、5G聯(lián)網(wǎng)功能
四、教學(xué)資源主要內(nèi)容：
1、第一部分：基于AI智能算法的數(shù)據(jù)分析，可開(kāi)展圖像處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方面的驗(yàn)證性實(shí)驗(yàn)，提供python語(yǔ)言的在線實(shí)驗(yàn)代碼編輯、測(cè)試，提供實(shí)驗(yàn)手冊(cè)；
2、第二部分：通過(guò)5G通訊，實(shí)現(xiàn)圖像數(shù)據(jù)采集傳輸、視頻流推送和其他物聯(lián)網(wǎng)擴(kuò)展應(yīng)用，如執(zhí)行器的控制、多傳感器采集。
|
課程類(lèi)別 |
課程要求 |
||
|
1.5G模塊驅(qū)動(dòng)應(yīng)用
|
課程目標(biāo) |
掌握5G通訊模塊數(shù)據(jù)上云的方法 |
|
|
課程內(nèi)容 |
能夠使用邊緣計(jì)算網(wǎng)關(guān)系統(tǒng)，驅(qū)動(dòng)5G模塊正常工作，可以支持5G數(shù)據(jù)傳輸、視頻流推送、數(shù)據(jù)上云等。 |
||
|
課程實(shí)驗(yàn) |
實(shí)驗(yàn)1 邊緣計(jì)算網(wǎng)關(guān)環(huán)境搭建 實(shí)驗(yàn)2 5G模塊驅(qū)動(dòng)安裝 實(shí)驗(yàn)3 5G模塊入網(wǎng)測(cè)試 實(shí)驗(yàn)4 5G模塊TCP通信 |
實(shí)驗(yàn)5 5G模塊UDP通信 實(shí)驗(yàn)6 MQTT通訊測(cè)試 實(shí)驗(yàn)7 CoAP通訊測(cè)試 實(shí)驗(yàn)8 HTTP云端接入應(yīng)用 實(shí)驗(yàn)9 RTSP視頻流推送 |
|
|
2.數(shù)字圖像處理
|
課程目標(biāo) |
理解圖像處理算法的原理 掌握數(shù)字圖像處理的常用方法 |
|
|
課程內(nèi)容 |
完成圖像處理視覺(jué)庫(kù)的安裝、圖像處理方法調(diào)用。 |
||
|
課程實(shí)驗(yàn) |
實(shí)驗(yàn)1 Opencv視覺(jué)庫(kù)的安裝配置 實(shí)驗(yàn)2 圖像灰度化 實(shí)驗(yàn)3 歸一化 實(shí)驗(yàn)4 二值化 實(shí)驗(yàn)5 圖像濾波：高斯、中值 |
實(shí)驗(yàn)6 邊緣檢測(cè)：Sobel/Canny/hog 實(shí)驗(yàn)7 形態(tài)學(xué) 實(shí)驗(yàn)8 灰度直方圖 實(shí)驗(yàn)9 銳化 實(shí)驗(yàn)10 鈍化 實(shí)驗(yàn)11 圖像增強(qiáng) |
|
|
課程實(shí)訓(xùn)
|
實(shí)驗(yàn)1 顏色識(shí)別 |
了解顏色組成和表示方法； 使用Opencv庫(kù)識(shí)別顏色，并播報(bào)。 |
|
|
實(shí)驗(yàn)2 簡(jiǎn)單圖形形狀識(shí)別 |
了解霍夫變換的原理； 涉及圖像灰度化、歸一化、濾波、邊緣檢測(cè)等知識(shí)點(diǎn)； 使用Opencv庫(kù)識(shí)別圓形、矩形，并播報(bào)。 |
||
|
3.機(jī)器學(xué)習(xí)應(yīng)用
|
課程目標(biāo) |
1.了解機(jī)器學(xué)習(xí)的分類(lèi)：無(wú)監(jiān)督、有監(jiān)督 2.了解數(shù)據(jù)集的原理、作用、存儲(chǔ)格式 3.了解至少一種聚類(lèi)算法如K-Means的原理：歐式距離、余弦距離曼哈頓距離計(jì)算方法； 4.了解至少一種機(jī)器學(xué)習(xí)算法如Adaboost、SVM、決策樹(shù)等的原理：分類(lèi)器的流程； 5.掌握聚類(lèi)算法、分類(lèi)器算法的調(diào)用方法 6.掌握分類(lèi)器的檢測(cè)分類(lèi)效果 7.掌握根據(jù)分類(lèi)效果，進(jìn)行智能控制 8.通過(guò)增減數(shù)據(jù)集，掌握算法訓(xùn)練的全過(guò)程 |
|
|
課程內(nèi)容 |
能夠使用機(jī)器學(xué)習(xí)的算法，實(shí)現(xiàn)聚類(lèi)、分類(lèi)、以及能夠結(jié)合聲、光、電設(shè)備實(shí)現(xiàn)關(guān)聯(lián)控制 |
||
|
課程實(shí)驗(yàn) |
實(shí)驗(yàn)1 鳶尾花聚類(lèi)播報(bào) 實(shí)驗(yàn)2 臉部表情分析顯示 |
實(shí)驗(yàn)3 人臉檢測(cè)實(shí)驗(yàn) 實(shí)驗(yàn)4 人臉裝扮實(shí)驗(yàn) |
|
|
4深度學(xué)習(xí) 應(yīng)用實(shí)驗(yàn)課
|
課程目標(biāo) |
1.了解深度學(xué)習(xí)的定義，與機(jī)器學(xué)習(xí)的區(qū)別 2.了解數(shù)據(jù)集的原理、作用，以及格式 2.了解至少一種深度學(xué)習(xí)算法的理論：如CNN、RNN、BP神經(jīng)網(wǎng)絡(luò) 3.掌握至少一種深度學(xué)習(xí)框架的使用方法：如TensorFlow 4.掌握使用深度學(xué)習(xí)方法實(shí)現(xiàn)識(shí)別的方法 5.掌握根據(jù)識(shí)別結(jié)果，進(jìn)行智能控制，如語(yǔ)音播報(bào)識(shí)別到的數(shù)字，語(yǔ)音播報(bào)識(shí)別到的物體名稱(chēng)，控制聲、光、電執(zhí)行部件。 6.通過(guò)增加數(shù)據(jù)集，掌握算法訓(xùn)練的全過(guò)程。 |
|
|
課程內(nèi)容 |
能夠使用深度學(xué)習(xí)的方法，實(shí)現(xiàn)數(shù)字、物體識(shí)別，使人工智能與物聯(lián)網(wǎng)感控設(shè)備聯(lián)動(dòng) |
||
|
課程實(shí)驗(yàn)
|
實(shí)驗(yàn)1 手寫(xiě)數(shù)字識(shí)別 實(shí)驗(yàn)2 涂鴉猜游戲 |
實(shí)驗(yàn)3 物體識(shí)別 實(shí)驗(yàn)4 垃圾分類(lèi) |
|
|
5 語(yǔ)音識(shí)別實(shí)驗(yàn) |
實(shí)驗(yàn)1 語(yǔ)音識(shí)別翻譯文字 |
實(shí)驗(yàn)2 語(yǔ)音合成及語(yǔ)音播放 |
|
|
6.綜合應(yīng)用 |
實(shí)驗(yàn)1 車(chē)牌識(shí)別自動(dòng)開(kāi)閘 |
實(shí)驗(yàn)2 語(yǔ)音識(shí)別風(fēng)扇控制 |
|
五、配置清單
設(shè)備清單如下表所示。
|
序號(hào) |
類(lèi)別 |
設(shè)備名稱(chēng) |
單位 |
備注 |
|
1 |
結(jié)構(gòu)
|
可移動(dòng)鋁制箱體 |
1 |
|
|
2 |
實(shí)驗(yàn)箱大底板 |
1 |
含電源插口、音量調(diào)節(jié)旋鈕、自鎖開(kāi)關(guān)、DB9口、JTAG燒寫(xiě)口、4個(gè)天線座、RF通信接口等 |
|
|
3 |
USB-HUB |
1 |
|
|
|
4 |
主控
|
邊緣計(jì)算網(wǎng)關(guān) |
1 |
|
|
5 |
14寸觸摸屏 |
1 |
|
|
|
6 |
32GB TF卡 |
1 |
|
|
|
7 |
鍵盤(pán) |
1 |
|
|
|
8 |
通信
|
5G通信模塊 |
1 |
|
|
9 |
5G天線（4根） |
1 |
|
|
|
10 |
ZIGBEE通信模塊 |
1 |
|
|
|
11 |
識(shí)別終端
|
云臺(tái)攝像頭 |
1 |
|
|
12 |
麥克風(fēng)陣列 |
1 |
|
|
|
13 |
左右聲道揚(yáng)聲器 |
1 |
|
|
|
14 |
附件
|
附件盒 |
1 |
|
|
15 |
TF卡讀卡器 |
1 |
|
|
|
16 |
鼠標(biāo) |
1 |
|
|
|
17 |
Type-C USB線纜 |
1 |
|
|
|
18 |
DC12V3A電源適配器 |
1 |
|
|
|
19 |
直連網(wǎng)線 |
1 |
|
|
|
20 |
合格證 |
1 |
|
