產(chǎn)品與課程
“探智”視覺(jué)與語(yǔ)音實(shí)驗箱
配套的實(shí)驗課程：《AI軟件開(kāi)發(fā)基礎》《機器視覺(jué)與人工智能》《機器人人機交互》《具身智能綜合實(shí)踐-智能分揀系統設計》。
對應的競賽：一個(gè)機器人競賽指數榜單大賽的1個(gè)項目。
“探智”是一款面向人工智能專(zhuān)業(yè)及其它涉及Python編程，機器視覺(jué)，自然語(yǔ)言，人工智能，機械臂控制，人機自然交互等課程的工科專(zhuān)業(yè)的實(shí)驗教學(xué)平臺。由嵌入式人工智能處理器與桌面級柔性高精度機械臂、攝像頭、麥克風(fēng)、揚聲器、觸摸交互顯示屏等硬件模塊組成，將機械臂控制，機器視覺(jué)，人工智能，人機交互等技術(shù)結合起來(lái)，圍繞與上述課程教學(xué)大綱中的知識點(diǎn)設計了大量的實(shí)驗，配套不同的調試與開(kāi)發(fā)軟件，以智能分揀為應用場(chǎng)景，助力高校人工智能與機器人相關(guān)專(zhuān)業(yè)的實(shí)驗教學(xué)。
配套的實(shí)驗課程大綱如下
AI軟件開(kāi)發(fā)基礎
|
AI軟件開(kāi)發(fā)基礎（16課時(shí)） |
|||
|---|---|---|---|
|
課次 |
課程名稱(chēng) |
內容 |
課時(shí) |
|
1 |
Linux基礎 |
Linux特點(diǎn)，指令集，權限與用戶(hù)。 |
2 |
|
2 |
Linux進(jìn)程 |
Linux系統進(jìn)程的概念，進(jìn)程管理。 |
2 |
|
3 |
Python初級 |
Python在機器人開(kāi)發(fā)中的作用，Python語(yǔ)言簡(jiǎn)介，Python運算符，數據結構，控制結構等基本語(yǔ)法。 |
2 |
|
4 |
Python進(jìn)階 |
Python文件操作，Python面向對象編程。 |
2 |
|
1 |
Linux串口通信 |
基于Python + Linux系統的串口通信開(kāi)發(fā)。 |
2 |
|
2 |
Linux網(wǎng)絡(luò )通訊 |
基于Python + Linux系統的網(wǎng)絡(luò )通信開(kāi)發(fā)。 |
2 |
|
3 |
Python驅動(dòng)機械臂 |
基于Python，通過(guò)API控制機械臂完成正逆運算與驅動(dòng)。 |
2 |
|
4 |
Python常見(jiàn)庫應用 |
基于Python常見(jiàn)的第三方庫Numpy，Jupyter等熟悉與應用。 |
2 |
機器視覺(jué)與人工智能
|
機器視覺(jué)與人工智能（24課時(shí)） |
|||
|---|---|---|---|
|
課次 |
課程名稱(chēng) |
內容 |
課時(shí) |
|
1 |
圖像基本操作 |
圖像的加載、保存，攝像頭視頻流獲取，WEB視頻流獲取。 |
2 |
|
2 |
圖像基礎 |
圖像描述，像素訪(fǎng)問(wèn)，顏色空間轉換。 |
2 |
|
3 |
圖像處理 |
圖像平滑，圖像銳化，圖像二值化，縮放與旋轉。 |
2 |
|
4 |
特征提取 |
邊緣檢測，角點(diǎn)檢測，輪廓檢測。 |
2 |
|
5 |
特征匹配 |
基于特征/模板的匹配方法。 |
2 |
|
6 |
目標檢測1 |
基于顏色/形狀的目標檢測。 |
2 |
|
7 |
目標檢測2 |
基于Haar特征的人臉檢測。 |
2 |
|
8 |
目標檢測3 |
基于HOG特征的行人檢測。 |
2 |
|
9 |
目標跟蹤 |
基于卡爾曼濾波/光流法的目標跟蹤。 |
2 |
|
10 |
相機標定 |
基于棋盤(pán)格對相機進(jìn)行外參標定。 |
2 |
|
11 |
二維碼檢測 |
使用Apriltag進(jìn)行二維碼的識別和定位。 |
2 |
|
12 |
深度學(xué)習的目標檢測 |
基于PaddlePaddle訓練Yolo模型，并部署在機器人上，進(jìn)行目標檢測與分類(lèi)。 |
2 |
機器人人機交互
|
機器人人機交互（8課時(shí)） |
|||
|---|---|---|---|
|
課次 |
課程名稱(chēng) |
內容 |
課時(shí) |
|
1 |
基于界面的人機交互實(shí)驗 |
基于Pyqt編寫(xiě)圖形界面實(shí)現人機交互。 |
2 |
|
2 |
智能語(yǔ)音人機交互實(shí)驗 |
基于人工智能技術(shù)實(shí)現語(yǔ)音轉文字和文字轉語(yǔ)音，并通過(guò)語(yǔ)音控制不同形態(tài)的機器人運動(dòng)。 |
2 |
|
3 |
基于人臉識別的人機交互 |
基于人工智能技術(shù)實(shí)現人臉識別的人機交互，實(shí)現機器人交互解鎖功能。 |
2 |
|
4 |
基于深度學(xué)習手勢識別的人機交互 |
基于視覺(jué)與人工智能技術(shù)實(shí)現機器人手勢識別的人機交互，可以基于不同的手勢執行不同的動(dòng)作。 |
2 |
具身智能綜合實(shí)踐-智能分揀系統設計
《具身智能綜合實(shí)踐-智能分揀系統設計》是一門(mén)高度貼合人工智能技術(shù)在智能制造行業(yè)應用的綜合實(shí)踐課程，課程特點(diǎn)是聚焦在國產(chǎn)AI芯片上的邊緣計算技術(shù)，在國產(chǎn)嵌入式AI芯片與部署架構下實(shí)現視覺(jué)檢測，并依托桌面四軸機械臂實(shí)現相應的分揀，充分滿(mǎn)足教學(xué)與實(shí)踐的需求。綜合實(shí)踐課程支持32課時(shí)或者1-2周的集中式教學(xué)模式。
|
具身智能綜合實(shí)踐-智能分揀系統設計（32課時(shí)） |
|||
|---|---|---|---|
|
課次 |
課程名稱(chēng) |
內容 |
課時(shí) |
|
1 |
場(chǎng)景導入與任務(wù)分析 |
介紹智能制造行業(yè)應用場(chǎng)景，從行業(yè)應用場(chǎng)景導入視覺(jué)檢測與分揀系統的設計思路及需要的性能參數。熟悉設備的各個(gè)組成部分，啟動(dòng)設備，連接AI控制器系統并運行經(jīng)典案例。 |
2 |
|
2 |
設備開(kāi)發(fā)指導 |
對如何在設備上基于Python編程開(kāi)發(fā)進(jìn)行教學(xué)與實(shí)踐，對機械臂驅動(dòng)進(jìn)行調試。 |
2 |
|
3 |
攝像頭與視覺(jué)系統調試 |
對攝像頭驅動(dòng)進(jìn)行開(kāi)發(fā)，通過(guò)簡(jiǎn)單的Python編程獲取攝像頭數據并進(jìn)行保存等。 |
2 |
|
4 |
神經(jīng)網(wǎng)絡(luò )數據集制作與標注 |
基于攝像頭，對數據進(jìn)行采集和標注。 |
2 |
|
5 |
圖像增強 |
運用常見(jiàn)的數字圖像處理技術(shù)進(jìn)行圖像增強，保證數據集的多樣性。 |
2 |
|
6 |
數據集生成 |
對采集的數據集進(jìn)行分類(lèi)，生成訓練集、驗證集和測試集。 |
2 |
|
7 |
模型訓練 |
使用Pytorch框架，基于Yolo訓練目標模型，并進(jìn)行目標識別。 |
2 |
|
8 |
模型部署 |
了解邊緣計算的概念，完成Pytorch模型到Onnx模型，再到可本地加速推理的Rknn模型的轉換。 |
2 |
|
9 |
邊緣計算推理 |
將轉換后的模型部署在國產(chǎn)AI芯片上，進(jìn)行加速與推理，感受并行運算優(yōu)化加速的優(yōu)勢，體會(huì )芯片國產(chǎn)化的意義。 |
2 |
|
10 |
視覺(jué)模型校準 |
對圖像坐標系和機械臂坐標系進(jìn)行校準，為后續分揀抓取做準備。 |
2 |
|
11 |
視覺(jué)圖像調試 |
實(shí)現基于單目視覺(jué)相機識別要搬運的物體，并使用深度視覺(jué)定位此物體，為抓取提供參考。 |
2 |
|
12 |
語(yǔ)音系統調試 |
基于機載芯片本地加速模型推理，實(shí)現語(yǔ)音轉文字，文字轉語(yǔ)音，通過(guò)語(yǔ)音指令為抓取邏輯提供參考。 |
2 |
|
13 |
整體業(yè)務(wù)邏輯編程開(kāi)發(fā)與調試 |
在機器人上進(jìn)行編程開(kāi)發(fā)，串聯(lián)各個(gè)模塊，并進(jìn)行調試，完成自主搬運任務(wù)。 |
6 |
|
14 |
演示與匯報 |
結合場(chǎng)景任務(wù)進(jìn)行演示與匯報。 |
2 |