DB-SD23  AI人工智能實驗箱

AI人工智能實驗箱：開啟您的AI學習之旅！
2017年，Transformer出現在一篇論文《 Attention Is All You Need》中被引入，并在自然語言處理中得到廣泛應用。
2022年：ChatGPT的橫空出世
2022年11月，OpenAI發布了基于Transformer模型的大型語言模型ChatGPT，引發了全世界的AI浪潮，被《大西洋》雜志評為“年度突破”，并稱其“可能會改變我們對工作方式、思考方式以及人類創造力的真正含義的想法”。
2023年：AI元年，全球競速，勢不可擋！
中國：國務院發布《新一代人工智能發展規劃》，將人工智能列為國家戰略，目標到2030年成為世界領先者。
美國：發布《人工智能國家戰略》，持續加大投入，保持領先優勢。
歐盟：發布《人工智能白皮書》，將人工智能視為歐洲未來經濟增長引擎。
全球：人工智能在醫療、技術、教育、交通、金融、娛樂等領域廣泛應用，帶來前所未有的變革。

AI 的新時代已經降臨，而你，準備好了嗎？
AI人工智能實驗箱專為高校人工智能教學打造的全功能平臺，讓您輕松掌握AI技術，開啟智能時代的大門！
三大核心優勢，助您一路領先：
1. 由淺入深，循序漸進
從基礎的GPIO擴展到深度學習的AI視覺、AI聽覺，上海頂邦AI平臺提供完整的學習路徑，讓您一步步掌握AI知識體系，輕松應對各種挑戰。

2. 軟硬結合，實踐為王
AI人工智能實驗箱將理論與實踐完美結合，豐富的實驗項目讓您在實踐中學習，在應用中鞏固，真正將AI知識融會貫通。


3. 開放靈活，激發創新
開放的GPIO接口和模塊化設計，支持個性化功能開發，讓您將創意變為現實，打造屬于自己的AI項目。


用戶的評價：
1. 來自高校教師的評價：
“課程內容豐富，教學效果杠杠的，學生們都搶著學AI！”
“以前教AI，我頭都大了，各種理論知識，學生們聽得云里霧里。現在有了上海頂邦AI實驗箱，我輕松多了，直接讓學生做實驗，學得賊快！”
2. 來自學生的評價：
“以前我對AI一點都不懂，現在我都能開發自己的AI項目了！”
“課程由淺入深，循序漸進，小白也能輕松上手。老師講得也好，我聽得懂，學得會！”
3. 來自校領導的評價

“AI人工智能實驗箱能夠幫助學生快速掌握AI知識和技能。平臺提供的實驗項目也非常實用，能夠幫助學生將理論知識應用到實踐中?！?br style="padding: 0px; margin: 0px;"/>
“我們相信，借助上海頂邦人工智能實驗箱，我們學校的AI教學水平將不斷提升，學生們也將能夠在未來的AI時代取得更大的成就?！?br style="padding: 0px; margin: 0px;"/>AI人工智能實驗箱不僅是學習AI的最佳工具，更是您通往AI未來的橋梁！

一、AI核心
         

GPU ：128核 NVIDIA Maxwell GPU
CPU ：4核cortex-A57處理器
內存：4 GB LPDDR 25.6 GB/s
算力：472 GFLOP
基于NVIDIA強大的Al計算能力，系統內核是一個小巧卻功能強大的計算機，它可以讓你并行運行多個神經網絡、對象檢測、分割和語音處理等應用程序， 系統搭載四核cortex- A57處理器，128核Maxwell GPU及 4GB LPDDR內存，帶來足夠的Al計算能力，提供472GFLOP算力，并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch、 caffe/caffe2、Keras、MXNET等。

二、系統框架與AI框架
1. 系統預裝ubuntu18.04操作系統，所有環境代碼庫文件均已安裝，開機即用。
Ubuntu 18.04 LTS在云計算領域效率極高，特別適用于機器學習這樣的存儲密集型和計算密集型任務。Ubuntun 長期支持版本可以獲得 Canonical 官方長達五年的技術支持。Ubuntu 18.04 LTS 還將附帶了 Linux Kernel 4.15，其中包含針對 Spectre 和 Meltdown 錯誤的修復程序。


2. 提供詳細的python開源范例程序
根據TIOBE最新排名 ，Python已超越C#，與Java,C,C++一起成為全球前4大最流行語言。國內目前百度指數搜索量已經超越Java，與C++，即將成為國內最受歡迎的開發語言。
Python被廣泛應用于后端開發、游戲開發、網站開發、科學運算、大數據分析、云計算，圖形開發等領域；Python在軟件質量控制、提升開發效率、可移植性、組件集成、豐富庫支持等各個方面均處于先進地位。python具有 簡單、易學、免費、開源、可移植、可擴展、可嵌入、面向對象等優點，它的面向對象甚至比java和C#.net更徹底；

3. JupyterLab編程
JupyterLab是一個基于Web的交互式開發環境，用于Jupyter筆記本、代碼和筆記本、代碼和數據.JupyterLab非常靈活配置和排列用戶界面，以支持數據科學、科學計算和機器學習中廣泛的工作流.JupyterLab是可擴展的和模塊化的編寫插件，添加新組件并與現有組件集成
 

4. 多種AI框架
OpenCV計算機視覺庫，TensorFlow AI框架，Pytorch AI框架等


三、AI人工智能實驗箱特點
? 支持多模態輸入，跨語言編程，優化深度學習模型
? 人體姿態估計，應用于實際場景
? 實時背景移除，基于深度學習，高效實時移除背景
? 目標檢測，多目標檢測能力強

? 語義分割，像素級別的詳細分類，適用于環境感知
? 單目深度，無需特殊相機，利用全卷積網絡，可從單個圖像推斷相對深度，應用廣泛。


? 語音情感識別，采用Mobilenet_v2模型處理語音情感，輕量化、高效

? 六自由度機械臂，智能舵機，ROS控制，適用于AI視覺顏色分揀實驗


? 車牌識別，使用Teseract-OCR 引擎，識別準確率高，使用場景廣泛。

? ROS機器人系統，跨平臺兼容，代碼開源，模塊化設計，通用性強靈活性高。

AI聽覺主板，具備高質量音頻處理和語音服務，搭載Snowboy喚醒詞檢測引擎，可以完成語音情感識別、圖靈機器人、語音對話等實驗。

四、硬件資源

一、硬件資源

功能單元	參數	功能描述
實驗箱	外形尺寸：≥610*440*240mm；	外箱采用鋁木合金材料，四周安裝尼龍防護墊，實驗箱體內部包含存儲空間，可以妥善存放模塊及配件，打開方式為按壓彈出。
AI運算單元	GPU ：128核 NVIDIA Maxwell GPU； CPU ：4核cortex-A57處理器； 內存：4 GB LPDDR 25.6 GB/s； 算力：472 GFLOP； 核心擴展：擁有最少4個USB3.0接口，支持HDMI和DP視頻接口，一路M.2接口的單路PCIE，并安裝有散熱風扇， 40pin GPIO； 網絡：千兆以太網口、無線網卡支持2.4Ghz/5GHZ,支持藍牙4.2；	安裝Ubuntu 18.04 LTS+ROS Melodic操作系統，集成JupyterLab開發環境、Anaconda 4.5.4虛擬環境，支持一系列流行的AI框架和算法，比如TensorFlow、caffe/caffe2、Keras、Pytorch、MXNET 等，系統安裝有OpenCV計算機視覺庫，TensorFlow AI框架，Pytorch AI框架。
機械臂	機械臂自由度：5自由度+夾持器，200g有效負載，臂展350mm； 舵機方案：15Kg*5+6Kg*1智能串行總線舵機； 材質：陽極氧化處理鋁合金；	用于機器人運動學與機器人系統，可以完成夾持積木等動作。
嵌入式核心主板	接口：6個總線舵機接口， PWM舵機接口，i2C接口，除AI核心板外還支持STM32和Raspberry Pi； OLED:顯示CPU占用，顯示內存占用，顯示IP地址等基礎信息； 按鍵：K1+K2鍵+RESET鍵； 1 個RGB燈；	用于支持機械臂動作。
攝像頭	采用USB接口，30萬像素，110度廣角攝像頭，480P分辨率（600*480）	AI視覺實驗，如垃圾分揀等實驗。
AI聽覺單元	音頻芯片：采用SSS1629音頻芯片； 麥克風：板載兩個高質量MEMS硅麥克風； 接口：標準3.5mm耳機接口、雙通道喇叭接口；	采用USB接口設計，免驅動，多系統兼容，可左右聲道錄音，音質更加?？梢酝瓿葾I聽覺類實驗。
傳感器實驗模塊	傳感器實驗模塊將Jetson nano的GPIO接口引出，方便完成GPIO實驗，并且包含以下實驗課程：雙色LED、 繼電器、 輕觸開關按鍵、U 型光電傳感器、模數轉換、PS2 操縱桿、電位器、模擬霍爾傳感器、光敏傳感器、火焰報警、氣體傳感器、觸摸開關、超聲波傳感器距離檢測、旋轉編碼器、紅外避障傳感器、氣壓傳感器、陀螺儀加速度傳感器、循跡傳感器、直流電機風扇模塊、步進電機驅動模塊；	傳感器實驗模塊可以更好的幫助學習者更加快速的入門Jetson nano的GPIO控制，從基礎入手，完成實驗項目。同時引出的GPIO和可移動的模塊也使我們后續的使用和開發更加方便。
顯示屏	10寸顯示屏，HDMI接口，1080P分辨率。	顯示屏傾斜安裝，傾斜角度大于5°。用于操作系統顯示。
鍵盤鼠標	干電池供電，無線藍牙連接。	用于系統控制。

五、AI人工智能課程

AI人工智能實驗箱在設計時，考慮到不同基礎學習者的需求，力求使用更易理解的學習方式傳遞更加詳細的知識。本實驗平臺對各類使用者均有一定的學習幫助，特別是在在校大學生和研究生，能夠幫助學生從初學逐漸過渡到深入學習。也可以幫助他們完成畢業設計或者學術論文。
在人工智能遍地開花的今天，人工智能在 各個領域都發揮了重要的作用，為產品賦能愈來愈稱為各大企業的追求。人工智能早已滲透到計 算機視覺、自動駕駛、自然語言處理、機器人技術、推薦系統、語音識別、航空航天等等領域。
AI人工智能實驗箱的學習主要分為兩個部分，第一部分為人工智能基礎，主要包括：相關數學基礎、編程基礎、機器學習、深度神經網絡、ROS基礎與運動學。第二部分主要為實踐學習包括：GPIO與傳感器、機械臂、AI視覺、AI聽覺、物聯網。完成學習后，可以充分了解到人工智能最主流的相關應用。

 1.相關數學基礎

教學課程	課程內容
矩陣論	標量、向量、矩陣、張量
	矩陣和向量相乘
	單位矩陣和逆矩陣
	線性相關和生成子空間
	范數
	特殊類型的矩陣和向量
	跡運算
	Moore-Penrose偽逆
概率與信息論	隨機變量與概率分布
	離散型變量與概率分布律
	常見的離散型概率分布
	連續型變量和概率密度函數
	常見的連續性概率分布
	聯合概率
	邊緣概率
	條件概率
	獨立性和條件獨立性
	期望、方差和協方差
	信息論

 2.編程基礎

教學課程	課程內容
變量與基本數據類型	變量
	基本數據類型
列表和元組	列表
	元組
字典與集合	字典
	集合
類和對象	面向對象概述
	類的定義和使用
	屬性
	繼承
模塊化程序設計	函數創建和調用
	參數傳遞
深度學習框架簡介	TensorFlow
	PyTorch
	Caffe/caffe2
	PaddlePaddle
Linux開發環境簡介	Ubuntu操作系統
	常用命令行

3.機器學習

教學課程	課程內容
基本概念	訓練集、測試集、驗證集
	過擬合、欠擬合、泛化
	學習率、正則化、交叉驗證
K-近鄰算法	基本概念
	K的選取
	距離的度量
支持向量機	間隔與支持向量
	對偶問題
	核函數
	軟間隔與正則化
K-均值聚類	K-均值聚類
決策樹和隨機森林	決策樹的基本概念
	選擇最佳劃分標準
	隨機森林
神經網絡	神經元模型
	感知器
	多層感知器
	經驗風險和結構風險
	梯度下降和反向傳播
	RBF網絡
	超限學習機
	神經網絡訓練技巧

4.深度神經網絡

教學課程	課程內容
人工智能	人工智能、機器學習與深度學習
深度學習	深度學習的發展歷程
卷積神經網絡	發展歷程
	基本結構
	前饋運算與反向傳播
	相關性質
	卷積神經網絡變種
	常用卷積神經網絡模型
循環神經網絡	循環神經網絡簡介
	長短時記憶網絡神經
	循環神經網絡的變體
生成對抗網絡	生成對抗網絡簡介
	生成對抗網絡基本結構
	生成對抗網絡變種

5.機器運動學與ROS機器人

實驗課程	課程內容
ROS基礎與運動學	ROS基礎課程
	ROS創建工程項目
	自定義消息
	Server通訊
	機械臂URDF模型
	機械臂運動學正反解
	MoveIt配置
	智能串行總線舵機
	PC上位機控制
	機械臂自定義學習動作組
	機械臂關節弧度及末端姿態控制
	機械臂工作區域內抓取、搬運
	6自由度逆運動學控制

6.GPIO、傳感器基礎課程

實驗課程	課程內容
Jetson nano GPIO課程	雙色LED控制
	電位器檢測
	繼電器控制
	輕觸開關按鍵
	PCF8591模數轉換
	PS2操縱桿
	觸摸開關控制
	直流電機風扇
	步進電機驅動
傳感器實驗課程	模擬霍爾傳感器
	模擬溫度傳感器
	火焰報警
	煙霧傳感器
	超聲波傳感器距離檢測
	旋轉編碼器
	紅外避障傳感器
	BMP180氣壓傳感器
	MPU6050陀螺儀加速度傳感器
	循跡傳感器

7.機械臂課程

實驗課程	課程內容
機械臂基礎課程	用戶按鍵控制
	蜂鳴器控制實驗
	OLED控制實驗
	控制單個舵機
	同時控制6個舵機動作
	讀取舵機當前位置
	機械臂關節標定實踐
	機械臂關節弧度及末端姿態控制
	機械臂舞蹈表演
	機械臂搬運色塊實踐
	機械臂搬運碼垛色塊實踐
	機械臂抓取工作區域九點標定
	機械臂抓取工作區域物塊測試

8.AI視覺課程

實驗課程	課程內容
AI視覺開發課程	安裝和使用Matplotlib、Pyplot 和 Numpy
	在OpenCV中運行攝像頭
	JetCam庫中測試USB攝像頭
	OpenCV讀取、寫入和顯示圖像
	OpenCV讀取、顯示和保存視頻
	OpenCV繪圖函數使用
	OpenCV圖像質量和像素操作
	OpenCV圖片剪切
	OpenCV圖片平移
	OpenCV圖片鏡像
	OpenCV仿射變換
	OpenCV圖片縮放
	OpenCV圖片旋轉
	OpenCV圖片處理
	OpenCV灰度處理
	OpenCV圖像美化
	OpenCV邊緣檢測
	OpenCV二值化處理
	OpenCV矩形圓形繪制
	OpenCV文字圖片處理
	OpenCV線段繪制
	OpenCV彩色圖片直方圖
	OpenCV直方圖均衡畫
	OpenCV圖片修補
	OpenCV亮度增強
	OpenCV高斯均值濾波
	OpenCV磨皮美白
	OpenCV中值濾波
AI視覺與機械臂綜合課程	顏色檢測
	臉部和眼睛檢測
	行人檢測
	汽車檢測
	車牌檢測
	目標追蹤
	定位物體實時位置
	攝像頭機械臂物體追蹤
	攝像頭機械臂人臉追蹤
	色塊抓取分揀實驗
	攝像頭ArucoTag識別抓取實驗
	AI人工智能機械臂與主人互動實踐
	AI人工智能機械臂手勢識別抓取指定色塊進行碼垛
	AI人工智能機械臂垃圾分類實踐
嵌入式視覺應用	圖像分類
	物體檢測
	語義分割
	目標檢測
	人體姿態動作識別
	背景移除
	單眼深度圖

 9.AI聽覺課程

實驗課程	課程內容
AI聽覺領域前沿算法	連接時序分類模型
	Attention模型
	基于HMM的語音識別
	Transformer
AI聽覺綜合實戰	AI聽覺領域前沿算法
	在線語音合成
	語音聽寫流式
	圖靈機器人
	AIUI
	VAD端點檢測
	小薇機器人語音對話
	Snowboy語音喚醒
	語音情感識別
	基于 Kaldi 的語音識別實踐