【英飛凌創(chuàng)意創(chuàng)客大賽】基于Infineon和ChatGPT的人工智能語音小管家

概要

本文給大家介紹一個(gè)Infineon和ChatGPT的人工智能語音小管家項(xiàng)目，該項(xiàng)目是博主架構(gòu)師李肯參加由RT-Thread與英飛凌聯(lián)合舉辦的2023英飛凌創(chuàng)意創(chuàng)客大賽的參賽項(xiàng)目，旨在探索智能硬件+智能音箱+ChatGPT的超級(jí)組合在C端市場(chǎng)的潛在應(yīng)用，希望能給大家?guī)韼椭蛦l(fā)。

1 前言

如今，智能化的設(shè)備慢慢走進(jìn)了千家萬戶，大大提升了人民生活的智能化，但是隨之而來的是各種智能設(shè)備無法互聯(lián)互通，形成了一片片信息孤島，這就迫切需要一個(gè)類似于智能家居管家系統(tǒng)的中樞設(shè)備來接管這些零散的智能設(shè)備；而在各種成熟的應(yīng)用產(chǎn)品方案中，形態(tài)各異的智能音箱無疑是一個(gè)比較合適的選擇。

眾觀市場(chǎng)上的各種智能音響，小度音響憑借其優(yōu)異的市場(chǎng)表現(xiàn)，占據(jù)了很大一塊市場(chǎng)份額，使得“小度小度，現(xiàn)在幾度”成為了家庭中很常見的交互問候語。

有這么一個(gè)設(shè)想，我們將家庭環(huán)境中形態(tài)各異的智能設(shè)備，通過簡(jiǎn)單的協(xié)議改造，加上終端設(shè)備出色的主控能力，智能設(shè)備全部集合到小度音箱中去，而這個(gè)終端系統(tǒng)與小度音響直接打通，這樣跟小度直接對(duì)話就能操作這些智能設(shè)備，這是一個(gè)不錯(cuò)的點(diǎn)子。

同時(shí)，當(dāng)下人工智能非?；鸨?，尤其以ChatGPT最為強(qiáng)大，倘若這樣的一套終端系統(tǒng)能夠接入最前沿的ChatgPT，那么可以想象的是，這個(gè)智能系統(tǒng)的可玩性將會(huì)大大提升，而本項(xiàng)目正是基于這樣的目的，著手去探討這樣方案的可行性。

2 項(xiàng)目簡(jiǎn)介

2.1 項(xiàng)目名稱

基于Infineon和ChatGPT的人工智能語音小管家

2.2 設(shè)計(jì)思路

本項(xiàng)目主要使用Infineon的控制芯片作為端側(cè)的核心控制器，實(shí)現(xiàn)一個(gè)物聯(lián)網(wǎng)網(wǎng)關(guān)，網(wǎng)關(guān)外圍接入多種傳感器器件和控制器件，通過Wi-Fi模組實(shí)現(xiàn)與云端的互通，并接入小度音箱控制系統(tǒng)，實(shí)現(xiàn)使用音箱控制智能設(shè)備。

這個(gè)項(xiàng)目中，我將引入試下最流行的人工智能模型ChatGPT，這將極大地提升智能管家的時(shí)髦性和可玩性。本項(xiàng)目著重定義的應(yīng)用場(chǎng)景是在智慧家庭中，一個(gè)有趣的人工智能小管家，不僅能夠給家庭智能帶來便利，還將提升家居生活的智能化和幸福感。解放雙手，釋放人類，享受智能生活，一切都將變得可能。

2.3 主要解決的問題

家庭中的智能設(shè)備越來越多，一個(gè)集中式的智能家庭中樞控制系統(tǒng)迫在眉睫，旨在解決所有智能設(shè)備的調(diào)度和控制問題，為智能生活提供便利。同時(shí)，將智能音箱系統(tǒng)接入最前沿的ChatGPT技術(shù)，豐富設(shè)備的可玩性。

2.4 項(xiàng)目創(chuàng)新點(diǎn)

• 主要是設(shè)備端各項(xiàng)傳感器器件和控制器件的集成，以及與小度音響的直連互通。
• 在智能家居中，目前主流的所謂的“智能”，都是一個(gè)比較粗狂的智能，比如小度、小愛同學(xué)等；真正如果做到引入人工智能這種層次，還得看ChatGPT；如果能講ChatGPT接入智能家庭這個(gè)場(chǎng)景中，那么可玩的的東西，想象力就可大了。

2.5 本次參賽的初衷

采用本項(xiàng)目參賽，本身并不期望作出多么驚艷的產(chǎn)品，旨在探索智能硬件+智能音箱+ChatGPT的超級(jí)組合在C端市場(chǎng)的潛在應(yīng)用，希望能給大家?guī)韼椭蛦l(fā)。

3 系統(tǒng)架構(gòu)介紹

3.1 方案預(yù)研

在過往的項(xiàng)目經(jīng)歷中，我已實(shí)現(xiàn)過 基于小度音箱的智能家庭中樞控制系統(tǒng)，參見 這里; 這個(gè)方案已經(jīng)證實(shí)了，小度音箱作為控制中樞的可行性，現(xiàn)在只不過把控制中樞的邏輯移植過來。

剩下的就是小度音箱與ChatGPT的銜接問題，從查到的資料可知，在 DuerOS開放平臺(tái) (baidu.com) 的開放資料可知，小度音箱支持自定義 技能， 而通過這個(gè)技能，我們可以實(shí)現(xiàn)捕捉到從小度音箱獲取的用戶語音輸入信息，這個(gè)時(shí)候需要利用到 DuerOS SDK 的API能力， 將語音的輸入轉(zhuǎn)換成文本信息，進(jìn)而轉(zhuǎn)發(fā)到了用戶自定義的處理服務(wù)器，再由這個(gè)服務(wù)器將文本信息通過ChatGPT的Open API能力，得到反饋的信息（經(jīng)ChatGPT處理得到的信息），再通過DuerOS SDK的API，通過小度音箱將信息輸出，形成一個(gè)操作閉環(huán)。

同時(shí)，這個(gè)自定義的服務(wù)器還可以將與ChatGPT交互的信息，以MQTT Publish的形式推送到智能終端，達(dá)到保存信息記錄的目的。

在預(yù)研的過程中，有參考一篇博文，給我一定的指導(dǎo)意義，詳見 這里。

經(jīng)過以上分析，得到了方案的可行性，下面開始著手設(shè)計(jì)系統(tǒng)架構(gòu)圖。

3.2 系統(tǒng)核心架構(gòu)圖

經(jīng)過調(diào)研設(shè)計(jì)，得到整個(gè)系統(tǒng)的核心架構(gòu)圖如下所示：

從上面這個(gè)核心架構(gòu)圖中，我們可以看到整個(gè)IoT系統(tǒng)組成，包括智能設(shè)備終端側(cè)、巴法云物聯(lián)網(wǎng)平臺(tái)、小度云平臺(tái)、小度音箱、OpenAI-ChatGPT后臺(tái)，自定義后臺(tái)服務(wù)（負(fù)責(zé)對(duì)接小度云平臺(tái)）等等。下面就整個(gè)系統(tǒng)的幾大重要組件，我會(huì)一一進(jìn)行簡(jiǎn)要講解。

3.3 終端側(cè)

終端側(cè)主要承載的是對(duì)巴法云平臺(tái)的對(duì)接，接收巴法云平臺(tái)下發(fā)的控制指令和ChatGPT交互數(shù)據(jù)，同時(shí)做一些邊緣側(cè)的應(yīng)用邏輯處理，還需要具備對(duì)外網(wǎng)絡(luò)的通訊能力，保持與巴法云平臺(tái)的MQTT長(zhǎng)鏈接。

這里巴法云平臺(tái)推送的數(shù)據(jù)主要有兩類：

• 對(duì)外圍的智能設(shè)備的操作之類，比如關(guān)燈/開燈；
• 還有一類就是小度音箱與ChatGPT的交互記錄數(shù)據(jù)。

終端側(cè)包括的核心組件有：英飛凌的PSoC? 62 with CAPSENSE? evaluation kit，搭載的是國產(chǎn)實(shí)時(shí)操作系統(tǒng) RT-Thread，同時(shí)外設(shè)板載有 ESP8266 Wi-Fi通訊模組、繼電器（GPIO模擬）、存儲(chǔ)的SD卡等等。

終端側(cè)不僅包含設(shè)備硬件，還需要對(duì)應(yīng)的固件軟件，兩者相輔相成，共同完成終端側(cè)的功能邏輯。

3.4 后端側(cè)

后端側(cè)包括兩部分：

巴法云平臺(tái)

這個(gè)后端側(cè)，其實(shí)沒有真正的開發(fā)工作，僅僅是登錄巴法云平臺(tái)后臺(tái)，配置MQTT板塊，然后生成【智能燈】?jī)蓚€(gè)設(shè)備，以便于終端側(cè)和小度音響識(shí)別。

同時(shí)，巴法云的MQTT后臺(tái)，還需要配置一個(gè)專門用于傳輸ChatGPT交互數(shù)據(jù)的topic通道，以便于終端與自定義服務(wù)器進(jìn)行數(shù)據(jù)傳輸。

自定義服務(wù)器

這個(gè)后端側(cè)是有一定的開發(fā)工作量，包括以下幾個(gè)核心內(nèi)容：

• 移植DuerOS SDK，調(diào)用其API，通過小度技能的Callback能力，將從小度音箱輸入的語音轉(zhuǎn)文本信息取得；
• 基于OpenAI 的API KEY 能力，編寫邏輯程序，講文本信息發(fā)往ChatGPT服務(wù)，并獲得ChatGPT的響應(yīng)數(shù)據(jù)；
• 再通過DuerOS SDK 的API，把ChatGPT的響應(yīng)數(shù)據(jù)轉(zhuǎn)為語音，再通過小度音箱播放出來。

值得注意的是，這部分涉及的后端知識(shí)比較多，對(duì)多個(gè)SDK的研究還需要投入更多的時(shí)間和精力。

3.5 移動(dòng)端

這里說的移動(dòng)端，特指小度APP；其實(shí)這里面也沒有開發(fā)工作，當(dāng)你的小度APP賬號(hào)登錄之后，它有一個(gè)操作步驟可以加入基于巴法云平臺(tái)的【智能設(shè)備】，按照說明添加成功后，就可以在小度APP上看到巴法云平臺(tái)對(duì)應(yīng)的設(shè)備列表了。

詳細(xì)的綁定操作步驟，見 此文的第二部分。

4 系統(tǒng)設(shè)計(jì)說明

4.1 硬件部分

• MCU主控：英飛凌的PSoC? 62

Infineon Technologies 的 PSoC 62S2 評(píng)估套件 (CY8CEVAL-062S2) 使客戶能夠使用 PSoC 62 MCU 評(píng)估和開發(fā)應(yīng)用。該套件采用 PSoC 62 MCU (CY8C624ABZI-S2D44)：150 MHz Arm? Cortex?-M4 和 100 MHz Arm Cortex-M0+內(nèi)核、2 MB 閃存、1 MB SRAM、硬件加密加速器、豐富的模擬和數(shù)字外設(shè)、音頻和通信接口，以及采用 CAPSENSE? 技術(shù)的行業(yè)領(lǐng)先電容式感應(yīng)。PSoC 62S2 評(píng)估套件提供了許多開箱即用的用例，用于開發(fā)即將推出的連接邊緣節(jié)點(diǎn)。

它的具體接口資源展示如下：

在我的項(xiàng)目中，我主要使用它的以下幾個(gè)外設(shè)資源：

1）UART6：RT-Thread的終端調(diào)試串口；

2）UART5：用于連接串口WI-Fi模塊ESP8266，實(shí)現(xiàn)網(wǎng)絡(luò)通訊能力；

3）GPIO：P0.0 用作系統(tǒng)工作狀態(tài)顯示燈，P0.1 用于控制智能燈開關(guān)（模擬）；

4）SDIO：外掛SD卡，用于存儲(chǔ)ChatGPT的交互信息。

以下是我的實(shí)物連接示意圖：

• Wi-Fi模組：ESP8266

本次參賽，我采用了我慣用的Wi-Fi通訊模組ESP8266，非常的便捷，借助RT-Thread的軟件包，基本無需編寫任何代碼，就可以實(shí)現(xiàn)網(wǎng)絡(luò)能力；當(dāng)然串口通訊還是需要配置一下，只不過不用謝代碼而已。

我這里使用的搭建ESP8266 Wi-Fi芯片的模組ESP-12F，它是由安信可科技開發(fā)的，該模塊核心處理器 ESP8266 在較小尺寸封裝中集成了 業(yè)界領(lǐng)先的 Tensilica L106 超低功耗 32 位微型 MCU，帶有 16 位精簡(jiǎn)模式，主頻支持 80 MHz 和 160 MHz，支持 RTOS，集成 Wi-Fi MAC/ BB/RF/PA/LNA，板載天線。

• GPIO控制：

目前這一塊的接入，采用的是GPIO做模擬，并沒有實(shí)際接入繼電器，但已經(jīng)完全可以實(shí)現(xiàn)其操作原理。

其中，P0.0 用作系統(tǒng)工作狀態(tài)顯示燈（每一秒閃爍一次），P0.1 用于控制智能燈開關(guān)（模擬）。

如上上圖所示。

4.2 軟件部分

整個(gè)軟件部分的開發(fā)主要分為兩大部分：終端軟件和后端服務(wù)器軟件。

終端固件開發(fā)

主要包括四大部分：英飛凌的PSoC? 62的原廠BSP、RT-Thread實(shí)時(shí)操作系統(tǒng)、ESP8266相關(guān)的配置代碼使能、個(gè)性化的應(yīng)用邏輯代碼。

其中英飛凌的PSoC? 62的原廠BSP基本不動(dòng)，原廠和相關(guān)開發(fā)者已經(jīng)適配好了；通用的RT-Thread操作系統(tǒng)的代碼也不在此處的修改中，直接復(fù)用已有的代碼，這里使用的版本是 5.0.0版本 。

ESP8266相關(guān)的AT、網(wǎng)絡(luò)組件代碼也是現(xiàn)成的，使能配置之后就可以直接用了，還是非常的方便。

除了AT相關(guān)的軟件包代碼外，我還使用了 paho-mqtt 這個(gè)軟件包，這個(gè)軟件包主要封裝了MQTT協(xié)議的實(shí)現(xiàn)技術(shù)細(xì)節(jié)，開放了一些靈活好用的API給到應(yīng)用層，以便于提供MQTT的通訊能力。

還有一個(gè)cJSON的軟件包，這里也使用到了，它用于做一些上下行數(shù)據(jù)包的解析和封裝，主要原因是需要解析一些與云平臺(tái)對(duì)接的數(shù)據(jù)協(xié)議，這就要求終端必須具備解析JSON數(shù)據(jù)的能力。

所以這里重點(diǎn)講一下，應(yīng)用邏輯的代碼：主要包括GPIO的控制等，而這些控制信號(hào)的輸入，都是來源于巴法云平臺(tái)的下發(fā)，而巴法云平臺(tái)的聯(lián)動(dòng)下發(fā)則來源于用戶對(duì)小度音響的語音控制輸入。

另一方面，當(dāng)終端收到來自ChatGPT交互日志的請(qǐng)求數(shù)據(jù)時(shí)，也會(huì)將該數(shù)據(jù)寫入SD卡作為存儲(chǔ)。

以下是終端軟件應(yīng)用邏輯部分的層次圖：

其中：

Wi-Fi線程：由于在RT-Thread中AT組件是開啟后，默認(rèn)就跑起來了，而在應(yīng)用層暫時(shí)沒有一個(gè)比較好的方式感知網(wǎng)絡(luò)能力的建立，所以這里新建了一個(gè)線程，用于實(shí)時(shí)檢查網(wǎng)絡(luò)通訊能力；當(dāng)網(wǎng)絡(luò)通訊能力已建立時(shí)，通過信號(hào)量的方式，通知其他模塊。

Smart Home （+ ChatGPT） MQTT線程：主要負(fù)責(zé)跟巴法云物聯(lián)網(wǎng)平臺(tái)進(jìn)行對(duì)接，采用的MQTT通訊協(xié)議，它的運(yùn)行，依賴于基礎(chǔ)網(wǎng)絡(luò)能力的建立；當(dāng)它與巴法云物聯(lián)網(wǎng)平臺(tái)建立聯(lián)系時(shí)，它就可以接收平臺(tái)的控制指令下發(fā)，比如開關(guān)空調(diào)或開關(guān)照明燈等；

系統(tǒng)運(yùn)行展示線程：此線程并沒有參與過多的應(yīng)用邏輯，僅僅是每一秒鐘閃爍一下運(yùn)行指示燈，表示系統(tǒng)正在運(yùn)行中;

智能燈（模擬）控制模塊：一個(gè)LED模擬繼電器控制智能燈的邏輯，當(dāng)收到下發(fā)的打開或關(guān)閉指令時(shí)，執(zhí)行對(duì)燈的操控；

SD卡存儲(chǔ)顯示：此線程主要用于存儲(chǔ)小度音箱與ChatGPT的交互信息。

以上各個(gè)線程各司其職，相輔相成，共同完成智能家庭中樞控制系統(tǒng)的邏輯功能。

下面展示的是工程項(xiàng)目中的代碼結(jié)構(gòu)，里面的代碼結(jié)構(gòu)一本與上面的代碼邏輯示意圖保持一致。

后端代碼開發(fā)：

由于時(shí)間關(guān)系比較緊張，還未完全學(xué)透DuerOS SDK與小度音箱的銜接，以下是部分參考代碼，還需要進(jìn)一步學(xué)習(xí)：

javascriptCopy code
const sdk = require('baidu-sdk');
const OpenAI = require('openai');

const openai = new OpenAI('<your_api_key>');

sdk.onVoice((data) => {
  const text = data.result.recognize[0].payload.result.word[0];
  openai.generate(text).then((response) => {
    sdk.sendText(response.data[0].text);
  });
});

關(guān)于應(yīng)用OpenAI 的API KEY 構(gòu)建ChatGPT能力，倒不是一個(gè)難事，使用python腳本即可實(shí)現(xiàn)，范例代碼如下：

import openai

#my_gpt_key = "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"
#my_gpt_key = "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"
#my_gpt_key = "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"
#my_gpt_key = "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"
#my_gpt_key = "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"
my_gpt_key = "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"

import time

def ask_gpt(text: str):    
    #openai.api_type = "azure"
    #openai.api_key = "..."
    #openai.api_base = "https://example-endpoint.openai.azure.com"
    #openai.api_version = "2022-12-01"
    openai.api_key = my_gpt_key # "PUT YOUR API KEY HERE"
    # 獲取當(dāng)前時(shí)間
    t1 = int(time.time())
    
    # list engines
    #engines = openai.Engine.list()
    # print the first engine's id
    #print(engines.data[0].id)
    res = openai.Completion.create(
        engine="text-davinci-003", prompt=text, temperature=0.6, max_tokens=2048
    )
    t2 = int(time.time())
    print(t2 - t1)
    return res.choices[0].text
 
def main():
    while True:
        query = input("Ask a question: ")
        res = ask_gpt(query)
        print(f"{res}\n")
 
main()

4.3 創(chuàng)新性的開發(fā)環(huán)境

由于我早期基于RT-Thread做開發(fā)，也是非常依賴于RT-Thread Studio開發(fā)環(huán)境，雖然提供了一些便利，但是礙于它的配置實(shí)在是太慢了，并且非常吃內(nèi)存和吃存儲(chǔ)空間，于是被我啟用了。

也正是由于這些吃癟，我自己經(jīng)過設(shè)計(jì)，延續(xù)了scons+env的構(gòu)建環(huán)境，打造了一套屬于自己的開發(fā)環(huán)境，我取名叫 xiotman。

關(guān)于它的介紹，詳見我的開源項(xiàng)目：xiotman: 一套致力于解決物聯(lián)網(wǎng)終端應(yīng)用多樣化挑戰(zhàn)的軟件架構(gòu)解決方案。 (gitee.com)

借助這個(gè)項(xiàng)目，我很方便就把我本次參賽的項(xiàng)目移植移植進(jìn)來了：

基于scons+env的構(gòu)建編譯，也是非常的絲滑，多線程編程，想想就開心：

在燒錄固件這塊，我沒有使用RT-Studio的下載工具，而是使用了原廠提供的 Cypress Programmer 4.2，燒錄工具用起來還是很爽的，尤其是自帶燒錄器這個(gè)實(shí)用功能，必須點(diǎn)個(gè)贊。

5 項(xiàng)目實(shí)施過程

1）熟悉英飛凌的PSoC? 62的基本開發(fā)資料

這一步主要是熟悉開發(fā)板的基本資源，對(duì)外設(shè)等信息有一定的概念，以便于方便后續(xù)的開發(fā)調(diào)試；同時(shí)，還需要把相關(guān)的一些官方軟件給安裝好，熟練使用配置工具和下載工具。

參加大賽主辦發(fā)舉行的一些線上直播活動(dòng)，了解必要的開發(fā)基礎(chǔ)。

磨刀不誤砍柴工，只要熟練上手了，才能開發(fā)出優(yōu)秀的應(yīng)用程序。

2）移植RT-Thread操作系統(tǒng)

本次參賽，其實(shí)并不要求去移植RT-Thread，其實(shí)也要多感謝RT-Thread官方和社區(qū)的小伙伴，其實(shí)他們都已經(jīng)做好了基本的移植了，只需要對(duì)照著自己的開發(fā)板資源跳調(diào)整一下即可。

有了上面的踩坑經(jīng)驗(yàn)，直接上手RT-Thread的DEMO教程，很快就可以把操作系統(tǒng)跑起來了，一切都回歸到熟悉的地方，研發(fā)進(jìn)度再次提速。

下面就是基于RT-Thread操作系統(tǒng)進(jìn)行編程了。

3）配置RT-Thread的軟件包

目前由于xiotman的在線更新軟件包的功能還沒完全打通，所以我是通過在原生rt-thread/bsp目錄，使用env配置工具先把軟件包下載下來，然后手動(dòng)拷貝到xiotman的components/packages/對(duì)應(yīng)的目錄。

這個(gè)項(xiàng)目中，我使用了paho-matt軟件包、AT-device軟件包、CJSON軟件包；的確讓我的項(xiàng)目開發(fā)提速了不少。

4）配置巴法云物聯(lián)網(wǎng)平臺(tái)

我是參考這個(gè) esp8266接入小度語音，小度音箱控制 來創(chuàng)建自己的自定義產(chǎn)品的，并實(shí)現(xiàn)與小度音箱的綁定的。

基本上以上4步完成后，終端就可以很順利地連上巴法云物聯(lián)網(wǎng)平臺(tái)了，而這期間基本就是零代碼，全部都?xì)w功于RT-Thread靈活的代碼配置工具，非常地贊。

5）調(diào)試外設(shè)驅(qū)動(dòng)

這里主要是調(diào)試各種驅(qū)動(dòng)接口，包括紅外發(fā)射器的UART接口、照明燈開關(guān)的GPIO控制。

在調(diào)試過程中，一般一個(gè)個(gè)模塊來，避免模塊直接的干擾，這樣可以有效地加快開發(fā)速度。

等到各個(gè)功能模塊完成后，統(tǒng)一串起來跑一跑，確保沒有問題。

6）全功能自測(cè)

到了這一步，基本功能開發(fā)就已經(jīng)完成了，需要將終端設(shè)備的功能與云端能力聯(lián)系起來調(diào)試，比如對(duì)小度音箱進(jìn)行控制語音輸入，看一下巴法云平臺(tái)能否推送對(duì)應(yīng)的控制消息下來，同時(shí)看下終端能否對(duì)控制消息進(jìn)行合理的處理，比如控制空調(diào)開關(guān)或者控制照明開關(guān)等。

但是由于對(duì)接ChatGPT的后端服務(wù)器程序還未完工，所以涉及ChatGPT部分的邏輯，還需要再等一等，是一個(gè)遺憾。

7）準(zhǔn)備結(jié)項(xiàng)資料

項(xiàng)目收尾的最后，需要準(zhǔn)備各種結(jié)項(xiàng)資料，包括項(xiàng)目穩(wěn)定、演示視頻、各種實(shí)物圖片等等。

6 項(xiàng)目效果顯示

6.1 功能描述

本期項(xiàng)目中，已實(shí)現(xiàn)以下功能：

• 在巴法云后臺(tái)配置智能設(shè)備：智能空調(diào)和智能燈，在小度APP是可以看到設(shè)備情況；
• 基于英飛凌的PSoC? 62的終端，實(shí)現(xiàn)智能家庭中樞控制系統(tǒng)的功能；
• 跟小度音響語音對(duì)話，比如【打開燈】或【關(guān)閉燈】，即可實(shí)現(xiàn)控制指令下發(fā)，終端通過GPIO控制LED（模擬真實(shí)場(chǎng)景的智能燈）
• 打通本地空調(diào)狀態(tài)和智能燈狀態(tài)與巴法云、小度平臺(tái)的聯(lián)系，實(shí)現(xiàn)實(shí)時(shí)控制聯(lián)動(dòng)。

還未實(shí)現(xiàn)的功能：

• 打通小度音箱與自定義后端服務(wù)器，完成語音輸入的提取和轉(zhuǎn)發(fā)
• 對(duì)接OpenAI，基于API KEY 實(shí)現(xiàn)ChatGPT的功能。

6.2 圖片展示

以下是項(xiàng)目的部分圖片展示：

• 項(xiàng)目應(yīng)用啟動(dòng)/調(diào)試log

• 小度APP使用界面

• 通過巴法云添加的智能設(shè)備在小度APP的展示

6.3 視頻展示

B站視頻（演示小度音箱的智能控制）：【英飛凌創(chuàng)意創(chuàng)客大賽】基于Infineon和ChatGPT的人工智能語音小管家】

因時(shí)間關(guān)系，基于ChatGPT的智能邏輯還沒完全實(shí)現(xiàn)，演示視頻待下次補(bǔ)充。。。

6.4 代碼開源

本參賽項(xiàng)目的源代碼已全面開源在 這里

其中應(yīng)用部分的代碼在 https://gitee.com/recan-li/xiotman/tree/master/apps/app_baidu_chatgpt

有關(guān)項(xiàng)目源代碼的事情，也可與我討論。

7 項(xiàng)目復(fù)盤

項(xiàng)目還有一部分功能未實(shí)現(xiàn)，小小總結(jié)一下這次項(xiàng)目：

• DDL無效論：時(shí)間不夠用，下次別留這么少的時(shí)間了；
• 百度開發(fā)者賬號(hào)是需要認(rèn)證的，需要幾天的時(shí)間審核，容易耽誤事兒；
• 英飛凌的PSoC? 62 很好用，搭配的開發(fā)工具、下載工具非常棒，能夠讓人快速上手；
• xiotman第一次用于參加業(yè)余比賽，感覺使用起來還是比較清爽的，后面慢慢會(huì)都轉(zhuǎn)到它來開發(fā)更多的項(xiàng)目。

8 致謝

感謝本次大賽的主辦方RT-Thread和英飛凌，為廣大開發(fā)者提供福利的同時(shí)，也帶來了業(yè)內(nèi)前沿的開發(fā)技術(shù)，是我們學(xué)習(xí)和提高的一個(gè)好平臺(tái)，期待下次繼續(xù)參與這樣的比賽。

至于，比賽結(jié)果怎么樣，倒是其次，參與過，學(xué)習(xí)過，提高過，差不多就可以了。

9 項(xiàng)目的TODOLIST

• DuerOS SDK的深度研究，爭(zhēng)取玩透小度音箱及百度的AI相關(guān)應(yīng)用；
• 基于ChatGPT的API KEY 熟練部署ChatGPT的應(yīng)用，打通智能音箱與ChatGPT的溝通渠道；
• 演示視頻，待補(bǔ)充。

10 參考鏈接

• RT-Thread x Infineon創(chuàng)意創(chuàng)客大賽
• DuerOS開放平臺(tái) (baidu.com)
• 把 chatGPT 接入小度 - 掘金 (juejin.cn)
• xiotman: 一套致力于解決物聯(lián)網(wǎng)終端應(yīng)用多樣化挑戰(zhàn)的軟件架構(gòu)解決方案。 (gitee.com)
• esp8266接入小度語音，小度音箱控制，附開源app控制
• 巴法云接入文檔
• 巴法云開發(fā)者論壇

11 更多分享

本次項(xiàng)目介紹后，我還繼續(xù)探索RT-Thread在各種嵌入式平臺(tái)開發(fā)的可能性，并以此來要求自己輸出各種關(guān)于RT-Thread、嵌入式、物聯(lián)網(wǎng)等等熱門技術(shù)話題的原創(chuàng)內(nèi)容，歡迎大家持續(xù)關(guān)注我。

我是 架構(gòu)師李肯 （全網(wǎng)同名），2022年電子發(fā)燒友論壇優(yōu)秀開發(fā)者、2022年RT-Thread技術(shù)社區(qū)優(yōu)秀布道者、CSDN博客專家，歡迎大家來交流。

12 文末福利

在正式發(fā)起福利活動(dòng)介紹之前，我強(qiáng)烈給大家推薦一本安全技術(shù)領(lǐng)域的暢銷書：《網(wǎng)絡(luò)安全應(yīng)急管理與技術(shù)實(shí)踐》
?

本書圍繞應(yīng)急響應(yīng)的具體流程與實(shí)踐操作，帶領(lǐng)讀者深入淺出地了解與掌握應(yīng)急處置工作，讓讀者從企業(yè)的具體需求與實(shí)踐出發(fā)，為開展應(yīng)急防護(hù)工作打下堅(jiān)實(shí)的基礎(chǔ)。
本書共分為 3 篇。第 1 篇（第 1～4 章）從網(wǎng)絡(luò)安全應(yīng)急響應(yīng)的基本理論出發(fā)，讓應(yīng)急人員了解國家相關(guān)法律法規(guī)，使一切應(yīng)急行為依法而動(dòng)。
第2 篇（第 5～10 章）以網(wǎng)絡(luò)安全應(yīng)急技術(shù)與實(shí)踐為主，沿著黑客的入侵路線，詳細(xì)講解了黑客主要的入侵方法與攻擊手段，同時(shí)，我們也從安全管理員角度出發(fā)，詳細(xì)講解了如何分析入侵痕跡、檢查系統(tǒng)薄弱點(diǎn)、預(yù)防黑客入侵， 重點(diǎn)突出如何開展應(yīng)急自查與應(yīng)急響應(yīng)演練。
3 篇（第 11～13 章）從網(wǎng)絡(luò)安全應(yīng)急響應(yīng)體系建設(shè)出發(fā)，闡述應(yīng)急響應(yīng)體系建立、應(yīng)急預(yù)案的編寫與演練以及 PCERF 應(yīng)急響應(yīng)方法，其中包含大量企業(yè)實(shí)踐內(nèi)容，引用了大量企業(yè)應(yīng)急響應(yīng)體系建設(shè)的實(shí)際案例，幫助讀者了解如何建立有效且符合法律法規(guī)的網(wǎng)絡(luò)安全應(yīng)急響應(yīng)體系。
本書作為信息安全保障人員認(rèn)證（Certified Information Security Assurance Worker，CISAW）應(yīng)急管理與服務(wù)認(rèn)證培訓(xùn)考試指定教材。

值得特別注意的是：本書作為信息安全保障人員認(rèn)證應(yīng)急管理與服務(wù)認(rèn)證培訓(xùn)考試指定教材。

如果等不及的朋友，可以上京東官網(wǎng)下單購買吧！購買鏈接：https://item.jd.com/13932136.html
?

??

為了感謝廣大粉絲的熱心支持，特開展新一期福利送書活動(dòng)，活動(dòng)詳情 戳這里 ，大家快快來我的社區(qū)玩吧！

???
文章來源地址http://www.zghlxwxcb.cn/news/detail-575304.html

到了這里，關(guān)于【文末福利】我用英飛凌的PSoC? 62搞了點(diǎn)智能家居的創(chuàng)意的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！