大會(huì)介紹

Google 開發(fā)者大會(huì)是 Google 面向開發(fā)者和科技愛好者展示最新產(chǎn)品和平臺(tái)的年度盛會(huì)。2023 Google 開發(fā)者大會(huì) (Google I/O Connect | China) 為開發(fā)者提供豐富的學(xué)習(xí)資源，實(shí)踐操作和現(xiàn)場(chǎng)演示，提供與谷歌專家互動(dòng)、與其他開發(fā)者交流的契機(jī)，助力開發(fā)提效，釋放團(tuán)隊(duì)創(chuàng)造力，簡(jiǎn)化工作流程，以開放式集成解決方案為開發(fā)者效力，共同構(gòu)建創(chuàng)新生態(tài)，開啟美好未來。?

使用 MediaPipe 輕松實(shí)現(xiàn)設(shè)備端機(jī)器學(xué)習(xí)

Media Pipe 和設(shè)備端機(jī)器學(xué)習(xí)

Media Pipe這是一個(gè)用于構(gòu)建和部署跨平臺(tái)設(shè)備端機(jī)器學(xué)習(xí)解決方案的低代碼/無代碼框架。它可以將將機(jī)器學(xué)習(xí)集成到你的移動(dòng)端、Web和物聯(lián)網(wǎng)應(yīng)用程序中。

設(shè)備端機(jī)器學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，它可以在用戶設(shè)備端運(yùn)行，例如智能手機(jī)或網(wǎng)絡(luò)瀏覽器，而無需將用戶數(shù)據(jù)發(fā)送到服務(wù)器處理。?

Media Pipe解決手勢(shì)識(shí)別問題

它將圖像作為輸入并返回圖像中找到的手勢(shì)，如：豎起大拇指。這項(xiàng)任務(wù)實(shí)際上需要將四種不同的機(jī)器學(xué)習(xí)模型連接在一起：

• ①從圖像中檢查手
• ②檢測(cè)手部關(guān)鍵點(diǎn)
• ③創(chuàng)建手勢(shì)的嵌入向量
• ④將這個(gè)嵌入式歸類為豎起大拇指

除此之外還能實(shí)現(xiàn)很多其他的事情。如：如何在GPU上高效運(yùn)行整個(gè)流程或者不熟在不同的平臺(tái)上。

但是MediaPipe將這些復(fù)雜的工作進(jìn)行抽象，提供了一個(gè)流水線可以為你將模型連接在一起，因此咱們無需費(fèi)心協(xié)調(diào)所有這些模型，只需要簡(jiǎn)單的API交互。

MediaPipe目前支持哪些平臺(tái)

目前支持Android、Web和Python，很快也會(huì)推出IOS支持。

MediaPipe Studio

MediaPipe Studio是一款Web應(yīng)用程序，可以直接在瀏覽器中嘗試MediaPipe的所有設(shè)備端機(jī)器學(xué)習(xí)解決方案，對(duì)于手勢(shì)識(shí)別，正在添加雙手手勢(shì)支持，即將落地。MediaPipe Studio還提供了除了手勢(shì)識(shí)別，還有其他有關(guān)于機(jī)器學(xué)習(xí)相關(guān)的解決方案，如：圖像分割、面部識(shí)別、文本和音視頻解決方案等等。

定制解決方案以適用自己的用例

可以使用MediaPipe Model Maker解決這一問題，MediaPipe Model MakerI從構(gòu)建之初就旨在成為一個(gè)用于定制MediaPipe提供的解決方案的本地庫。

以解決手勢(shì)識(shí)別問題為例，步驟如下：

1. 收集一個(gè) 用手作出石頭布和剪刀三種手勢(shì)的訓(xùn)練數(shù)據(jù)集
2. 獲得數(shù)據(jù)集后就可以開始使用Model Maker訓(xùn)練自定義模型來識(shí)別這些手勢(shì)
3. 使用Google Colab的免費(fèi)GPU更快地訓(xùn)練模型
4. 首先你需要導(dǎo)入手勢(shì)識(shí)別器模塊
5. 然后加載石頭剪刀布數(shù)據(jù)集并開始訓(xùn)練自定義模型
6. 可以用模型在訓(xùn)練過程中沒有看過的測(cè)試數(shù)據(jù)集來檢查模型的準(zhǔn)確性
7. 最后你可以使用MediaPipe?Tasks將其導(dǎo)出以部署在設(shè)備上

MediaPipe Studio使我們能在Web瀏覽器中嘗試這些解決方案，以便獲得關(guān)于將設(shè)備端機(jī)器學(xué)習(xí)
集成到應(yīng)用程序中的靈感，其中許多解決方案都可以使用自己的數(shù)據(jù)集進(jìn)行定制 。

AI模型領(lǐng)域的發(fā)展

• 其一是目前發(fā)現(xiàn)一種稱為模型蒸餾的技術(shù)可以用來，將這些通用的大型模型提煉為可以在設(shè)備上運(yùn)行，并專處理一定數(shù)量任務(wù)的較小模型，推出對(duì)圖像中的面孔，進(jìn)行風(fēng)格化的實(shí)驗(yàn)性設(shè)備端解決方案，例如你可以使用它將你的照片轉(zhuǎn)換為卡通風(fēng)格。

• 其二是正在試驗(yàn)的另一個(gè)生成式Al模型，是基于擴(kuò)散的圖像生成模型，MediaPipe為我們提供現(xiàn)成的設(shè)備端機(jī)器學(xué)習(xí)解決方案，可以將其輕松集成到你的移動(dòng)或網(wǎng)絡(luò)應(yīng)用，在部分的Android手機(jī)上已實(shí)現(xiàn)在幾秒鐘內(nèi)從文本提示生成圖像。
• 其三是已能在Android 上部署大語言模型，讓它幫助你用自然語言完成一些任務(wù)，例如總結(jié)一次長(zhǎng)對(duì)話，或根據(jù)給定主題撰寫正式電子郵件，雖然設(shè)備端生成式Al還處于早期階段，但在不久的將來會(huì)越來越好。

小結(jié)

?2023 Google 開發(fā)者大會(huì)給我們展示了許多的技術(shù)，Media Pipe將機(jī)器學(xué)習(xí)復(fù)雜的工作進(jìn)行抽象，提供了一個(gè)流水線可以幫你將模型連接在一起，開發(fā)者可利用該產(chǎn)品套件輕松地將設(shè)備端機(jī)器學(xué)習(xí)解決方案集成到不同平臺(tái)（Android、Web、桌面等）的應(yīng)用中，同時(shí)AI模型已經(jīng)可以初步部署在Android 上，越來越多的AI模型可以在日常生活中幫助到我們。我們還可以使用自己的訓(xùn)練數(shù)據(jù)集輕松自定義部分解決方案，只需幾行代碼即可，在可以在未來我們或許會(huì)實(shí)現(xiàn)“零代碼”！

對(duì)MediaPipe、機(jī)器學(xué)習(xí)或者其他開發(fā)工具感興趣的小伙伴，可以前往CSDN專題頁，觀看 2023 Google 開發(fā)者大會(huì)主旨演講和專題演講的回放視頻，了解更多科技新知、前沿案例。CSDN文章來源地址http://www.zghlxwxcb.cn/news/detail-721822.html

到了這里，關(guān)于2023 Google 開發(fā)者大會(huì) – AI 領(lǐng)域的技術(shù)更新的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！