編輯 | 宋慧

出品 | CSDN 云計(jì)算

AIGC 從年初開始持續(xù)爆火，國(guó)內(nèi)各種大模型紛紛涌現(xiàn)，其中模型參數(shù)輕松突破千億數(shù)量級(jí)。模型中數(shù)據(jù)的形態(tài)、部署也是多種多樣的，龐大數(shù)據(jù)量背后的管理和成本不容小覷。

混合數(shù)據(jù)廠商肯睿 Cloudera 今年相繼發(fā)布了系列的數(shù)據(jù)產(chǎn)品與方案，就是希望為所有 AI 與大模型的用戶降低背后的數(shù)據(jù)成本。詳細(xì)來(lái)說(shuō)，Cloudera 建議用戶重點(diǎn)去提高對(duì)數(shù)據(jù)的可觀測(cè)性設(shè)計(jì)，并優(yōu)化混合云的部署成本。另外對(duì)于 AI 場(chǎng)景的數(shù)據(jù)需求，用戶可以重點(diǎn)關(guān)注湖倉(cāng)一體的混合數(shù)據(jù)部署方式。

提升數(shù)據(jù)可觀測(cè)性，優(yōu)化混合云成本

經(jīng)過十多年的 IT 改造和云化升級(jí)，采用混合云部署的模式正在逐漸普及和成為企業(yè)的重要選擇。對(duì)于混合云場(chǎng)景，Cloudera 總結(jié)了三方面需要數(shù)據(jù)相關(guān)的技術(shù)團(tuán)隊(duì)去重點(diǎn)關(guān)注的工作。首先，在由容器、調(diào)度器、服務(wù)等復(fù)雜系統(tǒng)的混合云場(chǎng)景里，數(shù)據(jù)平臺(tái)的可控和穩(wěn)定性是第一重要的。另外，目前的管理系統(tǒng)對(duì)于云消耗情況和效率的可見性仍有限，所以常常會(huì)導(dǎo)致浪費(fèi)和超支，因此技術(shù)團(tuán)隊(duì)需要重視對(duì)于數(shù)據(jù)底層的資源管理與控制工作。最后，對(duì)于數(shù)據(jù)系統(tǒng)運(yùn)維來(lái)說(shuō)，故障排除麻煩，提供支持的人員需要頻繁地來(lái)回奔波，運(yùn)維人員與平臺(tái)系統(tǒng)的體驗(yàn)也是運(yùn)維效率的重要保證。

因此，Cloudera 針對(duì)以上的重點(diǎn)技術(shù)問題，設(shè)計(jì)了可以覆蓋整個(gè) CDP 平臺(tái)產(chǎn)品的一站式可觀測(cè)性應(yīng)用解決方案 Cloudera Observability。方案從財(cái)務(wù)視角、管理監(jiān)控、性能優(yōu)化、自動(dòng)化分析等等方面去進(jìn)行設(shè)計(jì)。具體功能與設(shè)計(jì)如下：

1、財(cái)務(wù)治理

• 通過成本管理避免超出預(yù)算
• 規(guī)劃前的能力預(yù)測(cè)

2、主動(dòng)系統(tǒng)監(jiān)控

• 關(guān)于基礎(chǔ)設(shè)施、服務(wù)、工作負(fù)載和用戶的歷史分析報(bào)告
• 當(dāng)前系統(tǒng)監(jiān)控和洞察

3、工作負(fù)載優(yōu)化

• 性能調(diào)校建議
• 調(diào)節(jié)規(guī)則主動(dòng)失效和刷新

4、服務(wù)健康監(jiān)控

• 通過連續(xù)服務(wù)監(jiān)控確定瓶頸
• 事件和日志與服務(wù)的關(guān)聯(lián)性

5、自助式分析

• 覆蓋所有能力的自動(dòng)化操作
• 完整的影響分析和可見性

6、更快的問題解決速度

• 隨時(shí)可用的 RCA 和處方更快的支持速度

據(jù)介紹，目前 Cloudera Observability 已經(jīng)支持了 Hive、Impala 和 Spark 等 CDP 的幾個(gè)主要的數(shù)據(jù)引擎，并以 Cloudera 托管的 SaaS 形式提供服務(wù)，接下來(lái) Cloudera Observability 還將推出可本地部署的版本。根據(jù)測(cè)算，采用 Cloudera Observability 之后，數(shù)據(jù)系統(tǒng)的集群利用率可提升 30%以上，SLA 和 SLO 遵守率可提高 43%，RCA 和故障排除速度加快 50 倍，從數(shù)據(jù)的效果可以看到可觀測(cè)性技術(shù)對(duì)于基礎(chǔ)設(shè)施的投資回報(bào)率、收入、運(yùn)營(yíng)開支都有非常顯著的優(yōu)化。

企業(yè)大模型的數(shù)據(jù)困境，Cloudera 湖倉(cāng)一體給出新答案

除了對(duì)于數(shù)據(jù)的可觀測(cè)技術(shù)，對(duì)于 AI 與大模型場(chǎng)景下的數(shù)據(jù)應(yīng)用，數(shù)據(jù)系統(tǒng)也面臨了與以往數(shù)據(jù)分析所不同的全新技術(shù)挑戰(zhàn)，例如企業(yè)內(nèi)部大模型訓(xùn)練所需數(shù)據(jù)的來(lái)源、準(zhǔn)確性、安全性等等。

以大語(yǔ)言模型為例，對(duì)于 Spark、Hive 等系統(tǒng)下數(shù)據(jù)結(jié)構(gòu)與性能等不同需求

詳細(xì)來(lái)說(shuō)：

1、數(shù)據(jù)背景信息缺失

• 未在企業(yè)自身的數(shù)據(jù)上訓(xùn)練
• 企業(yè)客戶背景信息至關(guān)重要

2、數(shù)據(jù)的關(guān)聯(lián)性與準(zhǔn)確性

• 錯(cuò)誤的響應(yīng)會(huì)帶來(lái)嚴(yán)重的后果

3、數(shù)據(jù)的可信與安全

• 針對(duì)意圖而不是功能的新驗(yàn)證理念

4、數(shù)據(jù)風(fēng)險(xiǎn)與合規(guī)

• 授權(quán)、溯源、治理審計(jì)追蹤

Cloudera 已經(jīng)積累了針對(duì)數(shù)據(jù)編織、湖倉(cāng)一體、數(shù)據(jù)網(wǎng)格和未來(lái)數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)要求的混合數(shù)據(jù)平臺(tái)，基于混合云與多云部署，提供數(shù)據(jù)編制編排后，統(tǒng)一提供 AI、BI、機(jī)器學(xué)習(xí)等數(shù)據(jù)分析與應(yīng)用產(chǎn)品。

今年 4 月 Cloudera 客戶大會(huì)上 Cloudera 也重點(diǎn)強(qiáng)調(diào)了 Cloudera 混合數(shù)據(jù)平臺(tái) CDP 對(duì)數(shù)據(jù)科學(xué)與 AI、機(jī)器學(xué)習(xí)的支持。例如 Cloudera Machine Learning(CML)可以為機(jī)器學(xué)習(xí)生命周期提供端到端的工作流程支持，以及覆蓋從數(shù)據(jù)專家到數(shù)據(jù)分析師等各類用戶的協(xié)作式、一體化商業(yè)智能與增強(qiáng)功能。

針對(duì)企業(yè)訓(xùn)練和使用大模型對(duì)于數(shù)據(jù)的需求，Cloudera 也總結(jié)和分享了對(duì)應(yīng)的產(chǎn)品與技術(shù)路線。目前已經(jīng)分別從安全可信、混合數(shù)據(jù)應(yīng)用、可擴(kuò)展的三個(gè)方面提供技術(shù)能力。

具體來(lái)說(shuō)：

1、可信、安全和治理。Cloudera SDX 提供在任何地點(diǎn)的企業(yè)數(shù)據(jù)上創(chuàng)建可信 AI 所需的安全、治理和溯源。

2、混合數(shù)據(jù)應(yīng)用，利用企業(yè)已有數(shù)據(jù)打造企業(yè) AI 應(yīng)用。Cloudera 賦能各個(gè)公有云和私有云上的企業(yè)數(shù)據(jù)，通過與企業(yè)業(yè)務(wù)相關(guān)的背景信息增強(qiáng)企業(yè) AI 技術(shù)能力。

3、增加數(shù)據(jù)可擴(kuò)展性，為 ML/AI 應(yīng)用提供數(shù)據(jù)基礎(chǔ)。Cloudera 在云數(shù)據(jù)管理和分析領(lǐng)域所管理的數(shù)據(jù)超過 2500 萬(wàn) TB，與超大規(guī)模云服務(wù)商不相上下。

數(shù)據(jù)的重要性，在 AI 時(shí)代將愈加突顯。開發(fā)者對(duì)于數(shù)據(jù)的存儲(chǔ)、管理、分析、應(yīng)用將是重要的工作。Cloudera 對(duì)于數(shù)據(jù)系統(tǒng)的設(shè)計(jì)思路與建議，值得開發(fā)者重點(diǎn)關(guān)注，CSDN 將持續(xù)報(bào)道數(shù)據(jù)技術(shù)的進(jìn)展。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-610277.html

到了這里，關(guān)于AIGC 大模型紛紛部署，企業(yè)如何為 AI 數(shù)據(jù)降本增效的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！