?汽車(chē)產(chǎn)業(yè)作為國(guó)民經(jīng)濟(jì)支柱產(chǎn)業(yè)之一，其在國(guó)民經(jīng)濟(jì)戰(zhàn)略性支柱產(chǎn)業(yè)的地位是不可撼動(dòng)的。在《“十四五”交通領(lǐng)域科技創(chuàng)新規(guī)劃》中也提出，到 2025 年實(shí)現(xiàn)關(guān)鍵技術(shù)研發(fā)應(yīng)用取得新突破，科技創(chuàng)新能力全面增強(qiáng)，創(chuàng)新環(huán)境明顯優(yōu)化三大總體目標(biāo)。其中，明確了在運(yùn)輸服務(wù)領(lǐng)域，自動(dòng)駕駛、智能航運(yùn)、機(jī)場(chǎng)智能運(yùn)行管控等技術(shù)在部分場(chǎng)景得到示范應(yīng)用。

可見(jiàn)，智能化技術(shù)正悄然走進(jìn)人們生活，自動(dòng)駕駛也逐漸從 L1-L2 階段，開(kāi)始向 L3-L4 級(jí)別發(fā)展，眾多整車(chē)廠和自動(dòng)化駕駛算法系統(tǒng)開(kāi)發(fā)廠商正在積極探索，力求占領(lǐng)行業(yè)第一位，拿到自動(dòng)駕駛這把汽車(chē)未來(lái)市場(chǎng)寶藏的鑰匙。

當(dāng)前，在整體汽車(chē)自動(dòng)化駕駛行業(yè)中，核心競(jìng)爭(zhēng)力已經(jīng)從車(chē)輛硬件轉(zhuǎn)向自動(dòng)駕駛決策“AI 大腦”。AI 訓(xùn)練只有在不斷迭代更新的過(guò)程中，才能逐漸增長(zhǎng)“見(jiàn)多識(shí)廣”的能力，做出準(zhǔn)確的判斷。其中，提升 AI 自動(dòng)駕駛算法迭代能力，可謂是各家廠商競(jìng)爭(zhēng)對(duì)抗的關(guān)鍵能力。

實(shí)際上，影響 AI 迭代的核心關(guān)鍵主要是，算法設(shè)計(jì)和海量的數(shù)據(jù)。

海量有特征的訓(xùn)練數(shù)據(jù)是讓 AI 具備認(rèn)識(shí)世界的重要環(huán)節(jié)，從路測(cè)數(shù)據(jù)采集到數(shù)據(jù)中心的數(shù)據(jù)預(yù)處理、特征數(shù)據(jù)管理、訓(xùn)練、數(shù)據(jù)歸檔等一系列過(guò)程都需要高效銜接運(yùn)行，只要其中一個(gè)環(huán)節(jié)不通暢，或者效率低就會(huì)導(dǎo)致整體業(yè)務(wù)效率下降。因此，AI 算法的競(jìng)爭(zhēng)背后是 AI 算法內(nèi)的海量數(shù)據(jù)競(jìng)爭(zhēng)，如何完善數(shù)據(jù)流管理成為了自動(dòng)化駕駛迭代的關(guān)鍵。

自動(dòng)化駕駛業(yè)務(wù)流程圖

在自動(dòng)駕駛的發(fā)展過(guò)程中，數(shù)據(jù)正向著更復(fù)雜的方向發(fā)展，總結(jié)近幾年的數(shù)據(jù)模式，可以發(fā)現(xiàn)數(shù)據(jù)具備以下特征：

數(shù)據(jù)多樣性

根據(jù)不同自動(dòng)駕駛級(jí)別，數(shù)據(jù)產(chǎn)生的來(lái)源不同。數(shù)據(jù)類(lèi)別不僅包括了汽車(chē)基礎(chǔ)數(shù)據(jù)，還包括基礎(chǔ)設(shè)施、交通數(shù)據(jù)、地理信息數(shù)據(jù)，以及車(chē)主的大量用戶身份類(lèi)數(shù)據(jù)、用戶狀態(tài)數(shù)據(jù)、行為類(lèi)數(shù)據(jù)等。

數(shù)據(jù)規(guī)模大

自動(dòng)駕駛車(chē)輛作為跨產(chǎn)業(yè)技術(shù)的融合載體，融合了來(lái)自汽車(chē)、道路、天氣、用戶、智能計(jì)算系統(tǒng)等多方面的海量數(shù)據(jù)，涉及數(shù)據(jù)類(lèi)型多，需要統(tǒng)計(jì)分析的數(shù)據(jù)總量大。

數(shù)據(jù)非結(jié)構(gòu)性

數(shù)據(jù)多樣性決定了不同來(lái)源的數(shù)據(jù)格式不同，數(shù)據(jù)的非結(jié)構(gòu)性和非標(biāo)準(zhǔn)性對(duì)數(shù)據(jù)聚合或拆分技術(shù)，以及權(quán)限管理和安全存儲(chǔ)都帶來(lái)了巨大的挑戰(zhàn)。

數(shù)據(jù)流動(dòng)性

大量自動(dòng)駕駛數(shù)據(jù)在用戶端、車(chē)端、云端等多場(chǎng)景的交互，使得數(shù)據(jù)的流動(dòng)性增大。

以上是自動(dòng)化駕駛行業(yè)的業(yè)務(wù)數(shù)據(jù)特點(diǎn)，為進(jìn)一步說(shuō)明這些已知的特征，我們將以一家全球無(wú)人駕駛科技公司的解決方案為例，幫助大家了解焱融科技是如何構(gòu)建該公司 IT 基礎(chǔ)平臺(tái)支撐其業(yè)務(wù)發(fā)展。

割裂式存儲(chǔ)難處理

該全球無(wú)人駕駛科技公司是一家專(zhuān)注于 L4 級(jí)別無(wú)人駕駛卡車(chē)技術(shù)研發(fā)與應(yīng)用的人工智能企業(yè)，具備感知、定位、決策、控制等無(wú)人駕駛核心功能，能夠?qū)崿F(xiàn)貨運(yùn)卡車(chē)在干線物流場(chǎng)景和半封閉樞紐場(chǎng)景下的全無(wú)人駕駛。

在該公司的整體業(yè)務(wù)流程中，包含數(shù)據(jù)預(yù)處理、特征數(shù)據(jù)管理、訓(xùn)練、歸檔等多個(gè)環(huán)節(jié)，原始數(shù)據(jù)需要經(jīng)過(guò)眾多環(huán)節(jié)處理，才能成為業(yè)務(wù)要求的特征化數(shù)據(jù)。在使用 YRCloudFile 之前，該公司管理數(shù)據(jù)的方式是采用割裂式的方式，比如：

• 數(shù)據(jù)預(yù)處理，使用大容量存儲(chǔ)

• 特征數(shù)據(jù)管理，使用高性能存儲(chǔ)

• 訓(xùn)練階段，使用高性能存儲(chǔ)

• 歸檔階段，使用大容量存儲(chǔ)

如此頻繁更改數(shù)據(jù)存儲(chǔ)方式是因?yàn)檎w業(yè)務(wù)亟需應(yīng)對(duì)性能和成本的要求。但割裂的數(shù)據(jù)存儲(chǔ)管理方式極易產(chǎn)生數(shù)據(jù)流程的直接成本、時(shí)間成本、運(yùn)維壓力，同時(shí)還會(huì)涉及到本地?cái)?shù)據(jù)和算力配合，云端數(shù)據(jù)和算力配合的跨云需求等等，而這些成本、壓力和需求最終會(huì)直接影響產(chǎn)品和業(yè)務(wù)的發(fā)展效率。

焱融科技支持“跨云多源數(shù)據(jù)管理”

焱融科技充分了解到該公司全業(yè)務(wù)流程存儲(chǔ)管理的痛點(diǎn)以后，根據(jù)自身在行業(yè)多年的AI 自動(dòng)化駕駛領(lǐng)域存儲(chǔ)經(jīng)驗(yàn)，提出了“混合云存儲(chǔ)”解決方案。通過(guò)路測(cè)取回的原始數(shù)據(jù)作為共享母版的方式，搭建本地到云端的跨云架構(gòu)方案，將原先數(shù)據(jù)流向“大容量存儲(chǔ)-高性能存儲(chǔ)-大容量存儲(chǔ)”的拷貝方式，通過(guò) YRCloudFile DataLoad 技術(shù)實(shí)現(xiàn)統(tǒng)一管理，按照業(yè)務(wù)發(fā)展需要按需流轉(zhuǎn)，自動(dòng)化管理，徹底摒棄傳統(tǒng)人工或者腳本管理運(yùn)維的原始方式。

YRCloudFile 通過(guò)將數(shù)據(jù)預(yù)處理、特征數(shù)據(jù)管理、訓(xùn)練、歸檔業(yè)務(wù)環(huán)節(jié)串聯(lián)起來(lái)，達(dá)到了真正意義上的流管理方式，使得數(shù)據(jù)隨業(yè)務(wù)在系統(tǒng)內(nèi)部流動(dòng)，單階段性能比傳統(tǒng)架構(gòu)提升 7 倍左右，實(shí)現(xiàn)在數(shù)據(jù)預(yù)處理階段，計(jì)算集群通過(guò)向低成本的對(duì)象存儲(chǔ)讀取數(shù)據(jù)進(jìn)行業(yè)務(wù)開(kāi)展，讀取后通過(guò)文件層加速，實(shí)現(xiàn)后續(xù)工作。

YRCloudFile 跨云多源整合業(yè)務(wù)流程圖

在數(shù)據(jù)預(yù)處理階段，原始數(shù)據(jù)經(jīng)過(guò)低成本低性能的傳統(tǒng)存儲(chǔ)到達(dá)數(shù)據(jù)預(yù)處理計(jì)算集群，隨著業(yè)務(wù)訪問(wèn)存儲(chǔ)的并發(fā)量在不斷上升，從幾個(gè)到幾十個(gè)，持續(xù)時(shí)長(zhǎng)隨業(yè)務(wù)變化，這就給存儲(chǔ)帶來(lái)了較大壓力，因?yàn)槊總€(gè)數(shù)據(jù)預(yù)處理的帶寬都比較大，而且是大文件和小文件混合模式，所以對(duì)于底層存儲(chǔ)的性能是一個(gè)考驗(yàn)。

性能監(jiān)測(cè)傳統(tǒng)存儲(chǔ)支撐性能最大約為3GB/s，數(shù)據(jù)預(yù)處理環(huán)節(jié)使存儲(chǔ)性能問(wèn)題成為業(yè)務(wù)發(fā)展的第一個(gè)短板，亟需解決。

在使用 YRCloudFile 作為文件層，向下對(duì)接對(duì)象層后，開(kāi)啟 YRCloudFile DataLoad 功能，同樣在數(shù)據(jù)預(yù)處理環(huán)節(jié)中，性能監(jiān)測(cè)反饋可滿載運(yùn)行 60 個(gè)數(shù)據(jù)預(yù)處理任務(wù)，20GB/s 的帶寬量，前端計(jì)算帶寬基本打滿，此時(shí)相較于傳統(tǒng)存儲(chǔ)，采用 YRCloudFile DataLoad 后性能提升 7 倍左右。而大量素材是通過(guò) YRCloudFile DataLoad 進(jìn)行了多源整合和加速，并未改變?cè)紨?shù)據(jù)的存儲(chǔ)方式，從性能和成本、管理都得到了很好的平衡，關(guān)鍵實(shí)現(xiàn)了業(yè)務(wù)效率的極大提升。

數(shù)據(jù)預(yù)處理業(yè)務(wù)并發(fā)對(duì)比圖

另外，數(shù)據(jù)在進(jìn)入預(yù)處理存儲(chǔ)后，就開(kāi)始了由 YRCloudFile 統(tǒng)一命名管理，實(shí)現(xiàn)了數(shù)據(jù)隨業(yè)務(wù)發(fā)展流動(dòng)，除了能讓上文提到的數(shù)據(jù)預(yù)處理環(huán)節(jié)實(shí)現(xiàn)降本增效，還可以幫助后續(xù)環(huán)節(jié)中的多個(gè)業(yè)務(wù)環(huán)節(jié)利用 YRCloudFile DataLoad 技術(shù)功能來(lái)提升性能。

例如在生產(chǎn)環(huán)節(jié)，相比全量提取對(duì)比數(shù)據(jù)的辦法，YRCloudFile 采用 DataLoad 技術(shù)，可以按需讀取生產(chǎn)數(shù)據(jù)對(duì)比數(shù)據(jù)進(jìn)行測(cè)試，從整體時(shí)效性上，具備秒級(jí)響應(yīng)特征，對(duì)比傳統(tǒng)全量拷貝方式，業(yè)務(wù)效率提升巨大。

在幫助客戶實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)多源整合的同時(shí)，YRCloudFile 還通過(guò)分層技術(shù)功能讓客戶落地了本地到云端的同步雙活方案，達(dá)成了業(yè)務(wù)連續(xù)性的要求，并最大化降低 TCO。具體架構(gòu)如下：

YRCloudFile 分層雙活業(yè)務(wù)架構(gòu)

在本地算力端部署 YRCloudFile，滿足業(yè)務(wù)加速要求的同時(shí)，向下開(kāi)啟對(duì)象接口，通過(guò) YRCloudFile 全生命周期管理策略，按照周期管理將冷熱數(shù)據(jù)分開(kāi)，冷數(shù)據(jù)自動(dòng)下刷至對(duì)象存儲(chǔ)，熱數(shù)據(jù)在 YRCloudFile 的文件層，保障性能穩(wěn)定和平衡成本支出。在業(yè)務(wù)調(diào)取冷數(shù)據(jù)時(shí)，可以通過(guò)透明調(diào)取的方式，按照 YRCloudFile 統(tǒng)一命名空間管理。

在此基礎(chǔ)上，YRCloudFile 對(duì)接云上對(duì)象存儲(chǔ)，將按照數(shù)據(jù)生命周期管理的策略，把本地下刷至對(duì)象存儲(chǔ)的數(shù)據(jù)同步上傳到云上對(duì)象存儲(chǔ)，實(shí)現(xiàn)本地和云端對(duì)象存儲(chǔ)數(shù)據(jù)同步。如若業(yè)務(wù)需要讀取冷數(shù)據(jù)時(shí)，YRCloudFile 會(huì)根據(jù)讀取指令將優(yōu)先讀取本地存儲(chǔ)目標(biāo)數(shù)據(jù)和切片返回給業(yè)務(wù)端，采用云端不讀取的方式，節(jié)約數(shù)據(jù)成本。當(dāng)本地對(duì)象故障時(shí)，冷數(shù)據(jù)同步在云端，那么 YRCloudFile 會(huì)檢測(cè)數(shù)據(jù)位置，讀取云端數(shù)據(jù)和切片返回給計(jì)算。以此來(lái)整體保障業(yè)務(wù)連續(xù)性，避免因網(wǎng)絡(luò)、站點(diǎn)等產(chǎn)生的故障問(wèn)題。

通過(guò) YRCloudFile DataLoad 技術(shù)和多級(jí)分層技術(shù)，該公司的存儲(chǔ)成本直接下降 300% 且性能提升 500%以上，實(shí)現(xiàn)在全業(yè)務(wù)流程中，數(shù)據(jù)存儲(chǔ)的管理對(duì)于業(yè)務(wù)是完全透明的。這也意味著，無(wú)論數(shù)據(jù)如何變動(dòng)，業(yè)務(wù)端都無(wú)需“操心”。包括歸檔以后，也是由 YRCloudFile 全生命周期統(tǒng)一管理，達(dá)到“跨云多源數(shù)據(jù)管理”能力。

該公司在采用高性能分布式文件存儲(chǔ) YRCloudFile 的方案后，打破了傳統(tǒng)存儲(chǔ)的壁壘，全面提升了數(shù)據(jù)整合能力，并在業(yè)務(wù)實(shí)際使用過(guò)程中，配合完善的運(yùn)維能力，提升整體可維護(hù)使用能力，真正做到“最懂自動(dòng)化駕駛業(yè)務(wù)的存儲(chǔ)系統(tǒng)”。目前，焱融科技已經(jīng)幫助該公司建立多個(gè)數(shù)據(jù)中心和跨云整體混合云平臺(tái)，有效優(yōu)化業(yè)務(wù)流程，提升整體業(yè)務(wù)效率。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-407988.html

到了這里，關(guān)于焱融 YRCloudFile 跨云多源數(shù)據(jù)管理，直擊自動(dòng)駕駛 “割裂式存儲(chǔ)”痛點(diǎn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！