WeRide旨在為未來提供L4自動駕駛技術。數據訪問是開發(fā)智能移動性的關鍵部分。采用Alluxio作為本地緩存層可消除對S3的冗余請求，同時消除了數據同步的復雜性，每位工程師在數據傳輸中每位問題減少了5美元。那么如何在WeRide上為ML和AI構建跨區(qū)域的混合云存儲網的問題，其實就是介紹如何利用Alluxio作為混合云數據網，用于本地應用程序訪問AWS S3等公共云存儲。

新的數據訪問體系結構為每個位置提供了本地化的緩存，以消除對S3的冗余請求。除了消除手動數據同步的復雜性之外，Alluxio還直接將數據提供給在同一辦公室使用相同數據的工程師，從而避免了與S3相關的傳輸成本。

　　WeRide的數據挑戰(zhàn)

WeRide是一家在智能移動行業(yè)創(chuàng)建L4自動駕駛算法的公司。像所有自動駕駛汽車公司一樣，從實況道路測試中不斷收集數據，以進行模型訓練，算法測試和仿真。

到目前為止，WeRide累計已經實現了200萬公里的自動駕駛里程，并且隨著更多的測試車輛投入使用，數據收集的速度只會增加。到2020年，每天都會生成TB級的數據，我們預計第二年的數據量將增長10倍。

除了從測試驅動器收集的數據之外，諸如模擬，SIL（環(huán)路軟件）測試和模型基準測試之類的應用程序每天還會產生數TB的數據。隨著我們技術的進步，這些附加應用程序的輸出也將繼續(xù)增長，以覆蓋更大的數據集并處理更多的極端情況。

WeRide是一家全球分布的公司，在多個城市設有辦事處，包括美國的圣何塞以及中國的廣州，北京，上海和安慶。跨辦公室的不同團隊并行生成和使用數據。我們使用AWS S3作為在不同辦公室之間共享的數據湖。

在為我們的自動駕駛汽車設計一種新算法或修復現有算法中的錯誤時，我們的工程師需要針對現有數據測試該算法。考慮到我們的數據架構，這會導致瓶頸，例如：

1. 開發(fā)中的迭代速度很慢：在進行開發(fā)或調試之前，開發(fā)人員需要將最新數據從云下載到其本地環(huán)境。這通常受到下載速度和網絡帶寬的限制。

2. 高昂和不必要的出口成本：每次從S3下載數據時，出口數據傳輸都會產生費用。通常，要調試一個問題，數據傳輸成本總計為5美元。如果多個人進行協(xié)作，即使他們正在下載相同的數據，該成本也會進一步增加。

3. 容易出錯的數據同步：在WeRide，我們建立了一個自定義數據上傳過程，該過程將數據復制到云中并保留存儲在NAS或HDFS中的本地副本。為了使工程師更快地訪問數據，必須使用本地副本，但這會導致數據同步問題。當前，我們通過運行cron作業(yè)來定期清理本地數據來維護本地副本。

　　使用Alluxio的新架構

經過調查，我們意識到以下架構將帶來巨大的好處：

1. 始終將S3視為唯一的事實來源，以消除不同辦公室之間的數據沖突。

2. 在S3之上部署本地緩存系統(tǒng)以應對每個辦公室的按需工作負載，以加快開發(fā)速度。

但是，從頭開始構建內部緩存系統(tǒng)可能很昂貴，并且對于WeRide的業(yè)務需求而言是不必要的。我們決定探索現有技術以滿足我們的需求并滿足以下要求：

1. 它是一種低成本或免費的成熟技術，已經過大規(guī)模數據訪問的嚴格測試；

2. 它易于使用，易于集成，不會引入新的ETL作業(yè)；

3. 當預算允許時，它允許我們通過使用更好的硬件進行擴展。

考慮到上述標準，Alluxio成為加速我們的數據訪問的首選。除了與S3兼容之外，它還通過其POSIX和HTTP端點提供了易于訪問的接口。作為一種開源技術，我們可以將其合并到我們的系統(tǒng)中，而不會增加額外的業(yè)務成本。

在每個辦公室中，我們都使用S3作為事實來源，將Alluxio部署為小型本地群集。道路測試數據直接上傳到本地的Alluxio群集中，同一辦公室的工程師可以立即使用。同時，Alluxio會在后臺自動將道路測試數據上傳到S3。當其他辦公室的工程師希望使用道路測試數據時，他們可以通過其本地的Alluxio集群提出請求。如果由Alluxio緩存，則數據將立即返回；否則，將從S3中獲取數據。為了進一步減少從S3獲取新數據的時間，我們與Alluxio團隊合作實施了分布式加載命令，該命令可以打開多個同時連接以下載數據。該功能已添加到Alluxio 2.1.0版本中。

使用Alluxio，從云中獲取的應用程序數據也將在本地緩存。如果數據不是從同一辦公室上載的，這以前是不可能的。在工程師想要查看同一辦公室中另一位工程師的模擬結果的常見情況下，數據立即可用。

通過將新的實現與Alluxio結合使用，我們觀察到以下改進：

· 通過具有用于訪問數據的單個接口，降低了數據同步的復雜性，并且無需維護自定義本地副本

· 開箱即用的云數據緩存解決方案

· 快速訪問數據是工程效率的關鍵因素

· 減少了下載冗余數據的S3數據輸出成本

　　下一步

現在，通過Alluxio進行數據傳輸是將辦公室本地數據與云中數據連接的關鍵組成部分。為了進一步改善系統(tǒng)，我們正在與Alluxio團隊合作添加與數據傳輸策略有關的功能。諸如在工作時間內限制上傳帶寬或確定某些文件類型的優(yōu)先級之類的功能將對我們的工程師有所幫助。

以上就是關于如何在WeRide上為ML和AI構建跨區(qū)域的混合云存儲網的全部內容介紹，想了解更多關于人工智能的信息，請繼續(xù)關注中培偉業(yè)。