PolarDB for AI功能通過一系列MLOps和內建的模型解決了資料、特徵和模型的割裂狀態,實現了基於資料庫的資料智能的一站式服務。本文介紹了PolarDB for AI功能的相關特性。
背景資訊
隨著資料的累積,資料驅動的智能應用(例如:搜尋、推薦和問答)已經越來越廣泛地被用於各種情境中。在過去幾年,資料驅動的智能應用已經逐漸從基於簡單的資料分析和統計轉型為基於機器學習和深度學習的特徵和模型應用。轉型的速度遠遠超出預期,部分原因是機器學習和人工智慧方面的技術突破。深度神經網路在映像分析和自然語言處理等學科中取得了前所未有的進步。強化學習成為補充傳統監督學習的強大範式。
然而,在目前的資料驅動的智能應用中,資料、特徵和模型仍處於割裂狀態。首先,資料工程師通過手工編寫流程進行資料清洗和Data Integration;然後,演算法工程師通過自訂的特徵工程流程、模型訓練指令碼以及定時任務指令碼進行周期性的生產特徵和模型;最後,開發工程師負責模型的上線、穩定性保證和監控營運。這就導致了不同系統之間會進行資料移轉,同一份資料可能在不同源之間冗餘,進而出現資料不一致的問題,以及特徵難管理、模型難升級等困境。除此之外,資料工程師、演算法工程師和開發工程師的人力成本也是當前資料驅動的智能決策應用難以大規模落地的一個阻礙。
事實上,鑒於資料庫研究在資料發現、資料管理、版本控制、資料清理和Data Integration方面積累的專業知識,PolarDB for AI可以為資料驅動的智能應用提供一站式的資料(包括:資料、特徵和模型)服務來解決這種割裂狀態,大大減少資料驅動的智能決策開發過程中的人力成本,從而走出當前的困境。
簡介
PolarDB for AI是基於PolarDB MySQL版的一個資料庫內的分布式機器學習組件。其雲端式原生的體系架構,通過SQL語句的方式提供了支援機器學習的一系列MLOps,包括:建立模型、訓練模型、查看模型狀態、查看模型列表、模型評估和模型推理等能力;同時提供了一系列內建的機器學習和人工智慧演算法,包括:分類演算法、迴歸演算法和聚類演算法等。基於MLOps和內建的模型,PolarDB for AI為資料驅動的智能應用提供了高效、可靠、方便的資料智能能力,打破了資料庫和業務應用之間的系統牆,提供了基於資料庫資料智能的一站式服務。
版本要求
若要使用PolarDB for AI功能,PolarDB MySQL版叢集需滿足如下要求:
產品版本為企業版,系列為叢集版。
核心引擎版本需為8.0.1及以上。
資料庫代理版本(Proxy)需為2.7.5及以上。
關於如何查看或升級核心引擎版本和資料庫代理版本,請參見查看並升級版本。
費用
PolarDB for AI只收取AI節點的費用。普通AI節點按照普通的計算節點收費,其規格詳情與價格請參見計算節點規格和計算節點價格。
技術架構
PolarDB for AI通過資料庫代理進行SQL路由,含有/*polar4ai*/
的SQL語句會被分發到具有AI能力的叢集上進行計算,計算的返回結果和普通的SQL返回結果遵循同樣的協議。所以,您可以串連資料庫叢集並執行帶有/*polar4ai*/
的SQL語句來使用該功能。其架構圖如下所示:
PolarDB資料庫代理版本(Proxy)需為2.7.5及以上,如何查看和升級當前資料庫代理版本,請參見小版本升級。
除普通叢集具有的儲存功能和計算功能之外,PolarDB for AI還具有三層結構,分別是接入層、特徵層及模型層。其中:
接入層:負責處理SQL語句,包括SQL解析、SQL校正、代價估算和產生執行計畫等,並最佳化為可執行檔SQL語句節點樹。
特徵層:負責處理從資料轉換為特徵的工作,包括資料接入、特徵產生、資料同步和特徵更新。
模型層:負責處理模型相關的MLOps能力,包括模型建立、模型訓練、模型評估、模型推理和模型管理。
適用情境
如下圖所示,PolarDB for AI將傳統的DB+AI
的資料智能應用轉變為一站式資料智能應用,從資料庫服務於傳統的資料工程師和演算法工程師轉變為DB+AI
服務於業務工程師,直接與業務系統對接。
PolarDB for AI可用於如下行業情境:
ID-Mapping
ID-Mapping通常適用於平台性的客戶,如遊戲和電商等。以遊戲平台為例,某些遊戲平台中的同一個使用者可能會有多個遊戲帳號,這些帳號散落在各種遊戲或平台本身的資料庫中,並沒有對帳號進行融合。基礎資料建設不完善會帶來各種問題,例如做精準營銷時不能精準定位同一個使用者,導致流量在跨渠道使用時效率較低。採用機器學習模型則會將帳號統一,不但提高了基礎資料品質,而且還為上遊業務提供了優質的資料。
問答機器人
問答機器人基於資料庫中的內容。根據使用者的業務情境,結合AI能力(對話控制、機器學習、自然語言理解等),打造適合企業的對話服務。問答機器人可以實現
7×24
小時線上服務,能協助企業接待更多客戶、提升客戶滿意度、提高工作效率和降低營運成本。是企業進行線上諮詢、線上營銷和線上服務的好幫手。搜尋推薦
在傳統的資料庫中,使用者的搜尋能力通常基於資料庫固有的全文檢索索引能力,不支援自然語言類的檢索需求(如語義檢索、同義字匹配等)。採用PolarDB for AI中成熟的搜尋解決方案,可以大幅度提升搜尋的精確性。
基於PolarDB for AI的智能推薦演算法和知識圖譜技術,再結合阿里巴巴電商策略,為企業提供貫穿推薦能力的一站式服務,助力企業快速過渡冷啟動過程。面向不同的業務情境定製個人化解決方案,持續提升核心業務能力,以實現業務營收增長。
優勢
PolarDB for AI支援PolarDB內建的模型訓練和模型推理等MLOps,無縫相容MySQL語句,提供達摩院加持的行業智能演算法服務,避免資料在兩個甚至多個系統間轉換和遷移,從而降低資料智能應用的開發成本,加速資料價值業務變現。
使用說明
快速上手PolarDB for AI
進階使用PolarDB for AI
典型解決方案