來源:北大青鳥總部 2023年02月10日 10:05
在人工智能領(lǐng)域,對于AI的開發(fā)和服務,經(jīng)常會需要一個基礎平臺來做技術(shù)支撐,這個基礎平臺要求綜合功能多,包括全流程可視化的建模、數(shù)據(jù)處理、特征工程、算法計算、模型評估、模型發(fā)布等能力,這就是AI開發(fā)與服務平臺,使用這樣的平臺能夠大大降低構(gòu)建模型的門檻,提高建模效率。相比傳統(tǒng)的AI開發(fā)與服務人員專業(yè)要求高,數(shù)據(jù)處理慢以及建模周期長,人工智能開發(fā)與服務平臺大大提高了AI的開發(fā)和服務效率,就像航空母艦強大的作戰(zhàn)能力一樣,平臺對于AI的開發(fā)和服務有著強勁的支撐能力。本文將對這個人工智能領(lǐng)域的新型“航母”進行功能和思路介紹,希望能借助其來擴寬AI開發(fā)人員的思維。 從航空母艦的相應資料來看,其大概結(jié)構(gòu)主要分以下幾個部分: 動力體系:包括供應航母一切動力系統(tǒng),如燃油庫、動力艙、核反應堆等。 艦載武器:包括航母攻防的相關(guān)武器、彈藥、艦載機等。 艦體甲板:包括艦載機的彈射裝置、攔截裝置、甲板、裝甲艦體以及相應的輔助設施等。 綜合艦島:是航母的指揮中心,包括指揮室、控制室、監(jiān)控室、雷達聲納系統(tǒng)、導航和航海系統(tǒng)等。 機庫系統(tǒng):存放和維修保養(yǎng)艦載機、以及其他輔助設施的場所。 生活體系:支撐艦上人員生活、雜物、供給等的體系,包括宿舍、餐廳、浴室、廚房、清潔、健身設施等。 本文介紹的人工智能(AI)開發(fā)與服務平臺,擁有著類似航空母艦強大作戰(zhàn)支撐能力的功能結(jié)構(gòu)。為更好地幫助讀者理解,我們可以將AI開發(fā)與服務平臺和航空母艦進行初步的對比剖析,它們對應的功能結(jié)構(gòu)理解如下圖: AI開發(fā)與服務平臺可以看作是AI領(lǐng)域項目開發(fā)和服務的“航母”,它提供一站式的AI應用開發(fā)、部署、管理、運維監(jiān)控等功能,提供多算法融合調(diào)度、大數(shù)據(jù)規(guī)范化處理、多場景應用服務能力API 開放,能夠降低AI 應用開發(fā)成本,節(jié)省建模開發(fā)、維護成本。 平臺類似航母結(jié)構(gòu),規(guī)劃為“一平臺、一倉庫、四中心”。 下面對各部分做簡單剖析。 AI開發(fā)與服務平臺的數(shù)據(jù)資源中心就如同航母的核動力一樣,提供全艦的動力來源,是平臺運行能力的體現(xiàn)。數(shù)據(jù)資源中心為AI開發(fā)者提供多種數(shù)據(jù)接入的能力,支持完善的存儲、匯總和分析等服務,實現(xiàn)用戶數(shù)據(jù)、來源數(shù)據(jù)、模型數(shù)據(jù)與平臺服務的全周期連接。功能有數(shù)據(jù)源管理、數(shù)據(jù)預處理、數(shù)據(jù)整理清洗等數(shù)據(jù)存儲和操作處理。具體包括: 平臺的數(shù)據(jù)源可以是文件、數(shù)據(jù)庫、接口等方式 整體的數(shù)據(jù)處理方式是所見即所得的,類似操作EXCEL一樣簡單。 提供統(tǒng)一數(shù)據(jù)集成、場景數(shù)據(jù)、特征數(shù)據(jù)定義、數(shù)據(jù)類型轉(zhuǎn)換等功能,并為不同類型數(shù)據(jù)提供數(shù)據(jù)服務組件選擇。 AI開發(fā)與服務平臺的建模計算中心就是提供平臺戰(zhàn)斗能力的區(qū)域,通過業(yè)務數(shù)據(jù)、業(yè)務知識和算法進行結(jié)合,將數(shù)據(jù)中的價值挖掘出來,進行快速可視化建模,形成業(yè)務模型。建模開發(fā)人員只需要了解建模原理,無需代碼能力,即可獲得較好的可用算法模型。建模計算中心裝備精良,有以下能力: 高維度模型算法和特征工程算法 高性能的分布式計算框架 在大數(shù)據(jù)和海量特征(支持萬億級以上)的場景下具備優(yōu)秀的計算能力 比較不同算法的運行結(jié)果,通過評估值選擇最優(yōu)算法,并可以調(diào)整模型中的可變參數(shù),包括算法參數(shù)配置、算法參數(shù)調(diào)優(yōu)、算法評估 以可視效果展示模型迭代變化趨勢,進行模型各維屬性的分布匯總 AI開發(fā)與服務平臺的算法模型倉庫類似于航母的艦載機的機庫,是算法模型集中管理的地方。提供算法接入規(guī)范和自助接入工具,以及提供自動化托管和自動化適配能力,可兼容多個算法合作伙伴的多種算法,實現(xiàn)多算法統(tǒng)一管理以及提升算法工程化效率和復用能力。算法模型倉庫可以放置很多當前主流的算法模型,以方便開發(fā)者直接使用,例如以下算法模型: AI開發(fā)與服務平臺的調(diào)度管理中心類似于航母的艦島(也即航母的指揮大腦),是平臺的管理核心區(qū)域,提供可視化、可拖拽的項目管理、任務編排和調(diào)度能力,拖拽構(gòu)建項目信息、數(shù)據(jù)流定義、配置,實現(xiàn)多算法融合、多數(shù)據(jù)組件拼裝和多業(yè)務服務組合,快速構(gòu)建滿足AI業(yè)務場景的應用。囊括了算法建模過程的全部調(diào)度內(nèi)容,從數(shù)據(jù)導入、數(shù)據(jù)處理、特征選擇、算法選擇、算法評估、算法部署等建模的全部過程。 AI開發(fā)與服務平臺的應用服務中心類似于航母的艦體和甲板,是對平臺外應用的服務平臺,能提供數(shù)據(jù)接入規(guī)范和自助接入工具,以及提供自動化適配能力,支持多設備統(tǒng)一分組分類管理,實現(xiàn)便捷地連接智能邊緣終端。提供應用密鑰管理以及數(shù)據(jù)訂閱推送功能,AI應用開發(fā)者可通過API 網(wǎng)關(guān)調(diào)用平臺提供的多種AI 服務能力,實現(xiàn)快速開發(fā)AI 應用以及接收AI結(jié)構(gòu)化數(shù)據(jù)的推送。同時還具備統(tǒng)計分析分類分析、回歸分析、聚類分析、關(guān)聯(lián)分析等智能化分析應用功能。 AI開發(fā)與服務平臺的技術(shù)支撐平臺類似于航母的所有生活基礎支撐體系,提供平臺的設備接入和管理、服務器計算資源以及鏡像倉庫資源的管理功能,為AI應用開發(fā)提供完善的資源服務能力。提供AI開發(fā)與服務過程中,全生命周期的運營監(jiān)控、微服務管理、賬號體系管理等能力,保障平臺穩(wěn)定性和可視化運營,提升平臺開發(fā)及輸出能力。 在世界正在從IT時代走向DT時代的當下,越來越多的人工智能應用蓬勃發(fā)展,但隨著人工智能、機器學習逐步向信息產(chǎn)業(yè)開始普及項目的時候,項目開發(fā)和服務過程中的很多實際問題漸漸凸顯出來: 比如算法建模入門門檻較高,需要開發(fā)者掌握的背景知識相對較多,需要知曉統(tǒng)計學、概率論、機器學習算法等內(nèi)容; 如機器學習的算法過多地依賴計算機實現(xiàn),需要相關(guān)從業(yè)人員知曉較多的計算機內(nèi)容; 再者AI的開發(fā)通常需要花費較長的時間人工進行數(shù)據(jù)預處理、特征提取相關(guān)內(nèi)容; 數(shù)據(jù)維度爆炸,統(tǒng)計分析過程較為復雜和繁瑣; 數(shù)據(jù)存儲分散,不易集中使用,以及數(shù)據(jù)安全問題等等。 以上問題都困擾著急需上馬人工智能和機器學習的企業(yè)和政府單位,也讓從事AI開發(fā)和服務的數(shù)據(jù)科學家、數(shù)據(jù)工程師、算法模型師等專業(yè)人員經(jīng)常一籌莫展。為了解決上述問題,AI開發(fā)與服務平臺應運而生,并且逐步在各類機器學習項目中大量使用,很多主流大廠如騰訊、百度、阿里巴巴也都打造了自主的AI開發(fā)服務平臺。 本文對AI開發(fā)服務平臺的常規(guī)功能做了初步的介紹,希望能夠讓關(guān)注或?qū)⒁褂迷撈脚_的讀者朋友們有個大概的框架和概念,相信今后AI領(lǐng)域的開發(fā)和服務過程中,也會逐步趨向于大規(guī)模使用這樣類似的平臺,強大的“航母”戰(zhàn)斗群即將在人工智能的浪潮中啟航。AI“航母”結(jié)構(gòu)簡介
AI“航母”功能淺析
一、動力體系——數(shù)據(jù)資源中心
二、艦載武器——建模計算中心
三、艦載機庫——算法模型倉庫
四、綜合艦島——調(diào)度管理中心
五、艦體甲板——應用服務中心
六、生活體系——技術(shù)支撐平臺
AI“航母”啟航