今天，隨著新興ICT信息技術(shù)的迅猛發(fā)展，人工智能、物聯(lián)網(wǎng)等技術(shù)的應(yīng)用已悄然來(lái)到你我身邊，并在我們熟悉的領(lǐng)域中發(fā)揮著越來(lái)越重要的作用。

如果說(shuō)AI解決方案意味著智能化、無(wú)人化和集群化，需要它支持任意地點(diǎn)的開發(fā)運(yùn)維協(xié)同和全球化的大規(guī)模部署。那么，如何基于最新的邊云協(xié)同，應(yīng)用高可靠且高可用的云邊構(gòu)架，從而實(shí)現(xiàn)AI模型的高效率訓(xùn)練和高性能部署？這些，我們?cè)谟⑻貭朅I開發(fā)者私享會(huì)上找到了答案。

AI推理的“邊云協(xié)同”新趨勢(shì)

今天，智能終端設(shè)備無(wú)所不在。我們通過(guò)智能設(shè)備、多種邊緣設(shè)備和云端進(jìn)行交流。而由于技術(shù)的存在，讓我們無(wú)感的自由自在生活和工作。無(wú)可否認(rèn)的是，我們都身處“云-邊-端”和環(huán)境之中而不自知，它們卻在不知不覺(jué)中改變我們的工作和生活。

英特爾AI軟件布道師武卓博士表示：“人工智能、無(wú)所不在的計(jì)算、無(wú)處不在的連接、從云到邊緣的基礎(chǔ)設(shè)施正在成為驅(qū)動(dòng)創(chuàng)新與變革的四大超級(jí)力量。”

無(wú)數(shù)據(jù)不AI。武卓博士從技術(shù)技術(shù)向我們特別說(shuō)明了數(shù)據(jù)在邊緣端推理的好處。首先，數(shù)據(jù)在邊緣端產(chǎn)生，它更接近或處于邊緣的近實(shí)時(shí)決策；其次，避免了向云傳輸大量數(shù)據(jù)的成本；再次是異構(gòu)硬件體系結(jié)構(gòu)更方便使用，它能將現(xiàn)有邊緣設(shè)備計(jì)算和許多具有新功能的新硬件平臺(tái)結(jié)合使用。她介紹說(shuō)，將在邊緣端推理后的結(jié)果上傳到云端后進(jìn)行云規(guī)劃開發(fā)，可以實(shí)現(xiàn)企業(yè)業(yè)務(wù)和計(jì)算服務(wù)、多AI框架和服務(wù)和簡(jiǎn)化訓(xùn)練開發(fā)，無(wú)需軟件下載，無(wú)需配置，無(wú)需安裝即可進(jìn)行開發(fā)。因此，在云端進(jìn)行規(guī)�；�的開發(fā)更加簡(jiǎn)化，直接使用云端的資源即可，把分布式和集中式的云計(jì)算結(jié)合起來(lái)進(jìn)行優(yōu)勢(shì)互補(bǔ)，可以很好的完成邊-云-端的協(xié)同。

比如，在智慧工作、智慧物流等的應(yīng)用中，在邊緣端，通過(guò)內(nèi)置英特爾的芯片的智能盒子等設(shè)備進(jìn)行推理，可以實(shí)現(xiàn)推理的進(jìn)行優(yōu)化和加速。然后將日志和許可方式進(jìn)行存儲(chǔ)上傳，形成大型的數(shù)據(jù)看板，進(jìn)行數(shù)據(jù)可視化，更方便管理。

武卓博士表示，邊云協(xié)同的方式為企業(yè)帶來(lái)了高質(zhì)量的解決方案，解決現(xiàn)實(shí)使用中的一些痛點(diǎn)。比如在AI宮頸癌病理篩查中，采用TCT智能篩查系統(tǒng)將LBP涂片識(shí)判斷數(shù)字化、自動(dòng)化和智能化，它的平均精度達(dá)到了91%-98.6%，漏檢率小于4%。人工診斷一張切片平均耗時(shí)約15-20分鐘，而基于Intel Xeon平臺(tái)的人工智能診斷耗時(shí)約30秒/張 ，為中國(guó)“兩癌”篩查行動(dòng)助力。

說(shuō)到推理，許多開發(fā)者都會(huì)習(xí)慣在GPU平臺(tái)上進(jìn)行。武卓博士則指出，在CPU做推理，并不會(huì)慢，關(guān)鍵在于如何決策。她指出，英特爾武卓博士開發(fā)套件已經(jīng)構(gòu)建良好的生態(tài)，向上向下都可以兼容多種平臺(tái)，同時(shí)支持的設(shè)備和平臺(tái)也多樣化，代碼更簡(jiǎn)單，開發(fā)者可以很方便的使用。據(jù)介紹，目前英特爾OpenVINO已經(jīng)有超過(guò)270+的驗(yàn)證及優(yōu)化的預(yù)訓(xùn)練模型，加上英特爾和百度飛槳（PaddlePaddle）一起合作開發(fā)的模型，共有超過(guò)400+的落地方案可供選擇，幫助開發(fā)者進(jìn)行創(chuàng)建、優(yōu)化和部署。武卓博士特別指出，英特爾OpenVINO的解決方案可以實(shí)現(xiàn)一次編寫多次部署，并進(jìn)行優(yōu)化和加速，僅僅靠CPU就可以獲得較大的推理模型和效果。同時(shí)，它可以部署在很多的硬件平臺(tái)上面，大大節(jié)約了開發(fā)者的時(shí)間和成本。尤其是在英特爾的全棧生態(tài)鏈中使用，其優(yōu)勢(shì)會(huì)更加明顯。

在微軟Azure上使用OpenVINO快速實(shí)現(xiàn)高性能人工智能推理

隨著云計(jì)算、邊緣計(jì)算等被納入并行計(jì)算范疇，并行計(jì)算得以高速發(fā)展。微軟人工智能和物聯(lián)網(wǎng)實(shí)驗(yàn)室AI 工程師Joe Chen表示，計(jì)算結(jié)構(gòu)在發(fā)生變化，從云到邊級(jí)，云邊融合。

目前，大量的計(jì)算需求被集中化處理，其中，人工智能占40%，控制邏輯，占37%，數(shù)據(jù)分析占30%，構(gòu)成前幾名的邊緣計(jì)算工作負(fù)載。Joe表示，隨著邊緣設(shè)備的計(jì)算能力的加強(qiáng)，邊緣計(jì)算也應(yīng)用得越來(lái)越深，人工智能是最重要的邊緣計(jì)算負(fù)載。

今天，微軟的機(jī)器學(xué)習(xí)平臺(tái)把云端和邊緣側(cè)結(jié)合到一起，軟件工程師和數(shù)據(jù)科技學(xué)在機(jī)器學(xué)習(xí)平臺(tái)上，將圖像、語(yǔ)音、文本、決策以及Open AI等認(rèn)知服務(wù)預(yù)訓(xùn)練成定制的AI模型，提供基于場(chǎng)景化的AI應(yīng)用服務(wù)，比如聊天機(jī)器人、內(nèi)容審查器，視頻索引器等提供給用戶，用戶只需要使用即可。

Joe表示，Azure機(jī)器學(xué)習(xí)平臺(tái)，一方面連接數(shù)據(jù)，通過(guò)平臺(tái)訓(xùn)練成模型部署到客戶端，另一方面可以進(jìn)行管理和監(jiān)控，通過(guò)可視化數(shù)據(jù)等進(jìn)行統(tǒng)一管理云端和本地資源。據(jù)介紹，Azure機(jī)器學(xué)習(xí)平臺(tái)是企業(yè)級(jí)機(jī)器學(xué)習(xí)服務(wù)，它具有適配不同技術(shù)水平，全生命周期管理、開放且可互操作以及負(fù)責(zé)任的AI等特點(diǎn)，能夠更快地構(gòu)建和部署模型。

Joe總結(jié)說(shuō)，微軟注重云端的算力，OpenVINO更注重與硬件的結(jié)合，因此，基于兩者技術(shù)開發(fā)的硬件盒子對(duì)于開發(fā)者來(lái)說(shuō)，降低了開發(fā)門檻，只要購(gòu)買后都可以通過(guò)它傳輸?shù)皆贫诉M(jìn)行模型推理。同時(shí)，他特別強(qiáng)調(diào)，OpenVINO開源中有代碼示例，方便對(duì)OpenVINO各個(gè)工具的使用方法不太熟悉的開發(fā)者理解和使用，也可以方便的在Azure平臺(tái)上進(jìn)行使用。

OpenVINO深耕行業(yè)，助力企業(yè)降本增效

自2018年推出OpenVINO™以來(lái)，英特爾已經(jīng)幫助數(shù)十萬(wàn)開發(fā)者大幅提升了AI推理性能，并將其應(yīng)用從智能邊緣計(jì)算擴(kuò)展到云計(jì)算及服務(wù)器端。2022年的發(fā)行版OpenVINO™工具套件根據(jù)開發(fā)者的反饋而開發(fā)，包括更簡(jiǎn)易的更新API、更廣泛的深度學(xué)習(xí)模型選擇、更多的設(shè)備可移植性選擇以及更高的推理性能和更少的代碼配置，旨在簡(jiǎn)化和自動(dòng)化模型部署工作。OpenVINO™ 2022.1新版本的技術(shù)亮點(diǎn)涵蓋：自動(dòng)平衡在CPU、GPU和其他加速器之間的推理任務(wù)負(fù)載；更便捷地從其他框架中導(dǎo)入預(yù)訓(xùn)練模型；自動(dòng)進(jìn)行推理任務(wù)優(yōu)化及并行化加速；通過(guò)Dynamic Shape特性提升NLP相關(guān)網(wǎng)絡(luò)性能；在訓(xùn)練過(guò)程中或訓(xùn)練后對(duì)模型進(jìn)行優(yōu)化，以獲得最佳的性能和準(zhǔn)確性。

據(jù)介紹，英特爾OpenVINO自推出以來(lái)，在各行各業(yè)落地部署。開發(fā)者借助OpenVINO在各個(gè)領(lǐng)域開發(fā)創(chuàng)新，取得了非�？捎^的AI優(yōu)化成果。

英特爾聯(lián)合趨視科技打造了基于OpenVINO的智慧園區(qū)解決方案，達(dá)到了“提前預(yù)防、快速分析并提示人做出響應(yīng)”的管理效果。AI視覺(jué)行為分析是智慧社區(qū)應(yīng)用中的關(guān)鍵技術(shù)，趨視科技結(jié)合自身算法框架，并借助英特爾OpenVINO加速優(yōu)化，滿足專家系統(tǒng)及深度學(xué)習(xí)系統(tǒng)融合算法的性能要求，大幅提升AI視覺(jué)分析行為算法性能，并通過(guò)基于OpenVINO的40多種智能行為分析算法點(diǎn)亮未來(lái)社區(qū)生活。

在教育領(lǐng)域，一起教育科技借助OpenVINO優(yōu)化其“一教一學(xué)”解決方案中的量化推理加速技術(shù)與批改檢測(cè)識(shí)別加速技術(shù)，成功實(shí)現(xiàn)從傳統(tǒng)教培業(yè)務(wù)向數(shù)字化教育全維解決方案業(yè)務(wù)的轉(zhuǎn)型。在英特爾至強(qiáng)CPU架構(gòu)的加持下，一起教育科技探索了一款基于OpenVINO的、滿足實(shí)時(shí)性要求的可行性技術(shù)方案，且在此方案中OpenVINO的代碼及模型均部署在云端，而非用戶端。此外，由于OpenVINO支持異構(gòu)部署，這為多元化部署提供了可能。英特爾還將與一起教育科技進(jìn)一步借助OpenVINO針對(duì)OCR模型打造INT8量化部署方案，推進(jìn)數(shù)字化教育教學(xué)的轉(zhuǎn)型升級(jí)。

正如武卓博士所說(shuō)：“數(shù)字化的目標(biāo)是為了在數(shù)據(jù)中提升洞見，能夠基于人工智能的數(shù)據(jù)學(xué)習(xí)，促進(jìn)企業(yè)或組織進(jìn)行正確的決策，進(jìn)行業(yè)務(wù)流程和組織的再造，之后的效率就特別高，最終實(shí)現(xiàn)降本增效的目標(biāo)。”

今天，從產(chǎn)品到內(nèi)容生產(chǎn)、再到開發(fā)者社區(qū)構(gòu)建，OpenVINO助力打造了一個(gè)健康發(fā)展的AI生態(tài)圈，英特爾的任何一款軟硬件產(chǎn)品都可以是這個(gè)生態(tài)圈中的一環(huán)。同時(shí)，隨著AI產(chǎn)業(yè)快速發(fā)展，面對(duì)市場(chǎng)對(duì)AI專業(yè)人才日益增加的需求，英特爾也在持續(xù)為AI專業(yè)人才培養(yǎng)注入新動(dòng)能，助力開發(fā)者成長(zhǎng)。英特爾具有完整的開發(fā)者培養(yǎng)計(jì)劃，通過(guò)和教育機(jī)構(gòu)、大學(xué)、行業(yè)生態(tài)合作伙伴合作，為開發(fā)者提供了豐富的課程以供學(xué)習(xí)，滿足各個(gè)階段的需求，讓大家從入門到精通而不是從入門到放棄。

當(dāng)前，英特爾正在構(gòu)建一個(gè)健康的開發(fā)者生態(tài)體系，在各個(gè)開發(fā)者社區(qū)傳播知識(shí)和技能，并通過(guò)活動(dòng)將大家串聯(lián)起來(lái)，聚焦于AI的未來(lái)，用AI賦能行業(yè)，為企業(yè)降本增效助力。

來(lái)源：慧聰教育網(wǎng)