青云QingCloud?推出?Inference Engine?推理引擎（詳情：http://1t.click/bbbH）。青云QingCloud?推理引擎作為?DeepLearning?深度學(xué)習(xí)平臺(tái)的重要組成部分，將通過(guò)?AppCenter?交付，一鍵云端部署，為用戶(hù)提供一站式的模型部署與推理方案。此外，青云QingCloud?推理引擎還提供了應(yīng)用全生命周期管理能力，包括創(chuàng)建、擴(kuò)容、監(jiān)控、健康監(jiān)測(cè)等，助力開(kāi)發(fā)者快速擁有生產(chǎn)環(huán)境?AI?推理引擎。

訓(xùn)練和推理是機(jī)器/深度學(xué)習(xí)的兩個(gè)重要組成部分。AI?開(kāi)發(fā)者通過(guò)各種深度學(xué)習(xí)框架，如?Tensorflow、PyTorch?等訓(xùn)練好模型后，將模型部署到生產(chǎn)環(huán)境，管理模型版本并提供API用于推理。成熟的推理產(chǎn)品除了要支持多種推理框架、多種加速器（CPU/GPU）之外，還需要支持諸如推理?API (HTTP/GPRC)?負(fù)載均衡、模型上傳、模型存儲(chǔ)、模型部署、水平/垂直伸縮、推理引擎日志/推理?API?訪問(wèn)日志查看等諸多功能。

作為成熟的推理產(chǎn)品，青云QingCloud?此次推出的?Inference Engine?推理引擎，除了完全具備上述功能，還具備以下優(yōu)勢(shì)：

主流推理框架：集成針對(duì)英特爾?CPU?優(yōu)化的?CPU?版?Tensorflow Serving，未來(lái)還將陸續(xù)支持?ONNX Runtime / OpenVINO?等主流推理框架，助力用戶(hù)快速部署機(jī)器/深度學(xué)習(xí)推理環(huán)境。

多種加速模式：支持使用?GPU?或僅使用?CPU?進(jìn)行機(jī)器/深度學(xué)習(xí)推理，同時(shí)可根據(jù)自身需求選擇單節(jié)點(diǎn)或分布式部署模式；其中，CPU 版基于第二代英特爾至強(qiáng)可擴(kuò)展處理器，采用了?Intel DeepLearning Boost VNNI?技術(shù)，AI?推理性能與上一代型號(hào)?CPU?相?提升高達(dá)?100%?。

多種存儲(chǔ)方式：?支持本地磁盤(pán)存儲(chǔ)、對(duì)象存儲(chǔ)以及兼容?S3?協(xié)議的?MinIO?私有對(duì)象存儲(chǔ)等多種存儲(chǔ)方式存儲(chǔ)模型。集成對(duì)象存儲(chǔ)命令行工具，通過(guò)配置對(duì)象存儲(chǔ)相關(guān)參數(shù)，可便捷地從對(duì)象存儲(chǔ)中獲取模型，完成推理。

多種部署方式：支持單模型服務(wù)節(jié)點(diǎn)+本地模型存儲(chǔ)、多模型服務(wù)節(jié)點(diǎn)+私有對(duì)象存儲(chǔ)模型庫(kù)?( MinIO?對(duì)象存儲(chǔ)?)、多模型服務(wù)節(jié)點(diǎn)+公有云對(duì)象存儲(chǔ)模型庫(kù)?( QingStor^??對(duì)象存儲(chǔ)或其他兼容?S3?協(xié)議的公有云對(duì)象存儲(chǔ))?等多種部署方式。

青云QingCloud?運(yùn)營(yíng)副總裁林源表示，Inference Engine?推理引擎對(duì)于圖像/語(yǔ)音識(shí)別、圖像分類(lèi)和實(shí)時(shí)翻譯領(lǐng)域的突破有著重要的意義，也是青云QingCloud 補(bǔ)齊 AI 服務(wù)能力、完善深度學(xué)習(xí)平臺(tái)的重要一環(huán)。未來(lái)，青云QingCloud 將持續(xù)推出更多 AI 相關(guān)服務(wù)，助力 AI 開(kāi)發(fā)者更加便捷地開(kāi)展工作，推動(dòng)全面人工智能時(shí)代的加速到來(lái)。