電(dian)子發燒友網發布了(le)一款試用(yong)產(chan)品：米爾 MYD-Y6ULX-V2 開(kai)(kai)(kai)發板，基于 NXP i.MX6UL/i.MX6UL L處理(li)器，該開(kai)(kai)(kai)發板被米爾稱之為經典王牌產(chan)品。本次測試目標(biao)是在此(ci)開(kai)(kai)(kai)發板上進行神經網絡框架ncnn的(de)移植與(yu)測試開(kai)(kai)(kai)發，測試ncnn在此(ci)開(kai)(kai)(kai)發板上的(de)性能與(yu)應用(yong)測試。

01.

什么是ncnn

ncnn 是騰(teng)訊優圖(tu)推出的在手(shou)(shou)機(ji)端極致(zhi)優化的高性(xing)能(neng)(neng)神經(jing)網絡前(qian)向計算框(kuang)架。也(ye)能(neng)(neng)夠在移動設備上(shang)的高性(xing)能(neng)(neng)神經(jing)網絡前(qian)向計算框(kuang)架。ncnn 從設計之初深刻考慮移動端的部署和使用。無第三(san)方依賴，跨(kua)平臺，其中手(shou)(shou)機(ji)端 cpu的速度快于目前(qian)所有已知的開源(yuan)框(kuang)架。

基于(yu)ncnn，能夠將深度學習算法輕松移植到手(shou)機端(duan)和移動設備上(shang)高效執行，開發(fa)人工智能應用(yong)。以騰訊內(nei)部應用(yong)為例，ncnn目前已在(zai)QQ，Qzone，微信，天天P圖等上(shang)得(de)到應用(yong)。

ncnn支持大部分常用的CNN 網絡：

Classical CNN: VGG AlexNetGoogleNet Inception …

Practical CNN: ResNetDenseNet SENet FPN …

Light-weight CNN:SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet …

Detection: MTCNNfacedetection …

Detection: VGG-SSDMobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite …

Detection: Faster-RCNNR-FCN …

Detection: YOLOV2 YOLOV3MobileNet-YOLOV3 …

Segmentation: FCN PSPNetUNet …

騰(teng)訊優(you)圖實驗室是主(zhu)要研究(jiu)計算(suan)機視覺技術，ncnn的(de)許多(duo)應用方向也都在圖像(xiang)方面，如人像(xiang)自動美顏，照片風格化，超(chao)分(fen)辨率(lv)，物體識別。

騰訊(xun)優圖(tu)ncnn提供的(de)(de)資料顯示：對比目前已知的(de)(de)同(tong)類框架，ncnn是cpu框架中(zhong)最快的(de)(de)，安裝(zhuang)包體積(ji)最小，跨(kua)平臺兼(jian)容性中(zhong)也是最好的(de)(de)。以(yi)蘋(pin)果主(zhu)推(tui)的(de)(de)CoreML為例，CoreML是蘋(pin)果主(zhu)推(tui)的(de)(de) iOS gpu計算框架，速度非常快，但僅支持 iOS11以(yi)上的(de)(de) iphone手(shou)機受眾太狹窄。非開源也導致(zhi)開發(fa)者無法自主(zhu)擴(kuo)展功能。

02.

ncnn功能簡介

ncnn支(zhi)(zhi)持卷(juan)積神經(jing)網絡，支(zhi)(zhi)持多輸入和多分(fen)支(zhi)(zhi)結構，可計(ji)算部分(fen)分(fen)支(zhi)(zhi)無任何(he)第(di)三(san)方庫依賴，不依賴 BLAS/NNPACK 等計(ji)算框架純 C++ 實現(xian)，跨(kua)平臺，支(zhi)(zhi)持 android ios 等ARM NEON 匯編級良(liang)心優化(hua)，計(ji)算速度極快精細的(de)內存管(guan)理和數據結構設計(ji)，內存占用極低支(zhi)(zhi)持多核(he)并行計(ji)算加(jia)速，ARM big.LITTLE cpu 調度優化(hua)。

支持(chi)基于(yu)(yu)全新低消耗的 vulkan api GPU 加(jia)速整體庫體積小于(yu)(yu) 700K，并(bing)可(ke)輕松(song)精(jing)簡到小于(yu)(yu) 300K可(ke)擴展(zhan)的模型設(she)計，支持(chi) 8bit 量(liang)化和半精(jing)度浮點存儲，可(ke)導入 caffe/pytorch/mxnet/onnx 模型支持(chi)直接(jie)內(nei)存零拷(kao)貝引用(yong)加(jia)載網絡(luo)模型可(ke)注冊自定義層實現并(bing)擴展(zhan)。