woon’s blog
woon’s blog
부족하지만 부족한 것을 채워나가며…
Draft
Draft
ONNX
ONNX 최적화관련 필독(onnx simplifier에 대한 사전 지식 필요함):https://zhuanlan.zhihu.com/p/350702340
ONNX(Open Neural Network Exchange) 소개
ONNX는 추론(inference)에 중점을 둔 확장가능한 계산 그래프 모델임.신경망을 사용한 딥러닝은 데이터 흐름 그래프(dataflow graph)에 대한 계산을 통해 수행됨. 일부 프레임워크(CNTK, Caffe2, Theano 및 TensorFlow)는 정적 그래프(static graph)를 사용하는 반면, 다른 프레임워크(Pytorch 및 Chainer)는 동적 그래프(dynamic graph)를 사용함. 이처럼 오늘날 각
ONNX 성능 비교
ONNX 사용을 위한 docker/Anaconda설치
https://tutorials.pytorch.kr/advanced/ONNXLive.htmlconda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidiahttps://hub.docker.com/r/continuumio/anaconda3
ONNX Simplifier
https://www.zhihu.com/search?type=content&q=onnxhttps://zhuanlan.zhihu.com/p/346511883
ONNX Runtime
ONNXRuntime은 Microsoft에서 출시한 추론 프레임워크로, 사용자는 이를 사용하여 ONNX 모델을 매우 편리하게 실행할 수 있음.ONNXRuntime은 CPU, GPU, TensorRT, DML등 다양한 백엔드를 지원함. ONNX Runtime for Pytorch는 ORTModule 클래스 래퍼를 사용하여 자동으로 내보낸 최적화된 ONNX 계산 그래프를 사용하여 훈련 스크립트의 순전파와 역전파를 실행함. ORT 훈련은 ORT