NPU - 5. NPU 개발 환경 구축

5. NPU 개발 환경 구축

NPU(Neural Processing Unit)를 활용하여 AI 모델을 실행하기 위해서는 적절한 개발 환경을 구축하는 것이 중요합니다.
이를 위해 필요한 소프트웨어 및 도구, 개발 환경 설정, 모델 변환 방법을 이해해야 합니다.

---

5.1 NPU 개발에 필요한 소프트웨어 및 도구

NPU에서 AI 모델을 실행하려면 다양한 소프트웨어 프레임워크, SDK, 드라이버, 에뮬레이터가 필요합니다.

1️⃣ 프레임워크 (TensorFlow, PyTorch, ONNX 등)

NPU에서 AI 모델을 실행하려면 딥러닝 프레임워크를 지원하는 SDK와 툴킷이 필요합니다.

✅ TensorFlow

• Google이 개발한 딥러닝 프레임워크.
• TPU, Edge TPU 등 Google NPU에서 최적화되어 실행됨.
• TensorFlow Lite를 사용하면 모바일/엣지 디바이스에서 실행 가능.

✅ PyTorch

• Facebook(메타)이 개발한 딥러닝 프레임워크.
• TorchScript 변환을 통해 NPU에서 최적화된 실행 가능.

✅ ONNX (Open Neural Network Exchange)

• AI 모델을 다양한 하드웨어(NPU, GPU, CPU)에서 실행할 수 있도록 변환하는 표준 포맷.
• TensorFlow, PyTorch 등에서 변환 가능하여 하드웨어 독립적인 모델 실행 가능.

---

2️⃣ NPU SDK 및 드라이버 (예: Qualcomm SNPE, TensorRT, OpenVINO 등)

각 하드웨어 제조사는 NPU를 위한 SDK(Software Development Kit) 및 드라이버를 제공합니다.

NPU SDK	제조사	특징
TensorRT	NVIDIA	GPU 및 NPU 가속화, INT8 양자화 지원
OpenVINO	Intel	엣지 AI 최적화, ONNX 모델 변환 가능
SNPE (Snapdragon Neural Processing Engine)	Qualcomm	모바일 및 Snapdragon 칩셋 최적화
TensorFlow Lite / Edge TPU Compiler	Google	Google Edge TPU 최적화 모델 변환
Neural Compute SDK (NCSDK)	Intel	Movidius NPU 최적화

---

3️⃣ NPU 에뮬레이터 및 시뮬레이터

NPU 하드웨어 없이도 AI 모델을 테스트할 수 있도록 에뮬레이터 및 시뮬레이터가 제공됩니다.

✅ QEMU + NPU 가속기

• 다양한 NPU 아키텍처를 소프트웨어 환경에서 실행할 수 있도록 지원.
• Android 및 엣지 AI 기기 테스트 가능.

✅ NVIDIA TensorRT Profiler

• TensorRT에서 AI 모델을 실행하고 성능을 분석하는 도구.
• NPU 연산 속도 및 메모리 사용량 최적화 가능.

✅ Qualcomm SNPE SDK Emulator

• Qualcomm Snapdragon NPU에서 실행되는 AI 모델을 PC 환경에서 테스트 가능.

✅ Intel OpenVINO Benchmark Tool

• AI 모델을 OpenVINO 환경에서 실행하고 성능을 평가.

💡 결론:

• 딥러닝 프레임워크(TensorFlow, PyTorch)를 사용하여 AI 모델을 개발.
• NPU SDK(TensorRT, OpenVINO 등)를 통해 최적화 및 실행.
• NPU 에뮬레이터를 활용하여 하드웨어 없이 모델 테스트 가능.

---

5.2 NPU 개발을 위한 기본 설정

NPU에서 AI 모델을 실행하려면 개발 환경을 설정해야 합니다.

✅ 1️⃣ 개발 환경 구축 (Python + AI 프레임워크 설치)

# 기본 개발 환경 설정
sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip -y

# 딥러닝 프레임워크 설치
pip install tensorflow torch onnx onnxruntime

# 하드웨어 최적화 툴 설치 (예: TensorRT, OpenVINO)
pip install tensorrt openvino

✅ 2️⃣ NPU 드라이버 및 SDK 설치
각 NPU 하드웨어에 맞는 SDK를 설치해야 합니다.

• NVIDIA TensorRT 설치:

sudo apt install nvidia-tensorrt

• Intel OpenVINO 설치:

wget https://storage.openvinotoolkit.org/openvino-releases/2023/latest/l_openvino_toolkit_2023.0.0.tgz
tar -xvzf l_openvino_toolkit_2023.0.0.tgz
cd l_openvino_toolkit_2023.0.0
sudo ./install.sh

✅ 3️⃣ AI 모델 변환 및 최적화

• TensorFlow → TensorRT 변환

import tensorflow as tf
import tensorflow.experimental.tensorrt as trt

saved_model_dir = "my_model"
converter = trt.Converter(input_saved_model_dir=saved_model_dir)
converter.convert()
converter.save("optimized_model")

• ONNX 모델 변환 (PyTorch → ONNX)

import torch
import torchvision.models as models

model = models.resnet18(pretrained=True)
dummy_input = torch.randn(1, 3, 224, 224)

torch.onnx.export(model, dummy_input, "model.onnx", opset_version=11)

💡 결론:

• Python + AI 프레임워크를 설치하고, NPU SDK를 구성.
• AI 모델을 ONNX 또는 TensorRT로 변환하여 NPU에서 실행 가능하도록 최적화.

---

5.3 NPU를 위한 모델 변환 (FP32 → INT8)

NPU에서 AI 모델을 실행할 때 연산 속도 및 전력 소비를 줄이기 위해 FP32(32비트 부동소수점) 모델을 INT8(8비트 정수)로 변환하는 것이 일반적입니다.

✅ 1️⃣ TensorFlow에서 INT8 양자화 적용

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model("my_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.int8]
tflite_quant_model = converter.convert()

with open("model_int8.tflite", "wb") as f:
    f.write(tflite_quant_model)

✅ 2️⃣ PyTorch에서 INT8 양자화 적용

import torch.quantization

model_fp32 = models.resnet18(pretrained=True)
model_int8 = torch.quantization.quantize_dynamic(
    model_fp32, {torch.nn.Linear}, dtype=torch.qint8
)

✅ 3️⃣ TensorRT를 활용한 INT8 변환

import tensorrt as trt

EXPLICIT_BATCH = 1 << (int)(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)
logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)
network = builder.create_network(EXPLICIT_BATCH)
config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.INT8)

💡 결론:

• FP32 모델을 INT8로 변환하면 연산 속도가 증가하고, 전력 소모가 감소.
• TensorFlow, PyTorch, TensorRT 등에서 INT8 양자화 지원.

---

📌 결론: NPU 개발 환경 구축 요약

✅ 딥러닝 프레임워크 (TensorFlow, PyTorch, ONNX) 사용하여 모델 개발.
✅ NPU SDK (TensorRT, OpenVINO, SNPE 등) 및 드라이버 설치.
✅ NPU 에뮬레이터를 활용하여 하드웨어 없이 모델 테스트 가능.
✅ 모델 변환 (FP32 → INT8) 을 통해 AI 연산 속도 및 전력 최적화.