Cloud AI - 4. 클라우드 AI의 확장과 실무 적용 (데이터 엔지니어링과 AI)

📌 데이터 엔지니어링과 AI: 데이터 전처리 & 클라우드 스토리지 활용

데이터 엔지니어링은 AI 모델이 학습할 수 있도록 데이터를 수집, 정제, 변환, 저장하는 과정을 의미한다.
AI 모델의 성능은 데이터의 품질과 양에 크게 의존하며, 이를 효율적으로 관리하기 위해 데이터 전처리 및 클라우드 스토리지 활용이 필수적이다.

---

🔹 1️⃣ 데이터 전처리 & 클라우드 스토리지 활용

✅ 데이터 전처리란?

데이터 전처리는 AI 모델 학습을 위한 데이터의 품질을 높이는 과정이다.
이 과정에는 결측값 처리, 이상값 제거, 정규화, 데이터 변환 등이 포함된다.

✅ 데이터 전처리 주요 단계

단계	설명	예제
데이터 수집	AI 모델에 필요한 데이터를 수집	센서 데이터, 로그 데이터, API 데이터 등
결측값 처리	누락된 데이터 보완 또는 제거	평균값 대체, 삭제
이상값 탐지	비정상적 데이터 제거	Z-score, IQR 활용
데이터 정규화	데이터 분포를 일정한 범위로 조정	Min-Max Scaling, Z-score Normalization
데이터 변환	텍스트, 이미지, 음성을 모델이 이해할 수 있도록 변환	텍스트 토큰화, 이미지 리사이징
특징 엔지니어링	AI 모델 성능을 높이기 위한 데이터 생성	텍스트에서 감정 점수 추가

---

📌 Python을 활용한 데이터 전처리 예제

1️⃣ 결측값 처리 (pandas 활용)

import pandas as pd

# 샘플 데이터 생성
data = {'이름': ['홍길동', '김철수', None, '이영희'],
        '나이': [25, None, 30, 28]}

df = pd.DataFrame(data)

# 결측값을 평균값으로 대체
df['나이'].fillna(df['나이'].mean(), inplace=True)

# 결측값 제거
df.dropna(inplace=True)

print(df)

✅ 핵심 포인트:

• fillna()를 사용하여 결측값을 평균값으로 대체
• dropna()를 사용하여 결측값이 포함된 행 제거

---

2️⃣ 이상값 탐지 및 제거 (Z-score 활용)

import numpy as np
from scipy import stats

# 샘플 데이터 생성
data = np.array([10, 12, 14, 100, 15, 17, 13, 18])

# Z-score 계산
z_scores = np.abs(stats.zscore(data))

# Z-score가 3 이상인 값 제거
filtered_data = data[z_scores < 3]

print(filtered_data)

✅ 핵심 포인트:

• stats.zscore()를 사용하여 이상값 탐지
• Z-score > 3인 데이터 제거

---

✅ 클라우드 스토리지 활용

클라우드 스토리지는 대규모 데이터를 효율적으로 저장하고 AI 모델 학습에 활용하는 필수 기술이다.

✅ 클라우드 스토리지의 주요 역할
1️⃣ 대용량 데이터 저장 및 관리 → 이미지, 텍스트, 음성 데이터 저장
2️⃣ AI 모델과 연동하여 데이터 불러오기 → 데이터셋을 클라우드에서 직접 로딩
3️⃣ 데이터 공유 및 협업 → 팀 간 데이터 접근 용이

✅ 대표적인 클라우드 스토리지 서비스

클라우드 서비스	설명	데이터 활용
Google Cloud Storage (GCS)	대규모 데이터 저장	AI 모델 학습 데이터 저장
Amazon S3 (AWS)	확장성이 뛰어난 오브젝트 스토리지	로그 데이터 저장 및 분석
Azure Blob Storage	비정형 데이터 저장에 최적화	대용량 이미지 및 영상 저장

---

📌 Google Cloud Storage (GCS) 연동 예제

from google.cloud import storage
import os

# 서비스 계정 인증 설정
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "your-gcs-service-account.json"

# GCS 클라이언트 생성
client = storage.Client()
bucket_name = "your-bucket-name"
bucket = client.get_bucket(bucket_name)

# 파일 업로드
blob = bucket.blob("data/sample_data.csv")
blob.upload_from_filename("sample_data.csv")

print("✅ 파일 업로드 완료")

✅ 핵심 포인트:

• storage.Client()를 사용하여 Google Cloud Storage에 연결
• upload_from_filename()을 사용하여 로컬 파일을 업로드

---

🔹 2️⃣ 빅데이터와 AI 모델의 관계

✅ 빅데이터와 AI의 상호작용

AI 모델의 성능은 데이터의 양과 품질에 따라 크게 달라진다.
빅데이터를 AI에 활용하면 더 정밀한 예측, 자동화된 의사 결정, 실시간 분석이 가능하다.

✅ 빅데이터가 AI에 미치는 영향

요소	AI 모델에 미치는 영향
데이터 양	데이터가 많을수록 모델의 학습 성능 향상
데이터 다양성	다양한 데이터가 있을수록 일반화 성능 증가
데이터 품질	노이즈가 적고 정제된 데이터일수록 정확도 향상

✅ AI가 빅데이터를 활용하는 방식
1️⃣ 머신러닝 모델 훈련 (Supervised Learning) → 대규모 레이블링 데이터 필요
2️⃣ 비지도 학습 (Unsupervised Learning) → 군집 분석, 이상 탐지
3️⃣ 강화 학습 (Reinforcement Learning) → 실시간 데이터 피드백 활용

---

📌 빅데이터 기반 AI 모델 훈련 예제 (TensorFlow 활용)

import tensorflow as tf

# 데이터셋 로드 (빅데이터 활용 가능)
dataset = tf.data.experimental.make_csv_dataset(
    file_pattern="gs://your-bucket/data.csv",
    batch_size=32,
    label_name="target",
    num_epochs=1
)

# 모델 정의
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation="relu"),
    tf.keras.layers.Dense(32, activation="relu"),
    tf.keras.layers.Dense(1, activation="sigmoid")
])

# 모델 컴파일
model.compile(optimizer="adam", loss="binary_crossentropy", metrics=["accuracy"])

# 모델 훈련
model.fit(dataset, epochs=5)

✅ 핵심 포인트:

• make_csv_dataset()을 사용하여 클라우드 스토리지(GCS)에서 직접 데이터 로드
• tf.keras.Sequential()을 활용하여 AI 모델 훈련 진행

---

📌 최종 정리

✅ 데이터 전처리 & 클라우드 스토리지 활용

1️⃣ 결측값 처리, 이상값 제거, 데이터 변환을 수행하여 AI 모델의 입력 데이터를 정제
2️⃣ Google Cloud Storage, AWS S3, Azure Blob Storage를 활용하여 대용량 데이터 관리
3️⃣ API를 통해 클라우드 스토리지에서 데이터를 불러와 AI 모델과 연결

✅ 빅데이터와 AI 모델의 관계

1️⃣ 빅데이터를 활용하면 AI 모델의 성능이 향상되며, 정밀한 예측 가능
2️⃣ 머신러닝, 비지도 학습, 강화 학습에서 빅데이터 활용 방식이 다름
3️⃣ TensorFlow 등의 AI 프레임워크를 활용하여 클라우드 데이터 기반 모델 학습 가능

✅ 데이터 엔지니어링을 통해 AI 모델의 성능을 최적화하고, 클라우드 환경에서 확장성을 극대화할 수 있다.