최근 수정 시각 : 2025-03-18 15:35:20

온디바이스 인공지능

온디바이스 AI에서 넘어옴
1. 개요2. 장점3. 단점4. On-Device AI vs. Cloud AI 비교5. 활용6. 주요 기술

1. 개요

On-Device AI
기기에 탑재(On-Device)된 AI

ChatGPT 등의 인공지능 기술은 최소 수백억개 이상의 매개변수를 가진 모델을 사용하므로 이를 저장하고 처리할 수 있는 저장장치 및 RAM(VRAM), 그리고 이를 연산할 수 있는 컴퓨팅 성능이 필요하다. 일반 가정용 PC나 스마트폰으로는 이러한 성능을 충족시킬 수 없기 때문에 사용자의 입력을 GPU, NPU, TPU 등이 집적된 데이터 센터로 보내 연산을 수행하고 그 결과를 다시 사용자에게 보내주는 방식으로 작동한다. 하지만 이러한 방식은 사용자가 몰려 데이터 센터의 연산 능력이 부족해지면 서비스 장애가 발생할 수도 있고 인터넷 연결이 불가능한 환경에서는 사용할 수 없다는 단점이 있다.

이와 비교하여 온디바이스 인공지능은 기기에 인공지능 모델을 탑재하여 자체적으로 연산을 수행하므로 인터넷 연결 없이도 결과를 얻으며 입력을 외부로 전송할 필요가 없다는 장점이 있다.

2. 장점

  • 개인정보 보호
    기기 내부에서 모든 연산이 수행되고 외부로 전송되는 데이터가 없으므로 데이터 센터에 사용자의 입력을 전송해야 하는 인공지능 기술과 비교하면 개인정보 유출 위험이 매우 낮다.
  • 안정성
    인터넷 연결이 불가능한 환경에서도 사용할 수 있고 기기에 문제가 없다면 항상 이용할 수 있다.

3. 단점

  • 최신 기기에서만 사용 가능
    부품 교체가 어렵거나 불가능한 노트북, 스마트폰에서는 현재 성능이 인공지능 모델을 구동할 수 있는 성능을 만족하지 못하면 온디바이스 인공지능을 사용할 수 없다. 예를 들어 Windows 11을 탑재한 컴퓨터 중 Copilot+ PC로 인정받기 위해서는 40 TOPS (초당 40조회의 연산) 이상의 NPU를 장착해야 하며, 그렇지 않은 컴퓨터는 Recall 등 Copilot+ PC의 독점적인 기능을 사용할 수 없다. 다른 예로는 iPhone의 경우 Apple의 인공지능 기술인 Apple Intelligence의 최소 요구 사항이 8GB RAM이기 때문에 iPhone 16 시리즈와 iPhone 15 Pro, iPhone 15 Pro Max를 제외한 기기에서는 Apple Intelligence를 지원하지 않는다.
  • 낮은 성능
    기기에서 처리할 수 있도록 소형화된 모델을 사용하기 때문에 데이터 센터를 이용하는 인공지능 기술과 비교하면 성능이 크게 떨어진다.

4. On-Device AI vs. Cloud AI 비교


온디바이스 AI와 클라우드 AI는 연산 방식과 활용 방식에서 차이가 있다.

온디바이스 AI는 기기 자체에서 AI 모델을 실행하는 방식으로, 인터넷 연결 없이도 작동할 수 있다. 대표적으로 스마트폰의 음성 비서(Siri, Bixby), 카메라 AI(인물 모드), 자동차의 자율 주행 AI 등이 이에 해당한다. 기기 내부에서 데이터를 처리하기 때문에 반응 속도가 빠르고 개인정보 보호 측면에서도 유리하다. 하지만 기기의 하드웨어 성능에 맞춰 경량화된 모델을 사용해야 하기 때문에, 복잡한 연산을 수행하기에는 한계가 있다.

반면, 클라우드 AI는 AI 모델이 클라우드 서버에서 실행되며, 기기는 단순히 입력 데이터를 보내고 처리된 결과를 받아오는 방식으로 작동한다. 대표적인 예로 ChatGPT, Google Bard 같은 챗봇 서비스나 대형 데이터 분석, 클라우드 번역 서비스 등이 있다. 클라우드 AI는 매우 복잡하고 큰 AI 모델을 사용할 수 있어 고성능 연산이 가능하지만, 인터넷 연결이 필수적이며, 속도가 네트워크 상태에 영향을 받을 수 있다는 단점이 있다. 또한, 데이터를 클라우드 서버로 보내야 하기 때문에 개인정보 보호 측면에서 온디바이스 AI보다 취약할 수 있다.

최근에는 두 기술을 혼합하여 사용하는 경우가 많다. 예를 들어 스마트폰의 음성 비서 기능은 간단한 명령(알람 설정, 날씨 확인 등)은 온디바이스 AI로 처리하고, 복잡한 질문이나 대화는 클라우드 AI를 이용하는 방식이다.

참고 자료: 온디바이스 AI와 클라우드 차이점 https://profitunlocked.com/on-device-ai-%ec%9d%b8%ed%84%b0%eb%84%b7-%ec%97%86%ec%9d%b4-%ea%b8%b0%ea%b8%b0%ec%97%86%eb%8a%94%eb%aa%a8%eb%93%a0-ai%ea%b8%b0%ec%88%a0/


5. 활용

  • IoT 기기
    가전제품, 보안 카메라, 자동차 등.

6. 주요 기술

  • NPU
    인공지능 연산에 특화된 하드웨어
  • 딥 러닝 컴파일러
    주어진 모델을 사용 환경에 최적화된 형태로 변환하는 소프트웨어
  • 모델 경량화
    거대 모델을 하드웨어 성능에 맞도록 축소시키는 기술



[1] 중국 알리바바에서 만든 소규모 언어모델, 큐원이라고 부른다. SLM 중에서는 한국어 성능이 가장 좋은 편이다.[2] LG에서 제작한 언어모델로 동체급 대비 2.4b 사이즈 한정, qwen 2.5 3b을 능가한다.

분류