[섹터 정리 - 반도체] On Device AI 개념 정리

On Device AI 란?

 

Device (디바이스) : 핸드폰, 태블릿 자동차의 칩 등 기기에 들어가는 칩들을 의미

 

AI: Artificial Intelligence의 약자로 보편적으로 요즘 나오는 언어 생성 이미지 생성을 포괄하는 인공지능이라는 의미

 

On Device AI:  디바이스 위에(On) 들어가는 인공지능 연산 칩

 

 

기존 핸드폰에서 인공지능 추론이 거의 불가능했기 때문에 클라우드 서버와 통신을 통해 인공지능 연산 결과를 받아와 소통하는 형식이었다. 하지만 클라우드 서버와 같은 제3의 매개체를 이용하여 통신하게 되면 효율면에서 뒤처지기 때문에 칩 자체에 인공지능 연산이 가능하도록 설계하여 자신의 기기에서도 자체적으로 인공지능 연산을 가능하게 하도록 해주는 장치가 On Device AI라 할 수 있다. 현재 애플, 삼성을 비롯한 휴대폰 그리고 자동차 기업이 On Device 칩을 장착해 개인의 기기에서 연산이 가능한 장치를 만드려 하고 있다.

---

장점

 

On Device AI는 제3의 클라우드 서버에서 돌아가기 때문에 데이터 보안성 관점에서 취약하다. 내가 원치 않게 나의 데이터가 클라우드 서비스를 통해 저장되기 때문에 개인 전자기기내에서 이뤄지는 AI 추론은 개인 데이터 보호의 관점에서 볼 때 더 안전하다. 실제 우리가 챗 지피티에 물어보는 질문들과 스테이블 디퓨전 생성 시에 사용하는 개인 이미지는 이전 구글에서 수집하는 검색 기록보다 더 사적인 내용이 포함되는 데이터이기 때문에 개인 데이터 보안 문제는 더 크게 대두될 가능성이 있다.

 

두 번째는 장점을 컴퓨팅 성능이다. 몇몇의 사용자는 당연히 클라우드 기반의 서버가 성능 면에서 더 뛰어나다고 생각할 수 있지만 사실 항상 그렇지는 않다. 본인이 속한 인공지능 IT 회사도 사용자의 등급에 따라 가동 서버의 성능을 철저히 나누고 있기 때문에 꼭 최고 성능의 서버에서 작동한다고 볼 수 없다. 더군다나 기존 클라우드 서비스는 여러 사용자 요청을 처리해야 하기 때문에 경우에 따라 트래픽(사용자 이용 수)이 몰리면 느리게 작동할 수 있는 단점이 있지만 자체 On Device AI 칩을 이용하면 자신의 기기에서 요청하는 인공지능 추론을 진행하기 때문에 성능 면에서 이점이 있다. 앞으로 On Device AI 칩의 발전 속도에 따라 서버와 개인 기기의 칩 성능의 간극은 어느 면에서는 줄어들 것으로 예측할 수 있다.

 

세 번째는 장점은 경제성이다. 클라우드 서버를 이용하게 될 경우 매달 막대한 서버 비용이 발생한다. 트래픽 쏠림 현상에는 관계없이 서버는 24시간 돌아가기 때문에 지출 고정 비용면에서 불리하며 서버를 증설하는 비용도 막대하기 때문에 자체 인공지능 연산이 탑재된 칩을 이용하면 이러한 비용을 어느 정도 해결할 수 있다. 앞으로 On Device AI 칩의 생산성 안정화와 성능이 더 높아짐에 따라 비용적 효율성 측면은 더욱더 상승할 것이다.

 

마지막은 에너지 효율성이다. 이건 세 번째 이유와도 관련 있는데, 막대한 서버를 켜두는 건 막대한 전력 소모를 필요로 하게 되지만 On Device AI 칩을 이용하게 된다면 서버 대비 저전력 연산이 가능해지므로 에너지 효율 면으로 이득이 된다. ESG가 대두되고 있는 현재 기업들 사이에서 에너지 절감은 필수적인 요소이므로 최대한 에너지를 절약하는 방향으로 On Device AI 칩도 개발될 가능성이 크다. 결국 에너지 소비도 돈으로 직결되는 문제이기 때문에...

 

퀄컴 제공: On Device AI 의 장점

---

마무리

요약하자면 On Device AI는 기존 클라우드 서버로 돌아가던 인공지능 연산을 개인의 휴대폰 혹은 태블릿 나아가 자동차에서 자체적으로 처리 가능하게 해주는 칩이라고 할 수 있다. On Device AI 칩의 개발은 다른 반도체 분야에 비해 비교적으로 새롭게 개발되고 있는 중이며 앞으로 반도체 섹터를 주도하는 분야가 될 수 있다. 더 나아가 현재 클라우드 서버 위주로 돌아가는 인공지능 생태계에 큰 변화를 가져올 수 있다.

 

On Device AI의 장점으로는 크게 아래 이유들이 있다.

1. 보안성: 개인의 데이터가 클라우드 상에서 수집되는 위험을 덜 수 있다.

2. 성능: 개인 기기에 탑재된 칩으로 보다 더 빠른 연산 성능을 낼 수 있다.

3. 경제성: 고정 지출이 큰 24시간 가동되는 서버에 비해 더 경제적이다.

4. 에너지 효율성: 막대한 전력소모를 필요로 하는 서버보다 훨씬 에너지를 덜 소모한다.