WT Korea ‘AI at the Real Edge’ 세미나 개최...온디바이스 AI, AI MCU 등 에지 생태계 총망라

“효율성 제고를 위해 온디바이스 AI 트렌드에 따라야”

 

과거부터 인류의 미래를 점칠 때 빼놓을 수 없는 기술은 뭘까? 바로 인공지능(AI)이다.

 

AI는 4차 산업혁명 이후의 차세대 산업체제를 이끌 차세대 슈퍼스타로 평가받는다. 지난 2022년 11월 챗GPT(ChatGPT)의 등장을 기점으로, AI는 ‘생성형 AI(Generative AI)’라는 이름으로 진화를 맛봤다. 이는 곧 지위·연령 등을 막론하고 누구든 활용할 수 있는 기술로의 잠재성을 실감케했다. 이처럼 AI는 인간 삶의 현재와 미래를 잇는 가교로써 존재감을 확장하는 중이다.

 

AI 전문가들은 AI가 활동 영역을 넘나들며 대중화되기 위해서는 각종 애플리케이션, 모바일 기기, 임베디드 및 IoT 시스템 등에서 곧바로 AI 활용이 가능해야 한다고 조언한다. 여기서 언급된 애플리케이션 및 기기는 스마트폰, 카메라, 센서, 웨어러블 및 스마트홈 디바이스 등이다.

 

온디바이스 AI(On-Device AI)는 바로 여기에 착안해 등장한 기술이다. 클라우드나 서버를 거쳐 AI 및 데이터를 처리하던 기존 시스템에서 벗어나 말 그대로 에지(Edge)단, 즉 디바이스 자체에서 바로 AI를 처리하는 방식이다.

 

올해 미국 라스베이거스에서 개막한 ‘국제전자제품박람회(CES 2024)’에서는 온디바이스 AI가 화두로 떠올랐다. 팻 겔싱어(Pat Gelsinger) 인텔 최고경영자(CEO)는 기조연설 세션에서 ‘모든 곳에 인공지능(AI Everywhere)’를 주창하며, ‘온디바이스 3대 법칙’을 강조했다.

 

그는 “개인 기기 안에서 AI를 구동하는 것이 경제적이며, 클라우드를 거치지 않으면 시간과 물리적인 손실을 방지한다”며 “데이터 센터 부지도 필요 없어 토지 손실 및 규제에도 자유롭다”고 언급했다. 그러면서 “앞으로 클라우드를 배제하고, AI PC로 모든 것을 할 수 있는 시대가 올 것”이라고 강조했다.

 

퀄컴도 CES 2024에서 스냅드래곤 칩 기반 자동차용 플랫폼을 내놓으며 모빌리티 온디바이스 AI 시장을 공략하겠다는 포부를 드러냈다. 크리스티아노 아몬(Cristiano Amon) 퀄컴 CEO도 기조연설을 통해 “차세대 컴퓨팅의 토대는 클라우드에서 디바이스로 이관될 것”이라며 “AI가 디바이스에 이식된다는 것은 AI가 인터넷 연결 없이도 인간의 모든 터치와 입력을 학습하고 다음 행동을 예측한다는 의미”라고 역설했다.

 

삼성전자 또한 ‘모두를 위한 AI(AI for All)’를 슬로건으로 이 자리에 참가했다. 삼성전자 전시관에는 온디바이스 AI 스마트폰 ‘갤럭시 S24’를 비롯해 온디바이스 관련 기술이 한자리에 모였다. 결국 ‘내 손안에 AI’ 시대가 먼일이 아니라는 듯 온디바이스 AI 고도화를 위한 움직임이 활발하다.

 

이 양상에서 주목받는 것이 차세대 마이크로컨트롤러(Micro Controller Unit, MCU)인 AI MCU다. MCU는 현존하는 전자기기에 필수로 탑재되는 핵심 반도체로, CPU, 메모리, 입출력 모듈이 하나의 칩에 구성된 형태다. AI MCU는 온디바이스 AI의 뇌 역할을 하는 부품으로 그 필요성이 증대되는 중이다. 현재 여러 MCU 제조업체는 AI MCU 개발에 박차를 가하고 있다.

 

이달 14일 경기 성남시 삼평동에서 AI MCU 기술 세미나 ‘AI at the Real Edge’가 진행됐다. 해당 행사 주최를 맡은 반도체 유통 업체 ‘WT Korea’는 글로벌 반도체 기술업체 ‘아날로그디바이스(ADI)’의 제품을 취급한다.

 

 

차성근 ADI 상무는 이날 오프닝 세션에서 “현재의 AI는 초중기 단계로, 앞으로 다가올 AI의 미래는 혁명적일 것”이라고 전했다. 이어 “서버단에 집중된 지금의 MCU는 에지단으로 넘어갈 확률이 높을 것으로 전망된다”고 예측하며 덧붙였다.

 

최은기 WT Korea FAE(Field Application Engineer)도 “데이터가 급증하는 시대에서의 애플리케이션 영역은 전력 소모량을 낮추고, 효율성을 제고하기 위해 온디바이스 AI 트렌드에 따라야 할 것”이라고 제언했다.

 

온디바이스 AI...어떤 미래를 연출하나

 

이어 김학용 와츠매터 대표가 ‘온디바이스 AI 트렌드’에 대해 발표했다. 김 대표는 먼저 “현재 국내에서 대중적으로 활용되고 있는 AI 처리 방식 중 클라우드는 데이터 이동이 잦아 보안에도 취약하며, 통신이 불안정하면 활용하지 못하는 단점이 있다”며 “온디바이스 AI는 이 관점에서 각광받는 중”이라고 말했다.

 

김학용 대표에 따르면 과거에도 온디바이스 AI가 존재했지만, 지금의 온디바이스 AI와의 차이점은 생성형 AI 기술의 도입 유무다. 현재 온디바이스 AI는 사생활 보호, 실시간 추론, 독립적 연결, AI 모델 경량화, 저전력 등 강점을 내재하고 있다는 평가다.

 

이는 곧 서비스 생태계가 크게 변화할 것이라는 예상이 가능하다. 김 대표는 비전 AI, 모바일 기기, 모빌리티, 로봇 등 분야가 온디바이스 AI에 수혜를 입을 영역이라고 내다봤다. 특히 모빌리티 영역에서 뜨거운 감자인 ‘소프트웨어 정의 자동차(Software-Defined Vehicle, SDV)’ 기술이 대표적이다.

 

이러한 온디바이스 AI를 가능하게 하는 필수 기술은 어떤 것이 있을까? 김학용 대표는 CPU, GPU, NPU(신경망처리장치) 등 프로세서를 강조했다. NPU는 저전력으로 AI 추론을 가속화하기 위해 설계된 칩셋으로, AI 모델 및 알고리즘·AI 사례 개발에서 활약한다.

 

NPU에서 AI 엔진을 구동하기 위해서는 소규모언어모델(sLLM)·통계적언어모델(SLM) 등 경량화된 언어 모델이 필요하다. 최근 CPU·GPU·NPU가 결합된 AI SoC(System on a Chip)이 등장해 새바람을 예고했다.

 

온디바이스 AI 실현 가능할까...AI MCU가 청사진 들이밀다

 

ADI는 이렇게 집적화된 사양을 요구하는 온디바이스 AI에 특화된 AI MCU 모델을 보유했다. 최은기 FAE는 “ADI는 에지단의 카메라, 마이크, 보조 기기 등을 타깃으로 한 AI MCU 제품을 구축했다”며 “이는 간단한 데이터를 센서나 에지 디바이스로 처리하겠다는 비전에서 비롯된 전략”이라고 내세웠다.

 

이 모델이 바로 아날로그 반도체 업체 맥심인터그레이티드(Maxim Integrated Product 이하 맥심)의 AI MCU인 ‘MAX78000’이다. ADI는 지난 2021년 맥심 인수합병(M&A)을 완료해 AI MCU 시장으로의 진출에 성공했다.

 

MAX78000을 필두로 한 MAX7800x 시리즈는 AI 알고리즘 가동, 데이터 추론, 결과 도출 등 과정을 용이하게 하도록 CPU 성능을 극대화했다. 이 과정에서 학습 과정은 PC에서 진행하고, MAX7800x 시리즈에 내장된 AI 가속기 ‘CNN Accelerator(Convolutional Neural Networks Accelerator)’를 활용해 자체적으로 AI 구동이 가능하다.

 

 

CNN Accelerator는 에너지 소비 및 지연 최소화를 위해 설계된 칩으로, MCU 종류에 상관 없이 최소한의 간섭만 실행하도록 해 효율성을 높였다. 에너지와 시간은 CNN을 구현하는 수학적 연산에만 소모되며, 외부 데이터를 CNN 엔진으로 확보하는 데는 초저전력 ARM 코텍스(Cortex)-M4 코어나, 상대적으로 낮은 전력의 RISC-V 코어가 사용된다.

 

최 FAE는 “CNN Accelerator는 MAX7800x 시리즈의의 효율 최적화에 기여하는 핵심 부품”이라고 피력했다.

 

한편, 이날 행사는 김재일 쿨링크래프트(Cooling Craft) 사장이 ‘제조 장비산업의 Edge AI 적용’ 발표 세션에서 설비 예지보전 영역에서의 온디바이스 AI를 소개했다. 또 김영윤 WT Korea FAE는 MCU 파워(Power) 솔루션에 대해 설명하는 시간도 이어졌다.

 

헬로티 최재규 기자 |