래티스 반도체(Lattice Semiconductor, 이하 래티스)는 5월 24일 서울 강남구 그랜드인터컨티넨탈 호텔에서 기자간담회를 열고, 방대한 사물인터넷 애플리케이션에 대한 머신러닝 추론의 통합을 가속화하기 위해 하드웨어 키트와 신경망 IP 코어, 소프트웨어 툴, 레퍼런스 디자인, 맞춤형 설계 서비스를 결합한 래티스 sensAI 기술 스택을 소개했다. 이 sensAI 스택은 엣지 컴퓨팅 구현에서 초저전력소비와 소형 패키지 크기, 인터페이스 유연성, 대량생산에서 가격 경쟁력 등의 특징을 제공한다..

래티스의 sensAI 스택은 유연하고 초저전력소비가 특징인 FPGA 하드웨어와 소프트웨어 솔루션을 결합한 완전한 머신러닝 추론 기술 스택을 제공해, 엣지 디바이스에서의 온디바이스 센서 데이터 처리 및 분석 기능의 통합을 가속화한다. 이 스택은 래티스의 ECP5 디바이스 기반 비디오 인터페이스 플랫폼(VIP), iCE40 UltraPlus 디바이스 기반의 모바일 개발 플랫폼(MDP) 등을 하드웨어 플랫폼으로 활용하며, FPGA에 통합할 수 있는 CNN(Convolutional Neural Network), BNN(Binarized Neural Network) 가속기를 소프트웨어 IP 형태로 제공해 활용할 수 있게 했다.

소프트웨웨어 툴 측면에서는 FPGA에 카페(Caffe), 텐서플로우(TensorFlow) 프레임워크를 이용할 수 있게 해주는 신경망 컴파일러 툴과 래티스의 Radiant, Diamond 설계 소프트웨어를 활용해, 표준 프레임워크를 사용해 개발된 네트워크를 RTL 과정을 거치지 않고 래티스의 FPGA에 구현할 수 있게 한다. 레퍼런스 디자인은 안면 인식, 핵심 구문 인식, 물체 카운팅, 안면 추적, 속도 표지 인식 등이 제공되고 있으며, 설계 서비스 파트너 에코시스템을 통해 스마트 홈, 스마트 시티, 스마트 팩토리 등 방대한 시장 애플리케이션을 위한 맞춤 솔루션도 준비되어 있다.


잉 젠 첸(Yong Jen Chen) 래티스 반도체 아태지역 사업개발 담당 시니어 매니저는 이 자리에서, 이미 래티스의 FPGA는 산업용 로봇이나 드론, 보안용 카메라나 AI 스피커 등에서 다양한 센서들의 브릿지와 컨트롤에 폭넓게 활용되고 있다고 소개했다. 그리고 이들 sensAI 스택은 FPGA 기반 시스템에서 센서들이 만드는 데이터를 더욱 정확하고 의미있게 하기 위해, 학습된 데이터를 적용하는 프로세싱 역량을 적용할 수 있는 스택을 제공한다고 밝혔다.

‘인공지능’으로 표현되는 방대한 영역 중 래티스가 주로 다루는 부분은 저전력, 소형 등의 특징을 필요로 하는 ‘엣지 컴퓨팅’ 영역이 꼽혔다. 최근의 엣지 디바이스들은 네트워크 지연이나 대역폭 제한, 데이터 전송에서의 프라이버시 문제 등 현실적인 어려움을 극복하기 위해, 엣지 디바이스 수준에서 수집한 데이터 중 의미있는 데이터만을 취하고, 클라우드를 반드시 거치지 않더라도 엣지 수준에서 상황에 대한 대응을 즉각적으로 할 수 있도록 하는 점 등이 요구된다. 이에 엣지 컴퓨팅은 더욱 스마트해지고 있으며 컴퓨팅 성능도 강화되고, 인공지능의 부상은 이를 더욱 가속화하고 있다고 소개되었다.

산업계에서 머신러닝 기술의 채택이 점점 더 늘어날수록, 네트워크의 지연이나 대역폭 제한, 프라이버시 등은 엣지 컴퓨팅 구축 사례를 증가하게 만드는 요인으로 작용하고 있으며, 인공지능 기능을 지원하는 엣지 디바이스는 향후 5년동안 연간 110% 이상 폭발적인 성장이 예상된다는 시장조사 결과도 발표된 바 있다. 그리고 엣지 컴퓨팅에서의 요구 사항은 ‘초저전력 특성의 유연한 추론’으로 요약되며, 수 mW 수준의 전력 소비와 작은 보드 면적, 저렴한 추가 BOM 비용, 기존 시스템에 쉽게 적용하기 위한 유연한 레거시 인터페이스 지원, 맞춤화된 성능과 정확도 등이 요구된다고 밝혔다.



FPGA를 엣지 디바이스 레벨에서 추론에 활용하는 데 있어 어려움으로는, 프로세싱 코어를 구성하는 데 있어서의 ‘디자인 장벽’이 꼽혔으며, 래티스는 sensAI 스택이 AI 알고리즘 개발자들이 쉽게 FPGA 기반의 가속기들에 접근할 수 있도록 한다고 강조했다. 최근의 데이터 주도 머신러닝을 활용하는 데 있어, 데이터 기반 알고리즘을 만들고 래티스의 블록과 인터페이스를 연결해, 스마트 시스템을 만드는 개발자들이 비교적 쉽게 시스템을 구현 가능한 환경을 제공한다는 것이다.

래티스의 sensAI 스택은 하드웨어 플랫폼과 IP 코어, 소프트웨어 툴, 레퍼런스 디자인과 데모, 맞춤형 설계 서비스 등으로 구성되어, 초저전력과 소형 폼팩터, 맞춤형, 높은 비용 경쟁력 등의 특징을 제공한다. 그리고 이 중 하드웨어 플랫폼에는 저전력과 작은 폼팩터에서 다양한 센서를 연결할 수 있도록 한 iCE40 울트라플러스(UltraPlus) FPGA 기반의 모바일 개발 플랫폼(MDP), 다양한 인터페이스와 더 높은 성능으로 더 복잡한 알고리즘 구현을 가능하게 하는 ECP5 FPGA 기반 비디오 인터페이스 플랫폼(VIP)를 소개했다.

모바일 개발 플랫폼은 수 mW 의 전력 소비를 보이는 iCE40 울트라플러스 FPGA를 기반으로 이미지 센서, 마이크, 나침반, 압력, 자이로 센서 등을 통합하고 있고, 핵심 구문 인식이나 안면, 사물 인식 등 간단한 알고리즘을 바로 구현할 수 있다. 또한 비디오 인터페이스 플랫폼(VIP)는 전력소비가 1W 이하인 ECP5 FPGA를 기반으로 하며, 여러 장의 보드 스택 구성을 통해 MIPI CSI-2, eDP, HDMI, GigE 비전, USB 3.0 등의 인터페이스를 통한 유연한 비디오 연결성을 제공한다. 이와 함께, VIP는 좀 더 강력한 성능을 제공해, 안면, 사물 추적이나 속도 표지 인식, 물체 카운팅 등의 알고리즘을 활용할 수 있다.



IP 코어 스택에서는 소프트웨어 IP 형태로 CNN(Convolutional Neural Network) 가속기와 BNN(Binarized Neural Network) 가속기가 마련되어 있다. 이 중 BNN 가속기는 iCE40 울트라플러스 FPGA에 최적화되어 있으며, 1bit 가중치, 1bit 활성 양자화를 지원한다. 또한 CNN 가속기는 ECP5 FPGA 에 최적화되어 있으며, 가중치와 활성화를 위한 가변 양자화를 제공하는 것이 특징이다.

소프트웨어 툴에서 ‘신경망 컴파일러 툴’은 카페(Caffe)나 텐서플로우(TensorFlow) 등 표준 프레임워크를 사용해 개발된 네트워크를 RTL 과정을 거치지 않고 FPGA에 구현할 수 있게 해 준다. 또한 래티스 sensAI IP 코어 상에 구현하기 위해 CNN/BNN 분석, 시뮬레이트, 컴파일 작업을 신속하게 처리한다고 소개되었다. 이 외에도 CNN, BNN 가속기 IP와 시스템 인터페이스들을 RTL 과정을 거쳐, 래티스의 래디언트(Radiant), 다이아몬드(Diamond) 설계 소프트웨어를 통해 적용할 수도 있다.

레퍼런스 디자인과 데모에서는 iCE40 울트라플러스 FPGA 기반에서 핵심 구문 인식, 안면, 사물 인식 등의 애플리케이션을 1~10mW 정도의 초저전력소비로 구현하고, ECP5 기반에서 안면, 사물 추적, 속도 표지 인식, 물체 카운팅 등의 애플리케이션을 1W 정도의 저전력으로 구현했다고 소개했다. 이와 함께, 설계 서비스 파트너 에코시스템을 통해 스마트 홈, 스마트 시티, 스마트 팩토리 등의 방대한 시장 애플리케이션을 위해 신경망 훈련과 개발, 전통적인 RTL 설계 전문성, 맞춤형 데모 및 솔루션 등을 제공하고 있다고 덧붙였다.

한편 래티스의 sensAI는 1mW 이하의 초저전력 애플리케이션에서 1W 수준에 이르기까지, 로우엔드에서 미드레인지 정도까지의 영역을 대상으로 하는 것으로 소개되었으며, 저전력과 유연성 등에서의 장점이 있는 것으로 소개되었다. 또한 다른 영역의 성능 측면의 장점과 sensAI가 가진 저전력 등의 장점을 모두 얻기 위한 ‘컴패니언 칩’ 형태의 구성도 구현할 수 있다고 설명했다.

Copyright ⓒ Acrofan All Right Reserved.