#AI의료기기 (2)


클라우드는 잊어라! AI와 임베디드가 만난 온디바이스 AI의 혁명

클라우드는 잊어라! AI와 임베디드가 만난 온디바이스 AI의 혁명

인공지능 이야기만 나오면 수천 대의 GPU가 쉼 없이 돌아가는 거대한 데이터센터나 거대한 클라우드 서버를 떠올리시나요? 물론 챗GPT 같은 거대한 초거대 언어 모델(LLM)은 엄청난 클라우드 컴퓨팅 파워가 필수적입니다. 하지만 연구소에서 실제 하드웨어를 주무르고 제품 개발에 열을 올리는 엔지니어들에게 클라우드는 때로 치명적인 단점을 안겨주곤 합니다.네트워크가 끊기면 먹통이 되는 불안정성, 초단위로 변하는 현장에서 수십 밀리초의 지연 시간(Latency)도 허용할 수 없는 답답함, 그리고 민감한 데이터를 외부 서버로 보낼 때 생기는 보안 위험까지! 이런 한계를 싹 날려버리기 위해 등장한 구원투수가 바로 임베디드 시스템과 AI의 결합, Edge AI와 TinyML입니다.거창한 서버 없이 손가락만한 마이크로컨..

AI 반도체 NPU와 GPU의 연산 구조 비교, 왜 AI 시대에는 NPU가 주목받을까?

AI 반도체 NPU와 GPU의 연산 구조 비교, 왜 AI 시대에는 NPU가 주목받을까?

인공지능(AI)이 우리 일상 속으로 빠르게 들어오면서 반도체 기술도 큰 변화를 맞이하고 있습니다. 과거에는 CPU가 대부분의 연산을 담당했고, 이후 그래픽 처리를 위해 GPU가 등장했습니다. 하지만 최근에는 ChatGPT와 같은 생성형 AI, 자율주행, AI 의료기기, 스마트 카메라 등 다양한 분야에서 NPU(Neural Processing Unit)가 핵심 기술로 자리 잡고 있습니다.그렇다면 CPU, GPU, NPU는 무엇이 다를까요? 단순히 성능이 더 좋은 프로세서일까요? 이번 글에서는 연구소 연구직이나 임베디드 개발자를 위한 관점에서 NPU와 GPU의 연산 구조를 쉽고 재미있게 알아보겠습니다.AI 반도체가 필요한 이유컴퓨터는 계산을 매우 빠르게 수행하지만 AI는 기존 프로그램과 조금 다른 방식으로 ..