The next generation of neural networks could live in hardware
차세대 AI 시스템 신경망은 하드웨어에 직접 탑재되나
스탠퍼드 대학 연구팀이 논리 게이트를 이용해 신경망을 구축함으로써 에너지 소비량을 대폭 줄이는 방법을 알아냈다.
컴퓨터 칩 하드웨어에 직접 프로그래밍된 네트워크는 현대 인공지능(AI) 시스템의 기반이 되는 기존의 신경망보다 고속으로 이미지를 인식할 수 있고, 에너지도 훨씬 더 적게 소비하는 것으로 나타났다. 이 같은 연구 결과는 최근 밴쿠버에서 열린 머신러닝 분야의 주요 콘퍼런스인 ‘신경정보처리시스템 콘퍼런스((NeurIPS Conference)’에서 소개됐다.
GPT-4에서 스테이블 디퓨전(Stable Diffusion)까지 AI 시스템 신경망은 인간의 뇌 내 뉴런을 고도로 단순화시킨 시뮬레이션인 퍼셉트론(perceptron)을 상호 연결하여 구축한다. 다만 퍼셉트론이 대규모로 결합되면 강력한 성능을 발휘하지만 엄청난 에너지를 소비하는 단점이 있다. 이로 인해 최근 마이크로소프트는 자사의 AI 개발을 위해 과거 미국 내 최악의 원전 사고가 발생했던 스리마일섬의 발전소를 재가동하는 계약을 체결했다.
이런 문제가 생기는 원인 중 하나는 퍼셉트론이 단순히 소프트웨어를 추상화한 것일 뿐이라는 데 있다. GPU에서 퍼셉트론 네트워크를 실행하려면 해당 네트워크를 하드웨어 언어로 변환해야 하는데, 이 과정에서 시간과 에너지가 많이 소모된다. 하지만 네트워크를 하드웨어 구성 요소로 직접 구축하면 이러한 비용을 크게 낮출 수 있다. 미래에 이러한 네트워크가 스마트폰 같은 기기에 사용되는 칩에 직접 내장되면 데이터를 서버로 송수신해야 할 필요성이 획기적으로 줄어들지 모른다.