fbpx
How to run an LLM on your laptop

노트북에서 대형언어모델을 실행하는 방법

안전하고 편안한 개인 컴퓨터에서 유용한 모델을 실행하는 방법을 소개한다.

언어모델과 소프트웨어 개발에 관한 인기 블로그를 운영하는 사이먼 윌리슨(Simon Willison)에게는 세계 종말을 대비한 계획이 있다. 바로 USB 메모리다. 윌리슨은 이 USB 메모리에 가장 좋아하는 대형언어모델(LLM) 몇 개를 저장해 놓았다. 개발자들이 공개적으로 공유한 이 모델들은 사용자가 로컬 하드웨어에 다운로드하여 실행할 수 있다. 인류 문명이 붕괴한다면, 윌리슨은 이 모델들의 수십억 파라미터에 저장된 모든 지식을 활용해 도움을 줄 계획이다. 그는 “LLM은 매우 압축되어 있는 이상한 위키피디아와 비슷하기 때문에 이 USB 메모리가 있으면 사회를 재건하는 데 도움이 될 것”이라고 말했다.

그러나 세계 종말에 대비해 윌리슨이 개인 기기에서 홀로 LLM을 실행할 필요는 없을 것이다. 윌리슨 외에도 개인 기기, 즉 로컬 환경에서 실행하는 ‘로컬 LLM’에 관심 있는 사람들이 많다. 로컬 LLM에 관한 레딧의 소모임(r/LocalLLaMA) 회원은 50만 명에 이른다.

개인정보 보호 문제를 걱정하는 사람들, 대형 LLM 기업들의 통제에서 벗어나고 싶은 사람들, 또는 단순히 새로운 실험을 좋아하는 사람들에게 자신의 기기에서 실행하는 로컬 모델은 챗GPT를 비롯한 웹 기반의 모델들 대신 사용할 수 있는 매력적인 대안이다.

MIT 테크놀로지 리뷰와 함께, 미래를 앞서가세요 !!
한달에 커피 2잔값으로 즐기기
온라인 멤버
지면 매거진 멤버
(온라인+지면) 프리미엄 멤버

유료회원 플랜 보기 회원이면 로그인하기 회원가입

회원 가입 후 유료 구독 신청을 하세요 !!