|
LLaMA Large Language Model Meta AI |
|
| 공개일 | 2023년 2월 24일 |
| 제작사 | 메타 |
| 기능 | 언어 모델 |
| 인프라 | NVIDIA GPU, MTIA 등 |
| 링크 |
|
[clearfix]
1. 개요
LLaMA는 메타의 오픈소스 언어 모델이다.2. 제품
2.1. LLaMA-1
2023년 2월 24일에 공개했다. 매개변수는 70억부터 650억 개 버전까지 존재한다. 학계를 대상으로 오픈소스로 공개하면서 알파카, 비쿠냐 등 수 많은 파생형 모델들의 탄생에 기여했다.2.2. LLaMA-2
2023년 7월 18일에 공개되었다. 매개변수는 70억개부터 시작하지만, 상당히 고성능인 700억 개 짜리 모델까지 학계뿐만 아니라 기업 등 상용으로도 공개하여 큰 주목을 받고 있다. 특히 마이크로소프트와 우선 계약을 체결하여 큰 화재를 모았는데, 메타와 마이크로소프트 둘 다 2010년대 중반까지만 해도 상당히 폐쇄적인 운영을 해왔기에 개발자들이 놀라고 있다.[1][2]
2.3. LLaMA-3
2024년 4월 18일 공개되었다. 우선적으로 매개변수 80억개와 700억개 버전을 풀었으며, meta.ai를 통해 영미권 국가들을 우선 대상으로 인스타그램 등 자사 플랫폼에 챗봇이 도입된다.2.3.1. LLaMA-3.1
2024년 7월 23일에 공개되었다. 8B, 70B, 405B로 총 3가지 크기의 모델이 출시되었으며, 8개 언어와 도구 사용을 지원한다. 이 중 가장 큰 405B 모델은 GPT-4o, Claude 3.5 Sonnet과 견줄만한 성능을 갖추었다. 컨텍스트 창은 50페이지 분량인 12만 8000 토큰을 지원한다.2.3.2. LLaMA-3.2
2024년 9월 26일에 공개되었다. 1B, 3B의 라이트 모델과 이미지 인식이 가능한 11B, 90B의 멀티모달 모델을 출시했다. 이중에서 11B는 Claude 3.0 Haiku와 벤치마크 스코어가 비슷하고, 90B 버전은 GPT-4o mini 버전과 비슷하다.2.4. 파생형 모델
3. 인프라
원래 엔비디아의 GPGPU 자원을 통해 인프라를 구축했으나, 생산 차질로 인한 공급 이슈와 높은 가격, 비효율적인 전력 소모를 이유로 2023년 5월에 자사 첫 인공지능 가속기인 MTIAv1을 공개하면서 ASIC 방식 개발에 열을 올리고 있다. 연산 칩을 RISC-V 기반으로 커스텀 설계하여 64개의 각 그리드별로 다른 연산을 동시에 수행할 수 있다. 또한 SRAM을 캐시처럼 활용하는 방식을 택했고, 오프칩은 LPDDR5 DRAM을 탑재했다. 소프트웨어도 CUDA를 벗어나, 자사 라이브러리인 PyTorch를 통해 컴파일러, 커널, 스트리밍API, 드라이버까지 독자 생태계 구축을 가속화시키고 있다.4. 학습 데이터
1조 4,000억 개의 토큰으로 학습되었다고 한다. 페이스북, 인스타그램 등 자사 패밀리앱 외에도 웹스크래핑/크롤링, 깃허브 코드, 위키피디아 텍스트, 퍼블릭 도메인 서적, LaTeX 코드로 작성된 논문, 질문질답 텍스트 등으로 학습되었다고 한다.
[1]
마이크로소프트는
스티브 발머 시절에 모바일 시장에서 쓴 맛을 보며 정체기를 맞았는데,
사티아 나델라 재임 이후 주력 사업을
클라우드 컴퓨팅으로 전환하면서
깃허브를 인수하는 등 직면한 위기를 타개하기 위해 오픈소스로 전환한다. 2020년대에도 직접적인 연구개발보다는
OpenAI,
Inflection AI 등에 투자하는 방식을 통해 자사 제품을 결합시키고 있다.
[2]
메타도
생성형 인공지능 분야에서
OpenAI,
구글에게 뒤쳐지면서 라마를 오픈소스화하기로 전략 선택한 것이다. 후발주자인 만큼, 오픈소스를 통해 빠른 생태계 확장을 추구한다.