“더 많이 배워 더 똑똑하다” 메타의 최신 LLM ‘라마 3’ 뜯어보기

페이스북, 인스타그램, 왓츠앱의 모기업인 메타가 오픈AI, 미스트랄(Mistral), 앤트로픽(Anthropic), 일론 머스크의 xAI 등 모든 모델 제공업체와의 경쟁에서 생성형 AI 시장 점유율을 키우기 위해 오픈소스 LLM 라마(Llama)의 차세대 버전을 최근 출시했다. 
 

메타는 블로그 게시물에서 "차세대 라마는 광범위한 업계 벤치마크에서 최첨단 성능을 입증하며, 향상된 추론 기능을 포함한 새로운 기능을 제공한다. 동급 최고의 오픈소스 모델이라고 믿는다. 라마 3를 통해 현재 사용할 수 있는 최고 성능의 독점 모델과 동등한 수준의 오픈소스 모델을 구축하기 시작했다"라고 말했다. 

메타는 사전 훈련과 미세 조정을 거친 라마 3을 80억 개(8B) 및 700억 개(70B) 파라미터 버전으로 공개했다. 일반적으로 모든 LLM 제공업체는 기업이 사용례에 따라 지연 시간과 정확도 중에서 선택할 수 있도록 여러 가지 변형 모델을 출시한다. 파라미터가 많은 모델은 상대적으로 더 정확할 수 있으며, 파라미터가 적은 모델은 계산이 덜 필요하고 응답에 걸리는 시간이 짧아 비용이 적게 든다. 

메타에 따르면, 이번에 공개된 변형 모델은 텍스트 기반 모델이며, 다른 형태의 데이터는 지원하지 않는다. 추론 및 코드 관련 작업과 같은 기능 전반의 성능을 개선하기 위해 향후에는 더 긴 컨텍스트를 지원하고 다국어 및 다중멀티 모달 모델을 출시할 예정이다. 

벤치마크로 보는 라마 3

메타는 라마 3이 GPT-4를 제외한 대부분 다른 LLM보다 성능이 더 우수하다고 주장했다. "훈련 후 절차를 개선하면서 오답률이 크게 줄었고, 정확도가 향상됐으며, 응답 다양성이 증가했다. 또한 라마 3의 조정성을 높여 추론, 코드 생성, 지시를 따르는 기능도 크게 향상됐다"라고 회사 측은 덧붙였다. 
 

메타는 다른 모델과 라마 3를 비교하기 위해 MMLU(Massive Multitask Language Understanding), GPQA(Graduate-Level Google-Proof Q&A Benchmark), MATH, 휴먼이벨(HumanEval), GSM-8K와 같은 표준 벤치마크에 대한 테스트를 실시했다. 그 결과, 라마 3은 미스트랄, 클로드 소네트, GPT 3.5 등 대부분 LLM보다 점수가 더 높았다는 설명이다. 

MMLU는 사전 학습 과정에서 습득한 지식을 측정하기 위해 고안된 벤치마크이며, GPQA는 복잡한 과학 문제를 해결하는 모델의 전문성을 확인하기 위한 테스트다. GPAQ는 생물학, 물리학, 화학 등 분야별 전문가가 작성한 448개의 객관식 문제로 구성된 고난도 데이터셋으로, 해당 분야 박사학위 소지자의 정답률은 65%에 불과하다. 

작년 11월 발표된 논문에 보고된 데이터에 따르면, GPAQ 시험에서 GPT-4의 정확도는 39%로 가장 높은 점수를 기록했다. 700억 매개변수 버전의 라마 3는 39.5점, 80억 매개변수 버전의 라마 3은 34.2점을 기록했다. 하지만 현재 GPQA 벤치마크에서 가장 높은 점수를 받은 것은 41.5점을 받은 제미나이프로(GeminiPro) 1.5다. 제미나이프로 1.5는 MATH 벤치마크 테스트에서도 더 큰 규모의 라마 3 변형을 제쳤다. 

회사에 따르면 벤치마크 전반에 걸쳐 평가에 사용된 데이터 세트에는 조언 구하기, 브레인스토밍, 분류, 비공개 질문 답변, 코딩, 창의적 글쓰기, 추출, 캐릭터/인물 만들기, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용례에 해당하는 약 1,800개의 프롬프트가 포함되어 있다. 메타 측은 "해당 평가 세트에 대한 모델의 우발적인 과적합을 방지하기 위해 자체 모델링팀조차도 평가 세트에 액세스할 수 없다"라고 부연했다.

과적합 현상은 ML 또는 모델 학습에서 모델이 학습 데이터에서는 잘 작동하지만, 테스트 데이터에서는 작동하지 않는 것을 말한다. 모델이 학습 데이터를 너무 잘 학습해 데이터의 노이즈와 예외까지 학습하거나 새로 추가되는 데이터에 적응하지 못할 때 발생한다. 학습 데이터가 너무 작거나 관련 없는 정보가 포함돼 있거나, 모델이 단일 샘플 세트를 너무 오랫동안 학습할 때 발생할 수 있다. 데이터 전문가는 모델 훈련을 시작할 때마다 모델 성능을 확인하기 위해 훈련 데이터와 테스트 데이터를 위한 2개의 데이터 세트를 별도로 보관해야 한다.

휴먼이벨(HumanEval), GSM-8K 벤치마크는 각각 코드 생성 및 산술 추론 테스트에 사용된다.

라마 3, 이전 버전과 어떻게 다른가

메타는 라마 3이 표준 디코더 전용 트랜스포머 아키텍처를 채택하는 등 많은 개선이 이루어졌다고 밝혔다. 블로그에 따르면, 라마 3은 언어를 훨씬 더 효율적으로 인코딩하는 128K 토큰 어휘의 낱말 분석기(tokenizer)를 사용해 모델 성능을 크게 향상했다"라고 설명했다. 

라마 3 모델의 추론 효율을 개선하기 위해 메타는 8B와 70B 버전 모두에 GQA(Grouped Query Attention)를 채택했다. 메타는 "셀프 어텐션(self-attention)이 문서 경계를 넘지 않도록 마스크를 사용해 8,192개의 토큰 시퀸스에 대해 모델을 훈련했다"라고 덧붙였다. 

다른 개선 사항으로는 라마 3의 훈련 데이터 세트가 라마 2 훈련에 사용된 데이터 세트보다 7배 더 크다는 점이다. 라마 3는 공개적으로 사용 가능한 소스에서 수집한 15조 개 이상의 토큰으로 사전 훈련됐다. 

또한 메타는 라마 3을 고품질 데이터로 학습시키기 위해 휴리스틱 필터, NSFW 필터, 시맨틱 중복 제거 접근법, 텍스트 분류기 사용을 포함한 일련의 데이터 필터링 파이프라인을 개발했다. 라마 3을 구동하는 텍스트 품질 분류기 학습 데이터를 생성할 때는 고품질 데이터 식별에 능숙한 라마 2를 사용했다.

메타는 라마 3의 훈련 시간을 라마 2보다 95% 단축하기 위해 오류 감지, 처리, 유지보수를 자동화하는 고급 훈련 스택을 사용했다. 뿐만 아니라 하드웨어 안정성과 조용한 데이터 손상에 대한 탐지 메커니즘을 크게 개선했으며, 체크포인트와 롤백의 오버헤드를 줄여주는 새로운 확장형 스토리지 시스템을 개발했다. 라마 3 훈련은 2개의 맞춤형 24K GPU 클러스터에서 실행됐다. 

퓨처럼 그룹(The Futurum Group)의 앱 개발 및 현대화 실무 책임자인 폴 나샤와티는 강화된 보안 기능을 포함한 모든 개선과 발전의 조합이 오픈AI의 챗GPT, 미스트랄의 르챗(Le Chat), 구글의 제미나이, xAI의 그록(Grok)과 같은 경쟁 모델과 차별화된다며, "메타가 라마 3에서 취한 접근 방식은 인간 상호 작용을 더 잘 이해하고 탐색할 수 있는 뚜렷한 길을 제시할 수 있다"라고 말했다. 

라마 3의 기타 기능

메타는 2가지 변형의 라마 3를 출시하면서 라마 가드 2(Llama Guard 2), 코드 쉴드(Code Shield), 사이버 보안 평가 기준 2(CyberSec Eval 2)와 같은 새로운 신뢰 및 안전 툴을 도입한다고 밝혔다. 

라마 가드 2는 개발자가 모델이 의도한 가이드라인에 맞지 않는 결과물을 생성할 가능성을 줄이기 위해 추가 계층으로 사용할 수 있는 보호 모델이다. 코드 쉴드는 잠재적으로 안전하지 않은 코드를 생성할 가능성을 줄이는 데 도움이 되는 개발자 대상 툴이다. 

사이버 보안 평가 기준은 개발자가 LLM에서 생성된 코드의 사이버보안 위험을 평가할 수 있도록 설계된 툴로, 라마 3 출시와 함께 새로운 기능이 추가됐다. 메타는 "안전하지 않은 코딩 관행에 대한 기존 평가 외에도 프롬프트 인젝션에 대한 LLM의 취약성, 자동화된 공격 사이버보안 기능, 코드 인터프리터 악용 성향 등을 측정함으로써 이전 버전보다 확장됐다"라고 설명했다.

새로운 LLM의 성능을 보여주기 위해 페이스북, 인스타그램, 왓츠앱 플랫폼을 통해 액세스할 수 있는 새로운 AI 어시스턴트 '메타 AI(Meta AI)'도 출시됐다. 사용자는 웹페이지를 통해 메타 AI에 접근할 수 있다. 

현재 메타는 4,000억 개(400B)가 넘는 매개 변수를 보유한 라마 3의 변형 버전을 개발하고 있다. 몇 달 내에 학습이 완료되면 출시된다. 현재 출시된 라마 3 모델은 AWS, 허깅 페이스, IBM 왓슨X, 마이크로소프트 애저, 구글 클라우드, 엔비디아 NIM에서 사용할 수 있다. 데이터브릭스, 캐글, 스노우플레이크와 같은 다른 공급업체에서도 최신 모델을 제공할 예정이다. AMD, AWS, 델, 인텔, 엔비디아, 퀄컴이 학습, 추론 및 AI 관련 작업을 위한 하드웨어 측면에서 라마 3를 지원한다.
editor@itworld.co.kr