AI 채팅 | 구독자 4명 | 폴아웃고수가될거야

Meta, Llama 3.1 출시: 오픈 소스 AI의 새로운 시대를 열다

Meta가 Llama 3.1을 공개했습니다. Llama 3.1은 전례 없는 성능과 유연성을 자랑하며, 오픈 소스 AI 모델의 한계를 뛰어넘는 새로운 기준을 세웠습니다. 여기서는 이번 릴리스의 주요 내용을 소개합니다.


핵심 요약

  • 오픈 소스 AI의 중요성: Meta의 Mark Zuckerberg는 오픈 소스가 개발자, Meta, 그리고 전 세계에 미치는 긍정적 영향을 강조하며, 누구나 접근 가능한 AI 개발의 중요성을 설명합니다.

  • 주요 특징:

    • Llama 3.1 405B: 세계 최대 규모의 오픈 소스 AI 모델로, 무려 4050억 개의 매개변수를 가지고 있습니다.
    • 128K 컨텍스트 길이: 더 길고 복잡한 문맥을 이해할 수 있도록 컨텍스트 길이를 대폭 확장했습니다.
    • 8개 언어 지원: 다국어 지원을 통해 글로벌 사용자를 위한 활용도를 높였습니다.
    • Llama Guard 3 및 Prompt Guard: 강화된 보안 및 안전 도구로 책임 있는 AI 개발을 지원합니다.
  • 광범위한 파트너십: AWS, NVIDIA, Databricks, Dell, Google Cloud 등을 포함한 25개 이상의 파트너와 협력하여 생태계를 확장합니다.


Llama 3.1의 혁신

성능 및 기능:

  • 405B 모델: GPT-4 및 Claude 3.5 Sonnet과 경쟁할 수 있는 능력을 갖추고 있으며, 광범위한 도구 사용과 다국어 번역 능력을 보유하고 있습니다.
  • 업그레이드된 8B 및 70B 모델: 더 긴 컨텍스트와 향상된 추론 능력을 통해 긴 텍스트 요약, 다국어 대화형 에이전트, 코딩 도우미 등 다양한 고급 사용 사례를 지원합니다.

모델 아키텍처:

  • 대규모 훈련: 16,000개의 H100 GPU를 사용하여 15조 개 이상의 토큰으로 훈련했습니다.
  • 양자화 기술: 16비트에서 8비트로 모델을 양자화하여 컴퓨팅 요구 사항을 줄이고 단일 서버 노드에서 실행할 수 있도록 했습니다.

안전성과 책임성:

  • Llama Guard 3 및 Prompt Guard: 다국어 안전 모델과 프롬프트 주입 필터를 포함한 새로운 구성 요소를 통해 AI의 안전한 사용을 보장합니다.
  • 커뮤니티 피드백: GitHub에서 Llama Stack에 대한 의견을 수렴하여 더 나은 인터페이스를 구축하고 있습니다.

커뮤니티와의 협력

Meta는 Llama 3.1을 통해 개발자들이 새로운 워크플로우를 열 수 있도록 지원합니다. 예를 들어:

  • 합성 데이터 생성: 작은 모델의 훈련을 개선하기 위한 합성 데이터 생성.
  • 모델 증류: 대규모 모델의 성능을 작은 모델로 전달하는 기술.

Llama 3.1은 다양한 파트너들과의 협력을 통해, 개발자들이 즉시 활용할 수 있는 도구와 지원을 제공합니다. AWS, NVIDIA, Dell 등의 파트너는 클라우드 및 온프레미스 환경에서 저지연 추론을 최적화했습니다.


마무리

Llama 3.1의 출시로 Meta는 오픈 소스 AI의 새로운 시대를 열고 있습니다. 이 강력한 모델을 통해 개발자들은 혁신적인 애플리케이션과 솔루션을 개발할 수 있으며, 더 나은 성능과 유연성을 경험할 수 있습니다. Meta는 커뮤니티와 함께 Llama 3.1을 책임감 있게 발전시키고, AI 기술을 전 세계에 더 널리 보급할 수 있기를 기대합니다.

Llama 3.1에 대한 자세한 내용은 ai.meta.com에서 확인해 보세요.


(여기까지는 gpt-4o로 작성되었습니다.)



img/24/07/24/190e19f90544dabb8.png


img/24/07/24/190e19fab4d4dabb8.png


img/24/07/24/190e19fc1dc4dabb8.png

제가 제일 중요하게 보는 코딩과 추론 능력에서는 여전히 3.5 sonnet이 1등이지만, 유저평가에서는 llama 3.1이 sonnet을 이겼다는 점도 흥미롭습니다. gpt-4o는 여기서도 여전히 유저평가에 강한 모습을 보여주고 있구요.. 만약 llama 3.1 405b를 직접 써보고 싶은 일반 유저분들은 https://www.perplexity.ai (구독 필요) 아니면 https://abacus.ai/ (구독 필요) 아니면 https://huggingface.co/chat/models/meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 에서 영어로 써보실 수 있습니다.(llama 3.1에서 한국어는 지원되지 않습니다.) 96gb나 128gb 통합메모리의 맥북을 가지고 계신 분들은 70b모델을 로컬로 구동하실수 있으니 전문지식이 있다면 해보시는것도 괜찮을 것 같네요.


로그인이 필요합니다.
루리웹 오른쪽
루리웹 유머
루리웹 뉴스 베스트
PC/온라인
비디오/콘솔
모바일

루리웹 유저정보 베스트