LMArena
| LMArena | |
|---|---|
 2025년 2월 20일 기준 그레이디오 라이브러리를 사용한 스크린샷 | |
| 사이트 종류 | 인공지능 |
| 회원 가입 | 선택 사항 |
| 소유자 | LMSYS Org |
| 시작일 | 2023년 5월 3일 |
| 웹사이트 | lmarena |
| 설립자 |
|
LMArena(이전 이름: 챗봇 아레나, Chatbot Arena)는 익명의 크라우드 소싱 쌍별 비교를 통해 대형 언어 모델 (LLM)을 평가하는 공개 웹 기반 플랫폼이다. 사용자들은 두 개의 익명 모델에 프롬프트를 입력하여 응답을 받고, 더 나은 응답을 제공한 모델에 투표하면 모델의 정체가 공개된다. 사용자들은 직접 테스트할 모델을 선택할 수도 있다.[1][2]
LMArena는 인공지능 산업에서 인기가 많으며, 주요 기업들은 오픈AI의 GPT-4o 및 o1, 구글 딥마인드의 제미나이[3], 앤트로픽의 클로드[4]와 같은 대형 언어 모델을 제공하고, 그 후속 순위를 사용하여 홍보한다.
이 웹사이트는 출시 예정인 모델들의 미리 보기에도 사용되었다. 특히 중국 회사 딥시크는 R1 모델이 서구 언론의 주목을 받기 몇 달 전에 LMArena에서 프로토타입 모델을 테스트했다.[5] 다른 주목할 만한 사전 출시 모델로는 코드명 "서밋"으로 알려진 오픈AI의 GPT-5와 코드명 "Nano Banana"로 알려진 이미지 생성 및 편집 모델인 구글 딥마인드의 제미나이 2.5 플래시 이미지(Gemini 2.5 Flash Image)가 있다.[6][7]
LMArena의 대형 언어 모델 평가 방법론은 학술 분석에서 검토되었으며, 특정 한계를 식별하고 개선할 영역을 제안했다. 이 플랫폼은 AI 연구 생태계의 활발한 기여자이며, 정책 업데이트를 통해 진행 중인 연구와 협력하여 방법론적 업데이트를 구현했다.[8][9]
각주
[편집]- ↑ Hart, Robert (2024년 7월 18일). “What AI Is The Best? Chatbot Arena Relies On Millions Of Human Votes”. 《포브스》. 2025년 4월 21일에 확인함.
- ↑ Kruppa, Miles (2024년 12월 5일). “The UC Berkeley Project That Is the AI Industry's Obsession”. 《월스트리트 저널》. 2025년 4월 21일에 확인함.
- ↑ Nuñez, Michael (2024년 11월 15일). “Google Gemini unexpectedly surges to No. 1, over OpenAI, but benchmarks don't tell the whole story”. 《벤추어비트》. 2025년 4월 21일에 확인함.
- ↑ Edwards, Benj (2024년 3월 27일). “"The king is dead"—Claude 3 surpasses GPT-4 on Chatbot Arena for the first time”. 《아르스 테크니카》. 2025년 4월 21일에 확인함.
- ↑ Metz, Rachel (2025년 2월 18일). “Before DeepSeek Blew Up, Chatbot Arena Announced Its Arrival”. 《블룸버그 뉴스》. 2025년 4월 21일에 확인함.
- ↑ Ziff, Maxwell (2025년 8월 26일). “Google Gemini's AI image model gets a 'bananas' upgrade”. 《테크크런치》. 2025년 8월 27일에 확인함.
- ↑ Langley, Hugh (2025년 8월 19일). “Is Google behind a mysterious new AI image generator? These bananas might confirm it”. 《비즈니스 인사이더》. 2025년 8월 27일에 확인함.
- ↑ Stokel-Walker, Chris (2025년 2월 6일). “Hundreds of rigged votes can skew AI model rankings on Chatbot Arena, study finds”. 《패스트 컴퍼니》. 2025년 4월 21일에 확인함.
- ↑ Wiggers, Kyle (2024년 9월 5일). “The AI industry is obsessed with Chatbot Arena, but it might not be the best benchmark”. 《테크크런치》. 2025년 4월 21일에 확인함.
외부 링크
[편집]- LMArena - 공식 웹사이트