SOTA Leaderboard
Current state-of-the-art holders across every tracked benchmark.
Leaderboard Rankings
External leaderboard snapshots for context.
Recent Changes
What was added or updated in the last few days.
GraphRAG — Semantic Search & Relationship Tracing
Knowledge graph over the dashboard's entire entity set — every model, benchmark, vendor, and category — with relationships
(SCORED_ON, TOP_RANKED_ON, MAKES, IN_CATEGORY, BENCH_RELATED, SAME_VENDOR_FAMILY).
Search is BM25 over the union of name / vendor / category / description / metric text, then each result expands its 1-hop neighborhood so you can trace context without leaving the page.
SOTA Score Trend
Model Rankings
Choose a benchmark above to see model rankings for that dataset.
Category Radar
Choose a benchmark above to see how top models compare across related benchmarks.
Cross-Benchmark Heatmap
Choose a benchmark above to build a cross-benchmark model × score matrix.
SOTA Handover Log
Who was SOTA yesterday vs today — collected from daily snapshots.
Cross-Benchmark Correlation
Pearson correlation between the 15 most-covered benchmarks. Higher = models that do well on one do well on the other. Computed over shared models only (N ≥ 5).
Intelligence vs Price
Artificial Analysis Intelligence Index vs output price (USD / 1M tokens). Points toward the upper-left are the best value for their tier. Log-scale price axis.
SOTA Highlights — Recent Champions
Top SOTA-holding scores across all benchmarks, sorted by recency. Click any row to open the model.
All Benchmarks SOTA Overview
Top SOTA scores across all tracked benchmarks. Each line is one benchmark's all-time best.
💰 Price vs Performance
모델별 토큰 가격(X축) 대비 성능(Y축). 점=모델 버전, 선=같은 계열의 출시순 궤적(업데이트별 가격·성능 변화). 기간 슬라이더로 최근 N개월 출시 모델만 필터. 다양한 리더보드(OpenRouter · Artificial Analysis · llm-stats)에서 가격 수집. 점 클릭 시 상세정보.
X = 가격(로그) · Y = 지표 내 상대 위치(최저→최고, 낮을수록 좋은 지표는 뒤집음) · Z = 성능 지표. 드래그: 회전 · 클릭 후 휠: 확대 · 우클릭 드래그: 이동 · ←/→: 지표 이동 · Space: 자동 투어 · 다른 층의 점 클릭: 그 지표로 이동 · 현재 층의 점 클릭: 모델 상세. 위의 가격 기준·기간·개발사·국가 필터가 그대로 적용됩니다.
X = 모델(가격순, 바닥 줄무늬 = 가격대) · Z = 지표 (맨 앞 ★ 종합 = 보유 지표 평균 백분위) · 높이 = 지표 안 백분위 (↓ 표시 지표는 낮을수록 좋음 → 뒤집음). 막대에 올리면 해당 모델 열과 지표 행이 강조되고 강점·약점이 나옵니다. 드래그: 회전 · 클릭 후 휠: 확대 · 우클릭 드래그: 이동 · 클릭: 모델 상세. 위의 가격 기준·기간·개발사·국가 필터가 그대로 적용됩니다.
가격대별 요약
📋 모델별 가격표 (컬럼 헤더 클릭 시 정렬 · 모델명 클릭 시 상세)
🚀 Frontier Version-Up Timeline
프론티어 모델만 대상으로, Y축=개발사 · X축=출시일로 각 개발사가 어떻게 version-up 해왔는지 추이를 보여줍니다. 점=모델 출시, 선=시간순 버전 진행. 점 hover 시 모델명/날짜.
6-Month Release Timeline
최근 6개월간 모델 출시를 월 단위 컬럼으로 분할한 인포그래픽. 정확한 출시일 기준으로 위→아래 정렬, 같은 월은 동일 색상 계열, 카드 클릭 시 상세 모달.
월별 색상: Jan · Feb · Mar · Apr · May · Jun · Jul · Aug · Sep · Oct · Nov · Dec
Model Release Timeline (Full List)
All tracked models ordered by 실제 출시일 (vendor announcement date). Click any row to open the model.
Frontier Model Comparison — Core Benchmarks from System Cards
PDF System Card / Model Card / 논문에서 공통적으로 사용하는 핵심 벤치마크로 최신 frontier 모델 비교
Cost vs Quality — Pareto Frontier
X = blended cost (input + 5×output per 1M tokens, USD). Y = Intelligence Index (Artificial Analysis) or Arena Elo / 100. The line connects the Pareto-optimal models — every point not on the line is dominated by another in BOTH cost and quality.
Core Benchmarks 선정 기준
17개 PDF/model card 문서(Claude Opus 4.6 / 4.7 / Mythos Preview System Cards, GPT-5.3-Codex / GPT-5.4 Thinking / GPT-5.5 System Cards, Gemini 3 Pro Model Card, Kimi K2.5 Tech Report / Safety Eval, GLM-5 paper, EXAONE 4.5 · Solar Open · A.X K1 · Mi:dm K · ERNIE 5.0 technical reports, DeepSeek V4-Pro Tech Report)에서 2개 이상 문서에 공통 사용된 벤치마크 + 2026-04 frontier 런칭 블로그(OpenAI GPT-5.5, Kimi K2.6, Qwen3.6-27B) 비교표에 등장하는 벤치마크를 선정.
50+ frontier 모델(GPT-5.5 · Kimi K2.6 · Qwen3.6-27B · DeepSeek V4-Pro · Tencent Hy3-preview · Xiaomi MiMo V2.5 Pro · InclusionAI Ling 2.6 1T/Flash 포함) × 카테고리별 10–30개 벤치마크 (ARC-AGI-3 · GAIA-2 · FrontierScience · Claw-Eval · Codeforces ELO · USAMO 등 신규 추가)를 교차 비교합니다. 컬럼 헤더 클릭으로 정렬, 셀 클릭으로 검증 소스·수집일·변경 이력이 모달로 표시됩니다.
Frontier Performance Suites — 종합 leaderboard
Frontier 모델의 검증된 벤치마크 점수를 8 thematic suite로 분리해 표시 (Heatmap이 카테고리별 selected 벤치만 보이는 데 비해 여기서는 active 벤치 모두 노출): 🧠 Reasoning (GPQA Diamond · HLE · MMLU/MMLU-Pro · SimpleQA Verified · ARC-AGI-1/2/3 · IFBench · LongBench v2 · MRCR · HealthBench 4-suite · LiveBench · Arena Hard v2 · SuperGPQA · GDPval · TriviaQA · SimpleBench) / 🧮 Math (AIME 2024-26 · HMMT 2025/26 · MATH/MATH-500 · GSM8K · IMO-AnswerBench · USAMO · OTIS-AIME · MathArena Apex · FrontierMath) / 💻 Coding (SWE-Verified/Pro/Multilingual/rebench · LiveCodeBench/v6/Elo · HumanEval · MBPP · BigCodeBench · Aider Polyglot · Codeforces · GDPval-AA · WebDev Arena · Monorepo · Expert-SWE · GSO · MLE-Bench · WeirdML · PaperBench · NL2Repo · Vibe Code Bench) / 🖼️ Multimodal (MMMU-Pro · MathVision · CharXiv · Video-MMMU · Video-MME · LongVideoBench · ScreenSpot-Pro · OmniDocBench · DocVQA · ChartQA · AI2D · MathVista · OCRBench · MMBench EN · RealWorldQA · VLMs-Are-Blind · K-MMBench) / 🌐 Multilingual (MMMLU · KMMLU · HAE-RAE · KOBEST · KoMT-Bench · C-Eval · CMMLU · Chinese-SimpleQA · Global PIQA) / 🤖 Agent (Terminal-Bench 2 · τ²/τ³-bench · BrowseComp · OSWorld · MCP-Atlas · DeepSearchQA · Vending-Bench 2 · Apex Hard/Shortlist · WebArena · Toolathlon · GAIA · GAIA-2 · METR · Skills-Bench · ARC-AGI-3 · Claw-Eval · MCPMark · Finance-Agent · QwenWebBench · AndroidWorld) / 🛡️ Cyber Attack (CyberGym · Cybench · CVE-Bench · EVMbench Detect/Exploit · TLO · OpenAI CTF · Firefox 147 · Cyber Range · CyScenarioBench · UK AISI Narrow · FORTRESS · Irregular Atomic 3-suite · AIRTBench) / 🔒 Cyber Defense / Safety (EVMbench Patch · Apollo 5-suite · Dynamic 3-suite · CoT Controllability/Monitorability · Prompt Injection · First-Person Fairness · DFIR-Metric). 모든 score 셀 클릭 → 검증 소스 모달.
Artificial Analysis Cyber Index — 방어형 사이버 종합 지수
취약점 발견 · 재현(PoC) · 패치를 세 평가로 측정 (CWE-Bench-AA · DeepsecBench-AA · CyberGym-E2E-AA, 각 1/3). 안전 거절은 0점으로 계산되며 빗금 = 거절로 잃은 비중. ⚑ = 같은 가중치에 사이버 가드레일을 완화한 신뢰 접근 변형 (OpenAI Daybreak Blue · Anthropic Cyber Verification Program).
방법론 (v1.0)
기본 배포 vs 신뢰 접근 (같은 모델)
Cyber Defense Leaderboards — 1차 보드 비교
보드마다 하네스·과제·채점이 달라 수치를 직접 비교할 수 없으므로 보드별로 따로 표시합니다. 표의 평균 상대순위는 보드별 min–max 정규화 평균(0–100). AA · Vals · Vercel 모두 거절을 실패로 계산합니다.
Cybersecurity Attack Capabilities
CTF 문제 풀이, 취약점 발견/악용, 자동 해킹 능력 평가 (OpenAI 내부 · Irregular · UK AISI 3-tier)
Cyber Defense Capabilities
취약점 발견·자동 패치, 맬웨어 분석, 제로데이 방어 능력 평가 — 차트는 커버리지 상위 14개 헤드라인 지표, 표는 거절률·비용(낮을수록 우수) 포함 전체
Coding Capabilities
실제 SW 엔지니어링, 터미널 자동화, 경쟁 코딩 능력 평가
Agent Capabilities
자율 에이전트, 컴퓨터 사용, 웹 탐색, 도구 활용 능력 평가
Comprehensive Radar — Top Frontier Models
Cyber & Coding Performance Suites — 종합 leaderboard
Cyber·Coding·Agent 영역 전체 벤치마크 점수를 7개 thematic suite로 분리해 표시: 💻 Coding & Software Engineering (SWE-Verified · SWE-Pro · LiveCodeBench · HumanEval+ · MBPP+ · Aider Polyglot · WebDev Arena · Codeforces · GDPval-AA · SciCode · Monorepo-Bench · Expert-SWE · GSO · MLE-Bench · WeirdML · Terminal-Bench 2 · NL2Repo · RepoBench) / 🛡️ Cyber Attack / CTF (Cybench · CyberGym · CVE-Bench · EVMbench Detect/Exploit · TLO · OpenAI CTF · Firefox 147 · Cyber Range · MHBench · AIRTBench · UK AISI Narrow · CyScenarioBench · Irregular Atomic 3-suite · AIxCC) / 🔒 Cyber Defense / Safety (ZeroDayBench · SecRepoBench · EVMbench Patch · DFIR-Metric · Apollo Sabotage/Lying/Eval-Awareness · Dynamic Self-Harm/Mental-Health/Emotional · CoT Controllability/Monitorability · Prompt Injection · First-Person Fairness) / 🤖 Tool-use Agent (τ-bench · τ²-bench · τ³-bench · MCP-Atlas · BFCL V4 · Toolathlon · MCPMark · Finance-Agent · Vending-Bench 2) / 🌐 Web/Computer-use Agent (BrowseComp · OSWorld-Verified · WebArena · DeepSearchQA · METR Time Horizons · QwenWebBench · AndroidWorld · GAIA · GAIA-2 · Apex Hard / Shortlist · Skills-Bench) / 🦾 Robotics Agent (LIBERO 4-suite · ALOHA · RoboCasa · Unitree G1 · GR-1 lang following) / ⚡ Reasoning Agent (ARC-AGI-2 · ARC-AGI-3 · Claw-Eval). 모든 score 셀 클릭 → 검증 소스 모달.
Benchmark Glossary
Cybersecurity Attack
Cyber Defense
Coding
Agent
Sovereign AI — 새 frontier 경쟁의 axis
2026년의 주요 AI 경쟁축은 더 이상 frontier 점수만이 아닙니다. 언어 적응 · 의료 시스템 통합 · 정부 정책 정합은 frontier-only metric으로 측정되지 않는 sovereign value입니다. 본 메뉴는 국가별 sovereign AI ecosystem을 frontier 모델과 함께 비교합니다.
Sovereign AI Map — 국가별 ecosystem
출시 타임라인 — 출시년도 × 파라미터 크기
x축 = 출시일, y축 = 파라미터 크기(B, log scale), 색상 = 국가/region. Sovereign AI 카테고리 모델만 표시 (frontier vendors는 Frontier Compare / Physical AI 탭에서 확인). 버블 hover → 모델명/파라미터/날짜, 버블 클릭 → 모델 상세 모달. 파라미터 미공개 모델은 y축 하단 '?' 트랙에 회색 마커로 표시됩니다.
누적 출시 추이 — 국가별 / 국가-개발사별
각 국가/region 또는 region+vendor의 sovereign 모델 누적 발표 갯수. 그래프 라인 hover 시 시점별 cumulative count 표시. 범례 클릭으로 시리즈 표시/숨김.
국가별 리더보드 경쟁력 & 추이
각 국가의 최고 성적 모델이 프론티어(글로벌 1위) 대비 어디까지 왔고, 시간에 따라 어떻게 변하는지 추적합니다. 지표는 두 그룹: 리더보드·아레나·지수(LMArena·AAII·LiveBench·Epoch ECI·arena.ai WebDev — 글로벌 아레나 등재 모델 중심이라 주로 🇨🇳🇫🇷🇦🇪)와 표준 역량 벤치마크(GPQA·MMLU-Pro·MMLU·AIME·LiveCodeBench·IFEval — 소버린 랩들이 널리 보고해 7~10개국 커버). 프론티어 대비 % 모드는 스케일이 다른 지표를 통일해 비교하고, 원점수 모드는 네이티브 값을, 라인 hover 시 그 시점의 국가 top 모델명을 보여줍니다. (OpenRouter=토큰 사용량 랭킹, Stanford AI Index=연간 리포트, HF Open LLM=아카이브됨 → per-model 라이브 점수가 없어 제외.)
현재 스냅샷 — 국가 × 전체 리더보드 교차 비교(프론티어 대비 %). 셀 클릭 시 해당 국가 최고 모델의 검증 소스.
국가별 전체 비교 — 3-axis radar
각 국가/region을 3 sovereign axis(언어/의료/공공)로 평균 best-of-fleet 비교 — 한 국가 내 여러 모델의 best-per-benchmark 값을 차원별로 평균.
국가별 Best-of-Fleet 리더보드
각 region 내 모든 sovereign 모델 중 벤치마크별 최고 점수. 셀 클릭 시 해당 best 모델의 검증 소스/이력. 9개 대표 벤치마크(언어 3 · 의료 3 · 정부 3, 점수 커버리지 기준).
🌐 Language Adaptation
지역 언어·문화 적응 능력 — 다국어 MMLU, 중국어 C-Eval/CMMLU, 다국어 코딩 등.
🏥 Medical System Integration
지역 의료 시스템·면허 정합 — KMLE(한국)·USMLE/MedQA·BiMediX(아랍)·HealthBench·AfriMed-QA 등.
🏛️ Government / Regulated Domain
법률·금융·사이버 방어 등 sovereign 도메인 — VLAIR 변호사 평가·DARPA AIxCC·Bloomberg finance.
Sovereign Performance Suites — 종합 leaderboard
Sovereign 모델의 검증된 벤치마크 점수를 6개 thematic suite로 분리해 표시: 🧠 General Reasoning (MMLU · MMLU-Pro · GPQA Diamond · HLE · IFBench · SimpleQA Verified) / 🧮 Math & Reasoning (GSM8K · MATH-500 · AIME 2024-26 · HMMT · IMO-AnswerBench · HRM8K) / 💻 Coding (HumanEval · MBPP · SWE-Verified · SWE-Pro · LiveCodeBench · Terminal-Bench 2 · GDPval) / 🇰🇷 Korean Benchmarks (KMMLU · HAE-RAE · KoMT-Bench · LogicKor · KoBALT-700 · Ko-IFEval · KMLE) / 🌐 Multilingual & Multimodal (MMMLU · C-Eval · CMMLU · KMMMU · Chinese-SimpleQA · MMMU-Pro · MathVision · CharXiv) / 🏛️ Domain (Legal/Cyber/Agent) (VLAIR 6-task · AIxCC · Cybench · CyberGym · BrowseComp · τ²/τ³-bench · OSWorld). 모든 score 셀 클릭 → 검증 소스 모달.
Sovereign Agent Products — 지역별 에이전트 제품
Cursor / Devin / Claude Code 등 frontier 에이전트 제품에 대응하는 지역별 sovereign 에이전트 제품 목록 (벤치마크 점수가 아닌 제품 메타데이터). 각 제품은 1차 출처(공식 사이트 또는 GitHub) 링크 포함. Manus 등 상위 Agent 메뉴에 이미 포함된 제품은 cross-link 표시.
Cross-Region Heatmap
각 region 대표 모델 × sovereign 벤치마크 — 셀 클릭 시 검증 소스/이력 모달.
왜 Sovereign AI인가
한국(EXAONE·Solar·A.X·Mi:dm·KMed.ai), 중국(DeepSeek·Qwen·Kimi·GLM·ERNIE·Hunyuan·Doubao Seed), 인도(Sarvam·BharatGen·Krutrim·BharatGPT), UAE(Falcon-H1·BiMediX), 이스라엘(AI21 Jamba), 싱가포르(SEA-LION), 스위스(Meditron·Apertus) 등 각국이 자국어·의료시스템·규제도메인 정합을 위한 sovereign LLM에 투자 중입니다.
단일 frontier 점수가 아니라 언어/의료/공공 정합의 3축에서 비교해 보면, 글로벌 frontier 모델이 reach하지 못하는 sovereign value가 보입니다. (셀 클릭 → 검증 소스/이력, 모델명 클릭 → 상세 정보 모달)
Physical AI — World Models · Robotics · Manufacturing
Physical AI 영역의 4 카테고리(World Foundation Models · Vision-Language-Action policies · Industrial Robotics · Manufacturing FMs)를 한 화면에서 비교합니다. Sovereign AI 메뉴와 별도로, embodied · simulation · industrial deployment 관점에 집중.
카테고리별 ecosystem map
Physical AI Benchmarks — performance leaderboards
4 sub-suite로 구성된 종합 leaderboard: 🦾 VLA Manipulation (LIBERO 4-suite · RoboCasa · RoboTwin · VLABench · ALOHA · Bridge V2 · DexMimicGen · GR-1 · Unitree G1) / 🌐 World Model Quality (PAI-Bench · WorldScore · WorldModelBench · EWMBench · 1X World Model Challenge · AV/Robot FVD-FID-PSNR · Genie consistency/FPS) / 🧠 Embodied Reasoning (Cosmos PCS·Embodied·Intuitive Physics · Gemini Instrument Reading · ERQA · Pixmo-Point · RoboVQA · LingoQA) / 🏭 Industrial Deployment (Skild failure recovery · Covariant pick retry · Helix logistics 4.31 sec/pkg · BMW deployment 1250hr · OpenVLA LoRA efficiency). 셀 클릭 → 검증 소스/이력 모달.
출시 타임라인 — Category × 출시일
x축 = 출시일, y축 = category, 버블 색상 = vendor 그룹, 버블 크기 = 파라미터(B). 버블 클릭 → 모델 상세 모달.
Capability Radar — top players × Physical AI 4 axes
VLA Policy · World Model Coherence · Embodied Reasoning · Industrial Integration 4축에서 대표 모델군의 best-of-fleet 평균 비교.
📱 Edge & Mobile Small-LLM — On-Device 모델 비교 (≤12B) + 🏎️ Frontier Gap
모바일·웨어러블·IoT 등 다양한 소형 기기에 사용할 수 있는 ≤12B 소형 LLM 모델들의 사이즈·성능·국가별 분포 + frontier급 모델 대비 catch-up 격차. Gemma 4 12B를 포함한 Qwen / MiMo / GLM / DeepSeek / Llama / Mistral / Granite / Phi / Falcon / EXAONE / Liquid AI / Nova Micro 등 13개국 30+ 벤더 모델을 device class 5 버킷 (MCU·Wearable / Lightweight·Standard·High-end Mobile / Laptop·Workstation)으로 분류. 🏎️ Frontier vs Small Gap: 18개 frontier 벤더의 frontier-best vs small-best AAII 격차 + catch-up % 시각화 (Microsoft/IBM 80% catch-up vs Meta 17%만).
Physical AI 메뉴 정의
Frontier LLM이 측정하지 못하는 embodied intelligence를 별도 추적. 4 카테고리:
- World Foundation Models: 시뮬레이션·예측·환경 생성. NVIDIA Cosmos · DeepMind Genie · AgiBot Genie Envisioner · Omniverse Mega.
- VLA Policies: Vision-Language-Action 일반 로봇 정책. NVIDIA GR00T · Physical Intelligence Pi-Zero · OpenVLA · Cosmos Policy · Gemini Robotics-ER.
- Industrial Robotics: 휴머노이드·산업 매니퓰레이션 통합 brain. Skild · Covariant · Figure Helix · 1X · Apptronik · Agility · Sanctuary · Tesla Optimus.
- Manufacturing FMs: 산업 AI · CAD · digital twin. Foxconn FoxBrain · Siemens SIFM · Hitachi HAL · GE Vernova · Bosch · AVEVA · Autodesk Bernini · Landing AI · PTC · Dassault.
Medical AI — Clinical · Biomedical · Imaging FMs
의료 특화 모델을 비교하는 전용 화면입니다. ChatGPT for Clinicians (OpenAI 2026-04-23) 같은 임상 워크플로 LLM부터 SAM(Segment Anything) · MedSAM · SAM-Med2D/3D 같은 universal segmentation FM, 그리고 pathology(Virchow · CONCH · UNI · Prov-GigaPath) · radiology(RadFM · CheXzero) · ophthalmology(RETFound · VisionFM) 전용 foundation 모델까지 5 카테고리로 묶어 보여줍니다.
카테고리별 ecosystem map
Medical AI Benchmarks — performance leaderboards
7 sub-suite 종합 leaderboard: 🩺 Clinical Workflow Chat & Safety (HealthBench Professional/Base · Polaris safety · CARE-QA) / 🎓 Medical Licensing & QA (MedQA USMLE · MedMCQA · PubMedQA · MMLU Clinical · MedXpertQA · MedBullets · EHRQA) / 🌏 Multilingual / Regional (MMedBench 6-lang · MedBench-CN · KMLE Korean · MedAgentBench · Open Medical-LLM avg) / 🏥 Clinical Case Reasoning (NEJM Image · JAMA Clinical · MedXpertQA-MM) / 🧊 Medical Imaging Segmentation (Universal Med-Seg Dice · BraTS · OmniMedVQA · RAD-ChestCT) / 🔬 Specialty Imaging FMs (RetBench · RadBench · Pathology AUROC · EchoNet LVEF · PanDerm) / 📚 Biomedical NLP Encoders (BLUE · MedS-Bench · AMEGA on-device). 모든 컬럼 클릭 정렬, 셀 클릭 → 검증 소스 모달.
출시 타임라인 — 국가별 × 출시일 × 파라미터
x축 = 출시일, y축 = 파라미터 크기(B, log scale 기본), 색상 = 국가. 버블 크기 = √파라미터. 버블 클릭 → 모델 상세 모달. 파라미터 미공개 모델은 하단 '?' 트랙에 회색 마커.
Medical AI Release Timeline — Month-Column Infographic
Includes ALL 211 Medical AI models from the menu's CATEGORIES (uses release_date or released_at field). Cards show vendor logo + version + license + country. Same-month cards share accent color. 4-corner card layout: logo (top-left) · date MM.DD (top-right) · license pill (bottom-left) · country (bottom-center) · flag (bottom-right). Click a card for full model details.
Capability Radar — top medical players × 7 axes
HealthBench Pro · HealthBench · MedQA · MedMCQA · PubMedQA · MMLU-Med · MedXpertQA 7개 축에서 평균 점수 상위 6개 모델 비교.
Medical AI 메뉴 정의
의료·임상 워크플로에 특화되거나 의료 영상 segmentation/diagnosis용으로 학습/파인튜닝된 foundation 모델을 별도 추적. 모델명 옆 괄호는 출시년월(YYYY-MM). 27 카테고리 + 24 sub-suite leaderboard (MedHELM holistic eval / Medical Agents (AgentClinic, MedAgentBench, MedArena) / EHR & Clinical Notes / BMT Pathology・Imaging / Bio Protocols 추가). 국가별 sovereign 의료 AI: 🇰🇷 Korea · 🇯🇵 Japan · 🇩🇪 Germany · 🇫🇷 France · 🇬🇧 UK · 🇨🇦 Canada · 🇮🇳 India · 🇦🇪 UAE · 🇸🇬 Singapore · 🇨🇳 China · 🇺🇸 US:
- Clinical LLMs: 임상의 대화·문서·prior auth 워크플로 LLM. OpenAI ChatGPT for Clinicians (GPT-5.4) · Med-Gemini 1/2/3 Pro · Med-PaLM 1/2 · MedGemma 9B/27B/1.5-4B · Hippocratic AI Polaris 1/2/3 · Stanford Almanac (RAG).
- Biomedical LLMs: PubMed·Clinical guideline 사전학습. OpenBioLLM 8B/70B · BioMistral · Meditron 7B/70B · Llama-3-Meditron 8B/70B · BioGPT-Large · Clinical Camel · MedAlpaca · Med42-v2 · Aloe-Beta · BioMedLM · PMC-LLaMA · Me-LLaMA · ChatDoctor · Asclepius.
- Multilingual & Regional Medical LLMs: MMedLM 2 (1.8B/7B/70B, 6 언어) · Apollo MedLM · HuatuoGPT-II / o1-72B · Zhongjing · BianQue · DoctorGLM · BianCang(TCM) · AI-MedLex(SG).
- Biomedical Encoder Models: GatorTron-Large · ClinicalBERT · BlueBERT · BioBERT · PubMedBERT · Clinical ModernBERT — biomedical NER/relation extraction/embeddings용 BERT-class.
- Medical Imaging FMs: Universal segmentation/diagnosis. Meta SAM 1/2 · MedSAM 1/2 · SAM-Med2D/3D · BiomedCLIP · LLaVA-Med · Dragonfly-Med · Rad-DINO · CXR Foundation · RadFM · CheXzero.
- Specialty FMs: Pathology — Virchow2/2G · UNI2 · CONCH · TITAN · Prov-GigaPath · PathChat. Ophthalmology — RETFound · VisionFM. Cardiology — EchoCLIP · EchoFM · Echo-Vision-FM. Dermatology — PanDerm · Derm Foundation.
- 🇰🇷 Korean Medical AI: SNUH KMed.ai (Naver, KMLE 96.4 SOTA), SNU-Med v1, Lunit MedScale 32B (정부 AI 전략 consortium), Lunit INSIGHT CXR/MMG, VUNO Med-DeepCARS, Kakao Healthcare Foundation, MedKAIST.
- 👁️ Medical VLMs: Med-Flamingo (Stanford 9B few-shot), MedDr (InternVL 40B, derm/endo SOTA), HuatuoGPT-Vision 7B/34B, BiomedGPT Large/XL, Intern-Medical 25B, Uni-Med, MedImageInsight, HealthGPT.
- 🧪 Protein Structure & Design: AlphaFold 2/3 + Server, ESMFold/ESM3 98B, RoseTTAFold 3, Boltz-1/2, Chai-1, OpenFold 3, Absci de novo antibody, Isomorphic Iso-RX.
- 💊 Drug Discovery & Chemistry FMs: IBM MoLFormer / GP-MoLFormer, ChemFM 3B, TamGen, Tx-LLM (Google), BioNeMo 2 (NVIDIA), LaMGen 3D, Recursion PhenomML.
- ⚠️ Bio Dual-Use & Safety eval: WMDP-Bio/Chem (CAIS hazardous-knowledge proxy), VCT (Virology Capabilities Test — frontier가 94% 전문가 압도), BioLP-bench (lab protocol error correction).
- 📝 Radiology Report Generation: MedVersa (Harvard ReXrank 1위), MAIRA-1/2 (Microsoft), CheXagent, CXR-PRO, LLM-CXR, RGRG. ReXrank 8-metric eval (RadGraph-F1, BERTScore, RadCliQ, GREEN, FineRadScore, BLEU-2, RaTEScore, SembScore).
- 🌍 Multilingual Regional Medical: BiMediX 1/2 (MBZUAI Arabic-English MoE), MedAraBench (24,883 Arabic MCQs), AfriMed-QA (Pan-African 15,275 questions).
- 🛡️ Medical Safety / Hallucination Evaluators: Med-HALT, MedHallu, MedHallBench, MedSafetyBench (AMA 9 principles · lower=safer), PatientSafeBench, CSEDB Safety/Effectiveness (Nature npj 2025), CRAFT-MD, MEDIC.
- 📈 Clinical Outcome Prediction (MIMIC-IV/eICU): MIMIC-IV Sepsis Bench (35K ICU patients), MIMIC-AKI XGBoost (mortality AUROC 0.878), eICU cross-generalization, 30-day readmission. ICU 임상 결과 예측 표준 데이터셋.
- 🌏 국가별 Sovereign 의료 AI (10개국): 🇯🇵 Japan ELYZA-LLM-Med (IgakuQA SOTA) · MedCALM · JMedLoRA · Stockmark Medical · PFN BioMedic. 🇩🇪 Germany DKFZ+EMBL Delphi (1,000-disease risk Nature 2025) · Aignostics×Mayo · Charité Rudolf · TUM MedBERT.DE · Siemens Healthineers. 🇫🇷 France BioMistral (CNRS Jean Zay) · Owkin H-Optimus + DRAGON · Raidium MedFound. 🇬🇧 UK NHS AIDE · Moorfields+UCL+DeepMind RETFound 2 · UCL AISL · Imperial Medical. 🇨🇦 Canada Vector Clairvoyance · UHN Foundation · McGill+Mila CliniCLM · T-CAIREM. 🇮🇳 India Fractal Vaidya 1/2 (HealthBench Hard 50.1 1위) · FreedomIntelligence Apollo (multilingual) · AI4Bharat Airavata · AZmed. 🇦🇪 UAE Med42 v1/v2 (M42+Cerebras) · TII Falcon Bio · BiMediX 1/2. 🇸🇬 Singapore Synapxe Clinical-CLM (MOH) · AI Singapore SEA-MedLex. 🇨🇳 China Alibaba SumiHealth · Tencent MedLLM-2 · Baidu Wenxin Yiyi · Shanghai Puyu Medical · Tsinghua GLM-Medical · iFLYTEK Spark Medical · MMedLM · HuatuoGPT 시리즈. 🇺🇸 US OpenAI/Anthropic clinical · MIT CLIPath · NIH C-MedBERT · Stanford ClinicalFormer · Mahmood Lab pathology · MedVersa · Polaris.
- Frontier Baselines: GPT-5.5 · Claude Opus 4.6 — 범용 frontier 모델의 의료 벤치마크 baseline 비교용.
참고: OpenAI — Making ChatGPT better for clinicians · HealthBench Professional
AI for Science (AI4S) — Foundation Models · Co-Scientists · Domain FMs
과학 연구에 특화된 foundation 모델과 자율 연구 에이전트(co-scientist) 컬렉션. 8개 sub-category로 그룹화: 수학(formal proof / IMO), 화학, 천문학, 물리·재료, 지구·기후, 생물·유전체, co-scientist, 다학문 종합.
🎨 Image Generation Arena
Text-to-image + Image-edit + Image-to-WebDev arenas. Pulls top-N Elo from arena.ai (live) and Artificial Analysis (T2I arena). 40+ image-gen models tracked across OpenAI / Google / Microsoft / xAI / Black Forest Labs / Bytedance / Alibaba / Tencent / Reve / Recraft / HiDream / Luma.
🎬 Video Generation Arena
Text-to-video + Image-to-video + Video-edit arenas. arena.ai live snapshot. 20+ video-gen models tracked — Bytedance Dreamina Seedance / Alibaba Wan / Kuaishou Kling / Google Veo / xAI Grok Imagine Video / OpenAI Sora / Vidu / Runway Gen-4 Aleph.
🛡️ Guardrail — 가드레일 모델 · 벤치마크 · 평가 결과
입력·출력을 걸러내는 가드레일(안전 분류기, 모더레이션 API, 프롬프트 인젝션 탐지기)의 정확도·과잉 거절·지연을 독립 평가(Artificial Analysis, Red Hat, 논문)와 공급사 자체 비교로 나눠 보여 줍니다.
⚡ System One — 결정 모델 (Decision Models)
글 대신 형식이 정해진 결정(예/아니오 확률, 선택, 점수)을 수십 ms 안에 돌려주는 모델. TypeSafe Jev와 공개 복제 모델, 클라우드 Decisions API, 독립 리더보드(Jev Decision Index)를 모았습니다.
🤖 Bots — 상시 작동 개인·업무 AI 에이전트
자기 컴퓨터를 갖고 사용자의 앱에 로그인해 24시간 일하는 AI 에이전트 제품(Grok Bot, Meta Muse, ChatGPT dots, Gemini Spark·Gemini agent 등)의 기능·엔진 모델·가격·평가 결과를 비교합니다.
🧰 Harness — 에이전트 하네스 비교
모델을 감싸 일을 하게 만드는 실행 틀(Claude Code, Codex, OpenCode, OpenClaw, Hermes Agent 등)을 비교합니다. 같은 모델을 여러 하네스에 올린 결과, 하네스 벤치마크와 평가 방법, 하네스 자동 최적화 연구를 함께 봅니다.
Model Explorer — Compare 2 to 10 models
2개 모델로 시작합니다. + 모델 추가 버튼으로 최대 10개까지 모델을 더할 수 있고, 각 행의 × 버튼으로 제거할 수 있습니다 (최소 2개 유지). Compare를 누르면 공유 벤치마크 기준 radar chart와 모든 선택 모델이 채점된 벤치마크의 side-by-side matrix가 표시됩니다.