LMSYS.org, of de Large Model Systems Organization, is een samenwerkingsinitiatief dat voornamelijk studenten en faculteit van UC Berkeley's Sky Lab omvat. De organisatie richt zich op het ontwikkelen van grote modellen en systemen die open, toegankelijk en schaalbaar zijn. Het doel is om het veld van kunstmatige intelligentie (AI) te bevorderen door tools en platforms te bieden voor het evalueren en verbeteren van grote taalmodellen (LLMs) en vision-language modellen (VLMs). LMSYS.org staat bekend om zijn innovatieve projecten, waaronder de Chatbot Arena, die community-gedreven evaluaties van verschillende LLMs mogelijk maakt. Het platform biedt een scala aan functies en projecten die gericht zijn op onderzoekers, ontwikkelaars en AI-liefhebbers, zoals Vicuna, een chatbot die 90% van de kwaliteit van GPT-4 zou evenaren, en de Chatbot Arena, een schaalbaar platform voor de gamified evaluatie van LLMs. Daarnaast biedt LMSYS.org datasets zoals LMSYS-Chat-1M voor training en evaluatie, en tools zoals SGLang en FastChat om de efficiëntie van modelimplementatie te verbeteren. Gebruikers kunnen deelnemen aan de Chatbot Arena, datasets downloaden, en bijdragen aan lopende onderzoeksinitiatieven. Hoewel LMSYS.org een open toegang en community-gedreven aanpak bevordert, zijn er zorgen over de betrouwbaarheid van benchmarks en de complexiteit van de tools voor nieuwkomers. Het blijft echter een belangrijke speler in het veld van AI, met een focus op innovatie en samenwerking.