LMSYS.org，或称为大型模型系统组织，是一个以加州大学伯克利分校Sky Lab的学生和教职工为主的合作项目。该组织专注于开发开放、可访问且可扩展的大型模型和系统，旨在推动人工智能（AI）领域的发展。它提供评估和改进大型语言模型（LLMs）和视觉语言模型（VLMs）的工具和平台。值得注意的项目包括Chatbot Arena，促进了对各种LLM的社区驱动评估。
LMSYS.org提供多种功能和项目，面向研究人员、开发者和AI爱好者，包括Vicuna，这是一款据说质量达到GPT-4 90%的聊天机器人；Chatbot Arena，这是一个用于LLM的可扩展评估平台；SGLang，一种为LLMs和VLMs设计的快速服务引擎；以及LMSYS-Chat-1M，一个用于训练聊天机器人的大规模数据集。
LMSYS.org提供的工具和平台可以在研究和开发、模型评估、社区参与和基准测试等多种场景中使用。用户可以通过访问网站、参与Chatbot Arena、访问数据集、利用工具以及参与研究项目与平台互动。
虽然LMSYS.org推广开放访问和社区驱动的评估，但用户应考虑模型选择、社区反馈以及在快速发展的AI领域中持续学习的需求。用户反馈褒贬不一，有些人赞赏开放访问模型，而另一些人对评估的准确性表示怀疑。总的来说，LMSYS.org在AI领域是一个重要的参与者，促进了研究人员和开发者之间的创新和合作，同时鼓励对其基准和评估采取批判性态度。