LMSYS.org，即大型模型系統組織，是一個主要由加州大學伯克利分校的Sky Lab的學生和教職工組成的協作倡議。該組織專注於開發開放、可訪問和可擴展的大型模型和系統。它旨在通過提供評估和改進大型語言模型（LLMs）和視覺語言模型（VLMs）的工具和平台來推進人工智能（AI）領域。該組織以其創新項目而聞名，包括聊天機器人競技場，該競技場促進了對各種LLM的社區驅動評估。LMSYS.org提供多種功能和項目，滿足研究人員、開發人員和AI愛好者的需求。一些值得注意的功能包括Vicuna，一個據報導達到GPT-4 90%質量的聊天機器人，以及聊天機器人競技場，一個可擴展的平台，用於使用眾包和Elo評級系統對LLM進行遊戲化評估。其他工具如SGLang、LMSYS-Chat-1M數據集、FastChat、MT-Bench、Arena Hard Auto和RouteLLM提高了模型訓練和評估的效率和有效性。用戶可以通過訪問其網站、參加聊天機器人競技場、訪問數據集、利用各種工具和貢獻研究計劃來參與LMSYS.org。儘管該平台促進了開放訪問和社區驅動的評估，但用戶應注意有關基準可靠性和工具複雜性的潛在問題。總體而言，LMSYS.org在AI領域中扮演著重要角色，促進了大型語言模型的合作與創新。