LMSYS.org, o Large Model Systems Organization, è un'iniziativa collaborativa che coinvolge principalmente studenti e docenti del Sky Lab dell'UC Berkeley. L'organizzazione si concentra sullo sviluppo di modelli e sistemi di grandi dimensioni che siano aperti, accessibili e scalabili. Mira ad avanzare il campo dell'intelligenza artificiale (AI) fornendo strumenti e piattaforme per valutare e migliorare i modelli di linguaggio di grandi dimensioni (LLM) e i modelli linguaggio-visione (VLM). L'organizzazione è nota per i suoi progetti innovativi, tra cui il Chatbot Arena, che facilita le valutazioni guidate dalla comunità di vari LLM. LMSYS.org offre una varietà di funzionalità e progetti che si rivolgono a ricercatori, sviluppatori e appassionati di AI, come Vicuna, un chatbot che si dice raggiunga il 90% della qualità di GPT-4, e il Chatbot Arena, una piattaforma scalabile per la valutazione gamificata degli LLM. Gli strumenti e le piattaforme fornite possono essere utilizzate in vari scenari, tra cui ricerca e sviluppo, valutazione dei modelli, coinvolgimento della comunità e benchmarking. Gli utenti possono interagire con LMSYS.org visitando il sito web, partecipando al Chatbot Arena, accedendo a dataset, utilizzando strumenti e contribuendo alla ricerca. Sebbene LMSYS.org promuova l'accesso aperto e approcci guidati dalla comunità, ci sono preoccupazioni sulla affidabilità dei benchmark e sulla complessità di navigare negli strumenti per i neofiti. Gli utenti dovrebbero considerare la selezione del modello, il feedback della comunità e l'apprendimento continuo quando interagiscono con la piattaforma.