Alibaba Cloud, tulang punggung teknologi digital dan kecerdasan dari Alibaba Group, mengumumkan ketersediaan dua Large Language Models (LLM) open source, Qwen-72B dan Qwen-1.8B, versi 72-miliar parameter dan 1,8-miliar parameter dari model fondasi milik Alibaba, Tongyi Qianwen, di komunitas model AI mereka, ModelScope, dan platform AI kolaboratif, Hugging Face.

Selain itu, Alibaba Cloud juga menyediakan lebih banyak LLM multimodal termasuk Qwen-Audio dan Qwen-Audio-Chat, versi model pemahaman audio yang telah dilatih sebelumnya dan penyempurnaan percakapan, untuk tujuan penelitian dan komersial.

Hingga hari ini, pelopor cloud ini telah berkontribusi untuk menyediakan berbagai ukuran LLM dengan parameter mulai dari 1,8B, 7B, 14B hingga 72B, serta LLM multimodal dengan fitur pemahaman audio dan visual.

“Membangun ekosistem open-source sangat penting untuk mendorong pengembangan LLM dan aplikasi AI. Kami bercita-cita menjadi cloud paling terbuka dan membuat kemampuan AI generatif dapat diakses oleh semua orang,” kata Jingren Zhou, CTO Alibaba Cloud. “Untuk mencapai tujuan itu, kami akan terus memberikan teknologi canggih kami serta memfasilitasi pengembangan komunitas open-source bersama dengan mitra kami.”

Dengan pelatihan sebelumnya yang dilakukan pada lebih dari 3 triliun token, model 72-miliar parameter ini mengungguli model-model open-source utama lainnya dalam sepuluh tolok ukur, antara lain termasuk tolok ukur untuk Massive Multi-task Language Understanding (MMLU) yang mengukur akurasi model multitask, HumanEval yang menguji kemampuan generasi kode, dan GSM8K, tolok ukur untuk masalah aritmetika.

Model ini juga menunjukkan kemahirannya dalam menangani berbagai perintah rumit, termasuk bermain peran dan transfer gaya bahasa, yang merujuk pada kemampuan LLM untuk mengambil peran atau persona tertentu dan menghasilkan respons yang lebih relevan secara kontekstual sesuai dengan persona tersebut. Fitur seperti ini dapat berguna dalam aplikasi AI seperti chatbot yang dipersonalisasi.

Perusahaan dan lembaga penelitian dapat mengakses kode model Qwen-72B, bobot model, dan dokumentasi serta menggunakannya secara gratis untuk tujuan penelitian. Untuk penggunaan komersial, model tersebut akan gratis digunakan untuk perusahaan dengan pengguna bulanan aktif yang kurang dari 100 juta.

Alibaba Cloud juga mengumumkan bahwa mereka telah menyediakan secara open source model LLM berparameter 1,8 miliar yang dapat berjalan pada edge. LLM kelas ringan ini memungkinkan inferensi pada perangkat edge dengan sumber daya komputasi terbatas, membuatnya memungkinkan untuk  diterapkan pada perangkat seperti ponsel.

Versi yang berukuran lebih kecil dengan kebutuhan sumber daya komputasi yang lebih rendah ini dapat berguna bagi individu yang mencari opsi yang lebih hemat biaya dan mudah diterapkan dalam menggunakan LLM. Model 1,8B saat ini hanya tersedia untuk tujuan penelitian.

Untuk menawarkan LLM yang dapat memproses berbagai format input yang lebih besar, Alibaba Cloud juga mengumumkan bahwa mereka telah menyediakan secara open-source, Qwen-Audio dan Qwen-Audio-Chat, model AI dengan kemampuan pemahaman audio terbaru untuk tujuan penelitian dan komersial.

Qwen-Audio dapat memahami input teks dan audio dalam berbagai format, termasuk ucapan manusia, suara natural dan musik, dan menghasilkan teks sebagai output. Model ini mampu melakukan lebih dari 30 tugas pemrosesan audio, seperti transkripsi multi-bahasa, pengeditan ucapan, analisis keterangan audio, dan lainnya. Versi yang disempurnakan untuk percakapan, Qwen-Audio-Chat, dapat mendukung beberapa putaran tanya jawab berdasarkan audio dan melakukan berbagai tugas berorientasi audio, seperti deteksi emosi dan nada dalam pidato manusia.

Inisiatif ini menandai upaya lainnya dari Alibaba Cloud untuk menawarkan model multi-modal large language model yang dapat memahami jenis data di luar teks ke komunitas open-source. Awal tahun ini, mereka mengumumkan peluncuran Large Vision Language di Qwen-VL dan versi chatnya Qwen-VL-Chat di open-source,  yang dapat memahami informasi visual dan melakukan tugas visual.

Model LLM open-source, termasuk Qwen-7B, Qwen-14B, Qwen-VL dan versi yang disempurnakan untuk percakapan, telah diunduh lebih dari 1,5 juta kali di komunitas open-source model AI Alibaba Cloud, ModelScope dan Hugging Face sejak Agustus. ModelScope telah menjadi komunitas model AI terbesar di Cina, dengan lebih dari 2,8 juta pengembang aktif, dan lebih dari 100 juta unduhan model hingga saat ini.