อาลีบาบา คลาวด์ ธุรกิจด้านเทคโนโลยีดิจิทัล และหน่วยงานหลักด้านอินเทลลิเจนซ์ของอาลีบาบา กรุ๊ป ประกาศสนับสนุนคอมมิวนิตี้ด้านโอเพ่นซอร์สครั้งล่าสุด ด้วยการเปิดเผยซอร์สโค้ด (open-sourcing) ของ Qwen-7B และ Qwen-7B-Chat
เป็นโมเดลด้านภาษาขนาดใหญ่ (LLM) ขนาด 7-พันล้าน-พารามิเตอร์ ที่อยู่บน ModelScope ซึ่งเป็นคอมมิวนิตี้ด้านโมเดล AI ของบริษัทฯ และ Hugging Face ซึ่งเป็นแพลตฟอร์ม AI สำหรับการทำงานร่วมกัน
อาลีบาบา คลาวด์ เปิดตัว Tongyi Qianwen ซึ่งเป็น LLM ที่เป็นกรรมสิทธิ์ของบริษัทฯ เมื่อเดือนเมษายนที่ผ่านมา โมเดลล้ำสมัยนี้สามารถสร้างเนื้อหาได้เหมือนมนุษย์สร้าง ทั้งภาษาจีนและภาษาอังกฤษและมีขนาดโมเดลที่แตกต่างกัน
รวมถึงโมเดลที่มีขนาดตั้งแต่เจ็ดพันล้านพารามิเตอร์ขึ้นไป โมเดล open-source ครั้งนี้ ประกอบด้วย Qwen-7B ซึ่งเป็นโมเดลพรีเทรนด์ 7-พันล้าน-พารามิเตอร์ และเวอร์ชั่นที่มีการปรับแต่งด้านการสนทนาที่ชื่อว่า Qwen-7B-Chat
เพื่อสนับสนุนความพยายามที่จะทำให้มีการนำเทคโนโลยี AI ไปใช้ได้อย่างอิสระ มีการเปิดให้นักวิชาการ นักวิจัย และสถาบันเชิงพาณิชย์ ทั่วโลก เข้าถึงโค้ดของโมเดล, model weights, และเอกสารอธิบายรายละเอียดต่าง ๆ ได้ฟรี
และสำหรับการใช้ในเชิงพาณิชย์เปิดให้บริษัทที่มีผู้ใช้น้อยกว่า 100 ล้านรายต่อเดือนสามารถใช้โมเดลต่าง ๆ ได้ฟรี ส่วนโปรแกรมต่าง ๆ ที่มีผู้ใช้งานมากกว่านี้สามารถขอไลเซนส์จากอาลีบาบา คลาวด์ ได้
นายจิงเเหริน จ้าว ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของอาลีบาบา คลาวด์ อินเทลลิเจนซ์ กล่าวว่า เรามุ่งส่งเสริมการใช้เทคโนโลยีให้ครอบคลุม และช่วยให้นักพัฒนาซอฟต์แวร์และธุรกิจขนาดกลางและขนาดย่อม ได้เก็บเกี่ยวประโยชน์ของ generative AI ด้วยการ open-sourcing โมเดลด้านภาษาขนาดใหญ่ที่เป็นกรรมสิทธิ์ของเรา
และในฐานะผู้ให้การสนับสนุนระยะยาวของโครงการโอเพ่นซอร์ส เราหวังว่าแนวทางแบบเปิดนี้สามารถนำมาซึ่งภูมิปัญญาร่วมที่แบ่งปันกัน เพื่อขับเคลื่อนให้โอเพ่นซอร์สคอมมิวนิตี้เติบโตต่อไป
Qwen-7B ได้พรี-เทรนด์บนโทเค็นกว่า 2 ล้านล้านโทเค็น รวมถึง ภาษาจีน ภาษาอังกฤษ และสื่อหลายภาษาอื่น ๆ โค้ด และคณิตศาสตร์ ครอบคลุมสาขาทั่วไปและสาขาวิชาชีพต่าง ๆ โดยมีความยาวของบริบท (context length) แตะระดับ 8K ทั้งนี้ในระหว่างการเทรนด์ได้มีการปรับโมเดล Qwen-7B-Chat ให้สอดคล้องกับคำสั่งของมนุษย์
โดยสามารถนำโมเดล Qwen-7B และ Qwen-7B-Chat ไปใช้ได้ทั้งในโครงสร้างพื้นฐานที่อยู่ในองค์กร (on-premise) และบนคลาวด์ ซึ่งช่วยให้ผู้ใช้สามารถปรับแต่งโมเดลและสร้าง generative models คุณภาพสูงของตนเองได้อย่างมีประสิทธิภาพและประหยัดค่าใช้จ่าย
โมเดลพรี-เทรนด์ Qwen-7B นี้มีความเป็นเลิศในการวัดเกณฑ์มาตรฐานการทำความเข้าใจเรื่องต่าง ๆ ในภาษาหลากหลาย (Massive Multi-task Language Understanding: MMLU) ด้วยคะแนน 56.7 ซึ่งเหนือกว่าโมเดลพรี-เทรนด์โอเพ่นซอร์สอื่น ๆ ที่มีสเกลใกล้เคียงกันหรือแม้แต่โมเดลที่มีขนาดใหญ่กว่าบางโมเดล
การวัดประสิทธิภาพนี้ได้ประเมินความแม่นยำของโมเดลข้อความ ในเรื่องของการทำงานหลายอย่างพร้อมกัน ด้วยงาน 57 งานที่ครอบคลุมสาขาต่าง ๆ เช่น คณิตศาสตร์พื้นฐาน วิทยาการคอมพิวเตอร์ และกฎหมาย นอกจากนี้ Qwen-7B ยังได้รับคะแนนสูงสุดในบรรดาโมเดลที่มีพารามิเตอร์เทียบเท่ากันในลีดเดอร์บอร์ดของ C-Eval ซึ่งเป็นชุดการประเมินภาษาจีนที่ครบถ้วนสำหรับโมเดลพื้นฐานต่าง ๆ
ชุดการประเมินนี้ครอบคลุม 52 วิชาในสี่สาขาวิชาเฉพาะ ได้แก่ มนุษยศาสตร์ สังคมศาสตร์ STEM และอื่น ๆ Qwen-7B ยังมีประสิทธิภาพโดดเด่นในการวัดเกณฑ์มาตรฐานทางคณิตศาสตร์และการสร้างโค้ด เช่น GSM8K และ HumanEval อีกด้วย
