«مور ثريدز» تفتح مصدر أداة لتدريب نماذج بتريليون معامل على آلاف المعالجات

كتب – نبيل الخوارزمى

أعلنت شركة «مور ثريدز» الصينية لصناعة معالجات الرسوميات فتح مصدر مشروع Megatron-MUSA-Titan، وهو بنية برمجية لتدريب النماذج الكبيرة على معالجاتها. ويستهدف المشروع تدريب نماذج «خليط الخبراء» التي يصل حجمها إلى تريليون معامل على عناقيد حوسبة تضم نحو عشرة آلاف بطاقة، ويغطي مرحلتي التدريب المسبق والتعلم المعزز.

ونماذج «خليط الخبراء» هي نماذج تتكون من شبكات فرعية متخصصة، ولا يعمل منها عند معالجة كل كلمة إلا جزء صغير، ما يسمح ببناء نماذج ضخمة مع خفض تكلفة الحساب. أما المعامل فهو قيمة رقمية يتعلمها النموذج أثناء التدريب، ويعبر عددها عن حجم النموذج. وتقول الشركة إن المشروع استُخدم بالفعل في عنقودها الذي يضم عشرة آلاف بطاقة لإجراء تدريب مسبق لنموذج بتريليون معامل، مع كفاءة مرتفعة في استغلال قدرة المعالجات واستقرار لفترات طويلة، دون أن تنشر أرقامًا محددة لهذه الكفاءة.

ومن الناحية التقنية، يدعم المشروع التدريب بدقة FP8 على شكل كتل، وهي صيغة أرقام مضغوطة تقلل استهلاك الذاكرة وتسرّع الحساب. كما يعتمد على مكتبة DeepEP ومحرك اتصال غير متزامن يسمى ACE، ويتيح تنفيذ الاتصال بين «الخبراء» الموزعين على المعالجات بالتوازي مع الحسابات، لتقليل وقت الانتظار. ويتوافق المشروع مع إطاري التعلم المعزز slime وmiles، ومع محرك SGLang لتوليد العينات.

ويعمل المشروع على منصة MUSA الخاصة بالشركة، وهي البيئة البرمجية التي تشغّل معالجاتها، وقد أتاحت الشركة الشيفرة للمطورين عبر منصة GitHub. وتأتي الخطوة ضمن مساعي شركات الرقائق الصينية لبناء منظومة برمجية متكاملة حول معالجاتها، تجعل تدريب النماذج العملاقة ممكنًا دون الاعتماد على العتاد الأجنبي.

ــــــــــــــــــــ

هذا المحتوي تم باستخدام أدوات الذكاء الإصطناعي