التوكينز.. العملة الخفية التي تقرأ بها نماذج الذكاء الاصطناعي وتحسب بها تكلفتك

تقرير تكتبه ـ أمل علوي:

كلما كتبت سؤالًا لروبوت محادثة ذكي، يبدو لك أنه يقرأ كلماتك كما يقرؤها أي إنسان، لكن الحقيقة مختلفة تمامًا؛ فنماذج الذكاء الاصطناعي لا ترى الكلمات، بل تقسم النص قبل أي شيء إلى قطع صغيرة تُسمى «التوكينز» أو الرموز اللغوية. هذه الوحدات الصغيرة هي اللغة الحقيقية التي يفكر بها النموذج، وهي التي تحدد مقدار ما يستطيع قراءته وتذكره في المحادثة الواحدة، وسرعة رده، بل والفاتورة التي تدفعها الشركات والمطورون مقابل استخدامه. وفي هذا التقرير نشرح معنى التوكن، وكيف يُصنع، ولماذا تستهلك اللغة العربية عددًا أكبر منه، وما الذي يعنيه ذلك لك بوصفك مستخدمًا.

التوكن ببساطة قطعة من النص، قد تكون كلمة كاملة، أو جزءًا من كلمة، أو علامة ترقيم، أو حتى مسافة. فكلمة شائعة مثل «كتاب» قد تكون توكنًا واحدًا، بينما قد تُقسم كلمة أطول أو أندر إلى قطعتين أو ثلاث، كأن تنفصل «ال» التعريف عن بقية الكلمة، أو تنفصل اللواحق مثل «ون» و«ات». وبعد التقسيم يتحول كل توكن إلى رقم تعريفي في قاموس النموذج، لأن الحاسوب لا يتعامل في النهاية إلا مع الأرقام، ثم يتحول هذا الرقم إلى سلسلة طويلة من القيم تحمل معنى الكلمة وعلاقتها بغيرها من الكلمات.

ولا يُكتب هذا القاموس يدويًا، بل تبنيه خوارزميات خاصة من أشهرها طريقة «ترميز أزواج البايت» المعروفة اختصارًا بـBPE. تبدأ الخوارزمية بالحروف المنفردة، ثم تبحث في كميات ضخمة من النصوص عن أكثر حرفين يتجاوران معًا فتدمجهما في وحدة جديدة، وتكرر العملية آلاف المرات حتى تحصل على قاموس يضم عشرات أو مئات الآلاف من الوحدات. والنتيجة أن الكلمات الشائعة تصبح وحدات جاهزة، بينما تُفكك الكلمات النادرة أو الجديدة أو المكتوبة بأخطاء إملائية إلى قطع أصغر، فلا يعجز النموذج أبدًا عن قراءة أي نص مهما كان غريبًا.

وفي اللغة الإنجليزية تنتشر قاعدة تقريبية تقول إن التوكن الواحد يعادل نحو أربعة أحرف، أي ما يقارب ثلاثة أرباع الكلمة، بحيث تستهلك المئة كلمة نحو مئة وثلاثين توكنًا. غير أن هذه القاعدة ليست ثابتة، فهي تختلف من نموذج إلى آخر بحسب القاموس الذي بُني عليه، وتختلف أكثر من لغة إلى أخرى.

وهنا تبرز قصة اللغة العربية؛ فهي لغة اشتقاقية غنية بالسوابق واللواحق والضمائر المتصلة، إذ قد تحمل كلمة واحدة مثل «فسيكفيكهم» معنى جملة كاملة. يضاف إلى ذلك أن النصوص العربية كانت تاريخيًا أقل حضورًا في البيانات التي بُنيت منها قواميس النماذج الكبرى مقارنة بالإنجليزية. والنتيجة أن الجملة العربية كثيرًا ما تُقسم إلى عدد أكبر من التوكينز مقارنة بمقابلها الإنجليزي، ما يعني تكلفة أعلى عند الاستخدام عبر الواجهات البرمجية، ومساحة أقل متاحة في ذاكرة المحادثة، وبطئًا نسبيًا في الرد. ولهذا تعمل الشركات على توسيع قواميسها لتمثيل اللغات المختلفة بكفاءة أكبر، كما ظهرت نماذج عربية مثل «جيس» و«علّام» صُممت مع مراعاة خصوصية العربية منذ البداية.

ولا تقتصر أهمية التوكينز على قراءة سؤالك، بل تمتد إلى طريقة كتابة الإجابة نفسها؛ فالنموذج يولّد رده توكنًا بعد توكن، إذ يتنبأ في كل خطوة بالقطعة التالية الأكثر ملاءمة بناءً على كل ما سبقها. ولهذا ترى الإجابة تظهر على الشاشة تدريجيًا كأن أحدًا يكتبها أمامك، ولهذا أيضًا تُقاس سرعة النماذج بعدد التوكينز التي تنتجها في الثانية الواحدة.

ومن أهم المفاهيم المرتبطة بالتوكينز ما يُعرف بـ«نافذة السياق»، وهي الحد الأقصى لعدد التوكينز التي يستطيع النموذج التعامل معها في المحادثة الواحدة، بما يشمل تعليماتك والملفات التي ترفعها والردود السابقة والإجابة الجديدة. وقد اتسعت هذه النافذة كثيرًا في السنوات الأخيرة، حتى أصبحت بعض النماذج الحديثة تتعامل مع أكثر من مليون توكن، وهو ما يكفي لقراءة كتاب كامل أو مستودع برمجي ضخم دفعة واحدة. لكن السعة الكبيرة لا تعني الكمال، فكلما طالت المحادثة ارتفعت تكلفتها، وقد تتراجع دقة النموذج في تذكر التفاصيل المدفونة في منتصف النصوص الطويلة.

أما على صعيد المال، فالتوكن هو وحدة الحساب في عالم الذكاء الاصطناعي؛ إذ تحدد الشركات أسعار استخدام نماذجها عبر الواجهات البرمجية بسعر معين لكل مليون توكن، ويكون سعر التوكينز التي يكتبها النموذج في الغالب أعلى من سعر التوكينز التي يقرؤها. ومع انتشار «نماذج التفكير» التي تفكر خطوة بخطوة قبل أن تجيب، ظهر نوع جديد من الاستهلاك هو توكينز التفكير الداخلية، التي تُحتسب ضمن التكلفة حتى وإن لم يظهر للمستخدم منها سوى ملخص قصير.

ويمكنك بوصفك مستخدمًا أن تستفيد من فهم هذه الفكرة بخطوات بسيطة: اكتب طلبك بوضوح وإيجاز بدلًا من المقدمات الطويلة، ولا ترفع ملفات لا يحتاجها السؤال، وابدأ محادثة جديدة عندما تنتقل إلى موضوع مختلف حتى لا يحمل النموذج عبء محادثة قديمة، واطلب إجابة مختصرة عندما لا تحتاج إلى التفاصيل. هذه العادات توفر الوقت، وتحسن دقة الإجابات، وتخفض التكلفة إن كنت تستخدم خدمة مدفوعة بحسب الاستهلاك.

قد تبدو التوكينز تفصيلًا تقنيًا صغيرًا لا يعني إلا المبرمجين، لكنها في الحقيقة الوحدة الأساسية التي يقوم عليها كل شيء في عالم النماذج اللغوية، من طريقة الفهم والكتابة إلى حدود الذاكرة وحجم الفاتورة. وكلما تحسنت طريقة تقسيم النصوص العربية، اقتربنا أكثر من ذكاء اصطناعي يفهم لغتنا بالكفاءة نفسها التي يفهم بها اللغات الأخرى وبالتكلفة نفسها.

ــــــــــــــــــــ

هذا المحتوي تم باستخدام أدوات الذكاء الإصطناعي