- AI4Bharat تطلق IndicLLMSuite، مما يعزز نماذج اللغات الهندية بـ 251 مليار رمز و74.8 مليون زوج من التعليمات والاستجابات.
- تتضمن المجموعة Sangraha لجمع البيانات، وSetu لاستخراج المحتوى، وIndicAlign لأزواج الأوامر والاستجابات.
- التعاون مع Sarvam AI وIIT Madras يقدم IndicVoices، مما يثري المشهد اللغوي الهندي بـ 7348 ساعة من الكلام الطبيعي.
في خطوة كبيرة نحو تعزيز تمثيل اللغات الهندية في مجال تدريب نماذج اللغة، أطلقت AI4Bharat حزمة IndicLLMSuite. هذه الحزمة الشاملة من الموارد مصممة خصيصاً لمعالجة التحديات التي تواجهها اللغات ذات الموارد المنخفضة والمتوسطة في تطوير نماذج اللغة (LLMs). وتهدف المبادرة إلى ديمقراطية الوصول إلى تقنيات معالجة اللغات الطبيعية المتقدمة عبر مشهد لغوي متنوع.
تمكين التنوع اللغوي
تتضمن IndicLLMSuite مستودعاً غنياً للبيانات يمتد على 22 لغة هندية، بإجمالي مذهل يبلغ 251 مليار رمز و74.8 مليون زوج من التعليمات والاستجابات. تم إعداد هذا الجسم الواسع من البيانات بعناية من مصادر متنوعة، بما في ذلك عناوين URL المنتقاة، والجسميات متعددة اللغات، والترجمات واسعة النطاق. يضمن هذا التنوع في جمع البيانات تمثيلاً قوياً ويعزز الشمولية في تدريب نماذج اللغة.
تتكون الحزمة من عدة مكونات أساسية مصممة لتسهيل إنشاء نماذج اللغة وتحسينها المخصصة لللغات الهندية:
تُعد هذه المكون الأساسي حجر الزاوية في IndicLLMSuite، حيث يوفر مجموعة ضخمة من بيانات التدريب المسبق تم تجميعها من مصادر لغوية متنوعة. مع 251 مليار رمز تمتد على 22 لغة، يوفر Sangraha المادة الخام اللازمة لتدريب نماذج اللغة بفعالية. يقدم Setu خط أنابيب موزعاً متقدماً قائماً على Spark، ومصمماً خصيصاً لللغات الهندية. هذا الأداة متعددة الاستخدامات تبسط استخراج المحتوى من مجموعة متنوعة من المصادر، بما في ذلك المواقع الإلكترونية وPDFs والفيديوهات. تضمن وظائفها المدمجة للتنظيف، والترشيح، وإزالة السمية، وإزالة التكرار سلامة وجودة البيانات المستخرجة.
تقدم IndicAlign-Instruct مجموعة شاملة من 74.7 مليون زوج من المطالبات والاستجابات عبر 20 لغة. تم إعداد هذه الأزواج بعناية باستخدام منهجيات متنوعة، بما في ذلك تجميع مجموعات بيانات ضبط الدقة التعليمي (IFT) الموجودة، وترجمة مجموعات البيانات الإنجليزية، وتوليد المناقشات من مقالات ويكيبيديا ذات الصلة بالهند، والتوظيف الجماعي عبر منصة Anudesh. بالإضافة إلى ذلك، فإن مجموعة بيانات IFT الجديدة المستمدة من IndoWordNet تثري موارد الحزمة، مما يسهل تعلم اللغة والقواعد بشكل أفضل للنماذج.
يعالج هذا المكون الجانب الحاسم لمواءمة السلامة في نماذج اللغة من خلال توفير مجموعة بيانات منتقاة تتكون من 123 ألف زوج من المطالبات السامة والاستجابات غير السامة. بالاستفادة من نماذج اللغات الطبيعية المفتوحة المصدر باللغة الإنجليزية والترجمة إلى 14 لغة هندية، يعزز IndicAlign–Toxic السلامة والموثوقية لنماذج اللغات الهندية.
جهود تعاونية في تكنولوجيا اللغات
يؤكد إطلاق IndicLLMSuite على جهد تعاوني داخل المشهد الذكي الاصطناعي الهندي لتعزيز تطوير تقنيات اللغات. بالشراكة مع Sarvam AI وIIT Madras، قدمت AI4Bharat مؤخراً IndicVoices، وهي مجموعة بيانات شاملة للكلام تهدف إلى تعزيز الشمولية والتنوع في تطبيقات التعرف على الكلام. مع 7348 ساعة من الكلام الطبيعي من 16237 متحدثاً عبر 145 مقاطعة هندية و22 لغة، تكمل IndicVoices جهود IndicLLMSuite في إثراء النظام البيئي اللغوي في الهند.
يُعد إدخال IndicLLMSuite لحظة محورية في الرحلة نحو تطوير تكنولوجيا لغوية شاملة في الهند. من خلال ديمقراطية الوصول إلى الموارد وتعزيز التعاون بين أصحاب المصلحة، تعزز AI4Bharat التزامها بتعزيز التنوع اللغوي وتمكين اللغات الهندية في العصر الرقمي. ومع استمرار تطور مشهد معالجة اللغات الطبيعية، تعمل مبادرات مثل IndicLLMSuite كمحفزات للابتكار والتقدم، ممهدة الطريق لمستقبل لغوي أكثر شمولاً وإتاحة.
إذا كنت تقرأ هذا، فأنت متقدّم بالفعل. ابق هناك مع نشرتنا الإخبارية.
إخلاء مسؤولية. المعلومات المقدمة ليست نصيحة تداول. Cryptopolitan.com لا تتحمل أي مسؤولية عن أي استثمارات تتم بناءً على المعلومات المقدمة في هذه الصفحة. نوصي بشدة بإجراء بحث مستقل و/أو الاستعانة بمستشار مؤهل قبل اتخاذ أي قرارات استثمارية.
جون بالمر
انضم جون مورانغيري إلى موقع Cryptopolitan ممتلئاً بمهارات تحليل السوق. تخرج جون (المعروف أيضاً باسم جيه بي) من جامعة نيروبي بحصوله على درجة البكالوريوس في الاتصالات الجماهيرية ودراسات الإعلام. وساهم سابقاً بتحليلات لسوق العملات المشفرة في موقعي InsideBitcoins.com و Metacoingraph.
