1. المقدمة
يتطلب التعلم العميق عادةً كميات كبيرة من البيانات المحددة للمهمة وموارد حاسوبية، مما قد يكون مكلفاً للغاية للمهام الجديدة. يقدم التعلم بالنقل حلاً باستبدال هذه المتطلبات بمرحلة تدريب مسبق. في هذا النهج، يتم أولاً تدريب الشبكة على مجموعة بيانات عامة كبيرة، ثم تستخدم أوزانها لتهيئة المهام اللاحقة، مما يمكن التعلم الفعال ببيانات أقل ومتطلبات حاسوبية مخفضة. تعيد هذه الورقة البحثية استكشاف نموذج التدريب المسبق البسيط على مجموعات بيانات المصدر الكبيرة خاضعة للإشراف، وضبط أوزان النموذج بدقة على المهام المستهدفة. بدلاً من تقديم مكونات جديدة أو تعقيد، يهدف المؤلفون إلى تقديم وصفة بسيطة تستفيد من تقنيات موجودة مختارة بعناية لتحقيق أداء ممتاز عبر مجموعة واسعة من المهام. تُسمى هذه الوصفة "النقل الكبير" (BiT).
تتضمن منهجية BiT تدريب الشبكات مسبقاً على مجموعات بيانات بمقاييس مختلفة، حيث يتم تدريب أكبر نموذج، BiT-L، على مجموعة بيانات JFT-300M التي تحتوي على 300 مليون صورة ذات تسميات غير دقيقة. يتم تقييم النماذج المنقولة على مهام متنوعة، بما في ذلك ILSVRC-2012 من ImageNet، وCIFAR-10/100، وOxford-IIIT Pet، وOxford Flowers-102، ومعيار تكيف المهمة البصرية (VTAB) الذي يضم 19 مجموعة بيانات متنوعة. يحقق BiT-L أداءً متطوراً في العديد من هذه المهام ويظهر فعالية ملحوظة حتى عندما تتوفر بيانات تالية محدودة جداً. بالإضافة إلى ذلك، يظهر نموذج BiT-M، المدرب مسبقاً على مجموعة بيانات ImageNet-21k العامة، تحسينات كبيرة مقارنة بالتدريب المسبق الشائع على ILSVRC-2012. الميزة الرئيسية لـ BiT هي أنها تتطلب مرحلة تدريب مسبق واحدة فقط، ويكون الضبط الدقيق للمهام التالية منخفض التكلفة حاسوبياً، على عكس الطرق المتطورة الأخرى التي تحتاج إلى تدريب مكثف على بيانات داعمة مرتبطة بمهام محددة.
2. منهجية النقل الكبير
تُبنى منهجية النقل الكبير (BiT) على مكونات قليلة مختارة بعناية وهي أساسية لإنشاء شبكة فعالة للتعلم بالنقل. تُصنف هذه المكونات إلى عناصر علوية (تُستخدم أثناء التدريب المسبق) وعناصر سفلية (تُستخدم أثناء الضبط الدقيق).
2.1 المكونات العلوية
التدريب المسبق واسع النطاق: يستفيد BiT من مجموعات البيانات الخاضعة للإشراف واسعة النطاق للتدريب المسبق. يتم تدريب أكبر نموذج، BiT-L، على مجموعة بيانات JFT-300M، التي تحتوي على 300 مليون صورة بتسميات غير دقيقة. يتم تدريب نموذج آخر، BiT-M، على مجموعة بيانات ImageNet-21k. يسمح استخدام مثل هذه المجموعات البيانات الواسعة للنموذج بتعلم تمثيلات بصرية غنية وعامة قابلة للنقل إلى مهام سفلية متنوعة.
الهيكل ومعاملات التدريب الفائقة: يؤكد المؤلفون على أهمية اختيار الهياكل ومعاملات التدريب الفائقة المناسبة. يستكشفون التفاعل بين مقياس النموذج، وخيارات الهيكل، وإعدادات المعاملات الفائقة لتحسين أداء التدريب المسبق. يتم إجراء تحليل مفصل لتحديد العوامل الرئيسية التي تساهم في أداء نقل عالٍ، مما يضمن أن النموذج يمكنه التقاط الميزات البصرية وتعميمها بفعالية.
3. النتائج التجريبية
يتم تقييم نماذج BiT على معايير متنوعة لإثبات فعاليتها في التعلم بالنقل. تغطي التجارب مجموعات بيانات وأنظمة بيانات متعددة، مسلطة الضوء على متانة وتنوع النهج.
ILSVRC-2012
يحقق BiT-L 87.5% دقة أعلى 1 على مجموعة البيانات الكاملة و 76.8% مع 10 أمثلة فقط لكل فئة.
CIFAR-10
يحقق BiT-L 99.4% دقة على مجموعة البيانات الكاملة و 97.0% مع 10 أمثلة لكل فئة.
CIFAR-100
يظهر النموذج أداءً قوياً، بمعدلات دقة عالية في كل من إعدادات البيانات الكاملة والتعلم بالقليل من الأمثلة.
معيار VTAB
يحقق BiT-L 76.3% دقة على معيار تكيف المهمة البصرية المكون من 19 مهمة باستخدام 1000 عينة فقط لكل مهمة.
3.1 الأداء في التعلم بالقليل من الأمثلة
يتفوق BiT في سيناريوهات التعلم بالقليل من الأمثلة، حيث يتوفر عدد محدود فقط من الأمثلة المسماة لكل فئة. على سبيل المثال، على ILSVRC-2012 مع 10 أمثلة لكل فئة، يحقق BiT-L دقة 76.8%، متفوقاً بشكل ملحوظ على النماذج الأساسية. وبالمثل، على CIFAR-10 مع 10 أمثلة لكل فئة، يصل إلى دقة 97.0%.