1. はじめに
深層学習では通常、特定タスクに特化した大量のデータと計算リソースが必要となり、新規タスクでは実用的でないコストがかかる場合があります。転移学習は、この課題を事前学習フェーズで解決する手法です。このアプローチでは、まず大規模な汎用データセットでネットワークを学習し、その重みを後続タスクの初期値として利用することで、少ないデータポイントと低い計算コストで効果的な学習を実現します。本論文では、大規模な教師付きソースデータセットでの事前学習と、対象タスクへのモデル重みのファインチューニングというシンプルなパラダイムを再検討します。新規コンポーネントや複雑さを導入するのではなく、著者らは既存技術を注意深く選択・活用することで、幅広いタスクで優れた性能を達成する最小限のレシピを提供することを目指しています。このレシピを「Big Transfer（BiT）」と呼称します。
BiTアプローチでは、様々な規模のデータセットでネットワークを事前学習します。最大モデルであるBiT-Lは、3億枚のノイジーラベル付き画像を含むJFT-300Mデータセットで学習されています。転移されたモデルは、ImageNetのILSVRC-2012、CIFAR-10/100、Oxford-IIIT Pet、Oxford Flowers-102、そして19の多様なデータセットで構成されるVisual Task Adaptation Benchmark（VTAB）など、様々なタスクで評価されました。BiT-Lはこれらのタスクの多くで最先端の性能を達成し、下流データが非常に限られている場合でも顕著な効果を発揮します。さらに、公開データセットであるImageNet-21kで事前学習されたBiT-Mモデルは、一般的なILSVRC-2012事前学習を大幅に上回る改善を示しています。BiTの主要な利点は、事前学習フェーズが1回のみで済み、後続の下流タスクへのファインチューニングが計算コスト的に低く抑えられる点です。これは、特定タスクに条件付けされたサポートデータでの大規模な学習を必要とする他の最先端手法とは対照的です。
2. Big Transferの手法
Big Transfer（BiT）の手法は、転移学習に効果的なネットワーク構築に不可欠な、注意深く選択された少数の構成要素に基づいています。これらの構成要素は、上流（事前学習時に使用）と下流（ファインチューニング時に使用）の要素に分類されます。
2.1 上流コンポーネント
大規模事前学習: BiTは大規模な教師付きデータセットを活用して事前学習を行います。最大モデルであるBiT-Lは、3億枚のノイジーラベル付き画像を含むJFT-300Mデータセットで学習されます。別のモデルであるBiT-Mは、ImageNet-21kデータセットで学習されます。このような広範なデータセットを利用することで、モデルは豊富で汎用的な視覚表現を学習し、様々な下流タスクへ転移可能となります。
アーキテクチャと学習ハイパーパラメータ: 著者らは、適切なアーキテクチャと学習ハイパーパラメータの選択の重要性を強調しています。モデル規模、アーキテクチャの選択、ハイパーパラメータ設定の相互関係を探求し、事前学習の性能を最適化します。高い転移性能に寄与する主要因を特定する詳細な分析が行われ、モデルが視覚特徴を効果的に捕捉・一般化できることが保証されます。
2.2 下流コンポーネント
ファインチューニング手順: 事前学習後、モデルは対象タスクでファインチューニングされます。BiTは、ハイパーパラメータチューニングを最小限に抑えた、シンプルで効率的なファインチューニング手順を採用します。著者らは、転移時のハイパーパラメータ設定に関するヒューリスティックを提案しており、これは多様な評価スイート全体で頑健に機能します。このヒューリスティックは適応プロセスを簡素化し、新規タスクごとのハイパーパラメータ最適化に伴う計算コストを削減します。
多様なデータ体制への対応: BiTは、クラスごとに1例のみといった数ショット学習シナリオから、合計100万例に及ぶ大規模データセットまで、幅広いデータ体制で高い性能を発揮するように設計されています。この手法には、データが乏しい環境下でも効果的なファインチューニングを行うための戦略が含まれており、ラベル付きデータが限られていてもモデルが高い性能を維持できるようにします。
3. 実験結果
BiTモデルは、転移学習におけるその有効性を実証するために、様々なベンチマークで評価されました。実験は複数のデータセットとデータ体制を網羅し、本アプローチの頑健性と汎用性を浮き彫りにしています。
ILSVRC-2012
BiT-Lは、フルデータセットで87.5%のTop-1精度を達成し、クラスごと10例のみでも76.8%を達成。
CIFAR-10
BiT-Lは、フルデータセットで99.4%の精度を達成し、クラスごと10例でも97.0%を達成。
CIFAR-100
モデルは強力な性能を示し、フルデータ設定と数ショット設定の両方で高い精度率を記録。
VTABベンチマーク
BiT-Lは、19タスクからなるVisual Task Adaptation Benchmarkにおいて、タスクごとに1,000サンプルのみ使用して76.3%の精度を達成。
3.1 数ショット学習における性能
BiTは、クラスごとに限られた数のラベル付き例しか利用できない数ショット学習シナリオで優れた性能を発揮します。例えば、クラスごと10例のILSVRC-2012では、BiT-Lは76.8%の精度を達成し、ベースラインモデルを大幅に上回ります。同様に、クラスごと10例のCIFAR-10では97.0%の精度に達します。これら