Abstrak

Walaupun pembelajaran mendalam mempunyai akar sejarah yang menjangkau beberapa dekad, istilah 'pembelajaran mendalam' mahupun pendekatannya tidak popular lima tahun lalu, ketika bidang ini dihidupkan semula oleh kertas kerja seperti model rangkaian mendalam Imagenet tahun 2012 karya Krizhevsky, Sutskever dan Hinton yang kini menjadi klasik. Apakah yang telah ditemui bidang ini dalam lima tahun berikutnya? Di sebalik kemajuan besar dalam bidang seperti pengecaman pertuturan, pengecaman imej, dan permainan, serta semangat meluas dalam media arus perdana, saya mengemukakan sepuluh kebimbangan mengenai pembelajaran mendalam, dan mencadangkan bahawa pembelajaran mendalam perlu ditambah dengan teknik lain jika kita ingin mencapai kepintaran buatan umum.

Pengenalan: Adakah Pembelajaran Mendalam Menghampiri Tembok?

Pembelajaran mendalam, meskipun popularitinya meletus baru-baru ini, mempunyai akar sejarah yang menjangkau beberapa dekad. Bidang ini kurang mendapat perhatian sehingga lima tahun lalu ketika segalanya berubah pada 2012 dengan penerbitan kertas kerja berpengaruh seperti 'Klasifikasi ImageNet dengan Rangkaian Neural Konvolusi Mendalam' karya Krizhevsky, Sutskever dan Hinton, yang mencapai keputusan terkini dalam cabaran pengecaman objek dikenali sebagai ImageNet.

Sebelum tahun berakhir, pembelajaran mendalam muncul di muka depan The New York Times, dan dengan pantas menjadi teknik paling terkenal dalam kepintaran buatan. Walaupun idea melatih rangkaian neural berbilang lapisan bukanlah baru, peningkatan kuasa pengiraan dan ketersediaan data menjadikan pembelajaran mendalam benar-benar praktikal buat pertama kali.

Pembelajaran mendalam sejak itu menghasilkan banyak keputusan terkini dalam domain seperti pengecaman pertuturan, pengecaman imej, dan terjemahan bahasa, serta memainkan peranan dalam pelbagai aplikasi AI semasa. Syarikat melabur berbilion dolar untuk merebut bakat pembelajaran mendalam, dengan penyokong terkemuka seperti Andrew Ng mencadangkan bahawa 'Jika orang biasa boleh melakukan tugas mental dalam kurang satu saat, kita mungkin boleh mengautomasikannya menggunakan AI sama ada sekarang atau dalam masa terdekat.'

Walau bagaimanapun, bukti mencadangkan pembelajaran mendalam mungkin menghampiri tembok. Seperti yang dinyatakan François Chollet, pencipta perpustakaan rangkaian neural Keras pada Disember 2017: 'Untuk kebanyakan masalah di mana pembelajaran mendalam menyediakan penyelesaian jauh lebih baik (penglihatan, pertuturan), kita telah memasuki wilayah pulangan berkurangan pada 2016-2017.' Malah Geoff Hinton, bapa pembelajaran mendalam, mengakui bahawa 'Masa depan bergantung kepada pelajar pascasiswazah yang sangat mencurigai segala yang saya katakan.'

Kertas kerja ini bertujuan mengurangkan kegembiraan tidak rasional sambil mempertimbangkan keperluan bidang untuk maju, mengalamatkan kedua-dua penyelidik teknikal dan pengguna AI dengan latar belakang kurang teknikal yang ingin memahami hala tuju bidang ini.

Apa Itu Pembelajaran Mendalam dan Kelebihannya

Pembelajaran mendalam merujuk kepada kelas teknik pembelajaran mesin yang menggunakan berbilang lapisan unit pemprosesan tak linear untuk pengekstrakan ciri dan transformasi. Setiap lapisan berturutan menggunakan output dari lapisan sebelumnya sebagai input, membolehkan sistem mempelajari perwakilan data dengan pelbagai tahap abstraksi.

Kekuatan asas pembelajaran mendalam terletak pada keupayaannya menemui struktur rumit dalam set data besar melalui algoritma penyebaran balik, yang menggunakan penurunan kecerunan untuk melaraskan berat sambungan antara neuron. Pendekatan ini terbukti sangat berkuasa untuk masalah di mana:

• Pemetaan input-output kompleks tetapi boleh dipelajari dari data yang banyak
• Ciri diperlukan untuk tugas tidak mudah ditentukan oleh jurutera manusia
• Masalah melibatkan tugas persepsi serupa dengan yang diselesaikan secara semula jadi oleh manusia dan haiwan

Pembelajaran mendalam mencapai kejayaan luar biasa dalam beberapa domain utama:

Penglihatan Komputer

Rangkaian Neural Konvolusi (CNN) merevolusikan penglihatan komputer, mencapai prestasi setara manusia dalam tugas seperti klasifikasi imej, pengesanan objek, dan pengecaman muka. Kejayaan ImageNet 2012 menunjukkan bahawa rangkaian mendalam boleh mengatasi pendekatan sebelumnya dengan ketara, mengurangkan kadar ralat 5-teratas dari 26% kepada 15%.

Pengecaman Pertuturan

Rangkaian Neural Berulang (RNN) dan rangkaian Memori Jangka Pendek Panjang (LSTM) meningkatkan sistem pengecaman pertuturan secara mendadak, dengan kadar ralat menurun ke tahap hampir manusia dalam persekitaran terkawal. Syarikat seperti Google, Apple, dan Amazon telah mengintegrasikan teknologi ini ke dalam pembantu maya mereka.

Pemprosesan Bahasa Semula Jadi

Model jujukan-ke-jujukan dan mekanisme perhatian membolehkan kemajuan signifikan dalam terjemahan mesin, ringkasan teks, dan sistem jawab soalan. Sistem Terjemahan Neural Google mewakili satu contoh terkenal kemajuan ini.

Permainan

Pembelajaran pengukuhan mendalam menghasilkan sistem yang mengatasi pakar manusia dalam permainan kompleks seperti Go, Catur, dan permainan video. AlphaGo DeepMind dan bot Dota 2 OpenAI menunjukkan potensi gabungan pembelajaran mendalam dengan pembelajaran pengukuhan.

Persamaan dalam kejayaan ini adalah keupayaan pembelajaran mendalam untuk mempelajari ciri relevan secara automatik dari data mental, menghapuskan keperluan untuk