• Breaking News

    Pelatihan permusuhan mengurangi keamanan jaringan saraf dalam robot

     

    Artikel ini adalah bagian dari  ulasan makalah penelitian AI kami , serangkaian postingan yang mengeksplorasi temuan terbaru dalam kecerdasan buatan.

    Ada minat yang semakin besar untuk menggunakan robot seluler otonom di lingkungan kerja terbuka seperti gudang, terutama dengan kendala yang ditimbulkan oleh pandemi global. Dan berkat kemajuan dalam algoritme pembelajaran mendalam dan teknologi sensor, robot industri menjadi lebih fleksibel dan lebih murah.

    Namun keselamatan dan keamanan tetap menjadi dua perhatian utama dalam robotika. Dan metode saat ini yang digunakan untuk mengatasi kedua masalah ini dapat menghasilkan hasil yang bertentangan, demikian temuan para peneliti di Institut Sains dan Teknologi Austria, Institut Teknologi Massachusetts, dan Technische Universitat Wien, Austria.

    Di satu sisi, insinyur pembelajaran mesin harus melatih model pembelajaran mendalam mereka pada banyak contoh alami untuk memastikan mereka beroperasi dengan aman dalam kondisi lingkungan yang berbeda. Di sisi lain, mereka harus melatih model yang sama pada contoh permusuhan untuk memastikan aktor jahat tidak dapat membahayakan perilaku mereka dengan gambar yang dimanipulasi.

    Tetapi pelatihan permusuhan dapat memiliki dampak negatif yang signifikan pada keselamatan robot, para peneliti di IST Austria, MIT, dan TU Wien membahas dalam makalah berjudul " Pelatihan Adversarial Tidak Siap untuk Pembelajaran Robot ." Makalah mereka, yang telah diterima di Konferensi Internasional tentang Robotika dan Otomasi (ICRA 2021), menunjukkan bahwa lapangan membutuhkan cara baru untuk meningkatkan ketahanan musuh di jaringan saraf dalam yang digunakan dalam robotika tanpa mengurangi keakuratan dan keamanannya.

    Pelatihan permusuhan

    Jaringan neural dalam memanfaatkan keteraturan statistik dalam data untuk melakukan tugas prediksi atau klasifikasi. Ini membuat mereka sangat pandai menangani tugas-tugas computer vision seperti mendeteksi objek. Tetapi ketergantungan pada pola statistik juga membuat jaringan saraf peka terhadap contoh permusuhan.

    Contoh permusuhan adalah gambar yang telah dimodifikasi secara halus untuk menyebabkan model deep learning salah mengklasifikasikannya. Ini biasanya terjadi dengan menambahkan lapisan noise ke gambar normal. Setiap piksel gangguan mengubah nilai numerik gambar sangat sedikit, cukup untuk tidak terlihat oleh mata manusia. Tetapi ketika ditambahkan bersama-sama, nilai noise mengganggu pola statistik gambar, yang kemudian menyebabkan jaringan saraf salah mengartikannya sebagai sesuatu yang lain.

    Contoh dan serangan permusuhan telah menjadi topik hangat diskusi di konferensi keamanan dan kecerdasan buatan. Dan ada kekhawatiran bahwa serangan musuh dapat menjadi masalah keamanan yang serius karena pembelajaran mendalam menjadi lebih menonjol dalam tugas-tugas fisik seperti robotika dan mobil yang dapat mengemudi sendiri . Namun, menangani kerentanan permusuhan tetap menjadi tantangan.

    Salah satu metode pertahanan yang paling terkenal adalah “pelatihan permusuhan,” sebuah proses yang menyempurnakan model pembelajaran mendalam yang telah dilatih sebelumnya pada contoh-contoh permusuhan. Dalam pelatihan permusuhan, program menghasilkan serangkaian contoh permusuhan yang salah diklasifikasikan oleh jaringan saraf target. Jaringan neural kemudian dilatih ulang tentang contoh tersebut dan label yang benar. Menyempurnakan jaringan neural pada banyak contoh permusuhan akan membuatnya lebih kuat melawan serangan permusuhan.

    Pelatihan adversarial menghasilkan sedikit penurunan keakuratan prediksi model deep learning. Tetapi degradasi dianggap sebagai pertukaran yang dapat diterima untuk kekuatan yang ditawarkannya terhadap serangan musuh.

    Dalam aplikasi robotika, bagaimanapun, pelatihan permusuhan dapat menyebabkan efek samping yang tidak diinginkan.

    “Dalam banyak pembelajaran mendalam, pembelajaran mesin, dan literatur kecerdasan buatan, kami sering melihat klaim bahwa 'jaringan saraf tidak aman untuk robotika karena rentan terhadap serangan musuh' untuk membenarkan beberapa verifikasi baru atau metode pelatihan permusuhan," Mathias Lechner , Ph.D. siswa di IST Austria dan penulis utama makalah, mengatakan kepada TechTalks dalam komentar tertulis. “Meskipun secara intuitif, klaim tersebut terdengar benar, 'metode pengukuhan' ini tidak datang secara gratis, tetapi dengan hilangnya kapasitas model atau akurasi yang bersih (standar).”

    Lechner dan rekan penulis makalah lainnya ingin memverifikasi apakah tradeoff akurasi yang bersih vs kuat dalam pelatihan permusuhan selalu dibenarkan dalam robotika. Mereka menemukan bahwa sementara praktik meningkatkan ketahanan permusuhan model pembelajaran mendalam dalam tugas klasifikasi berbasis visi, praktik tersebut dapat memperkenalkan profil kesalahan baru dalam pembelajaran robot.

    Pelatihan permusuhan dalam aplikasi robotik

    Katakanlah Anda memiliki jaringan neural konvolusional terlatih dan ingin menggunakannya untuk mengklasifikasikan sekumpulan gambar yang disimpan dalam folder. Jika jaringan saraf terlatih dengan baik, itu akan mengklasifikasikan sebagian besar dengan benar dan mungkin membuat beberapa salah.

    Sekarang bayangkan seseorang memasukkan dua lusin contoh permusuhan ke dalam folder gambar. Aktor jahat dengan sengaja memanipulasi gambar ini untuk menyebabkan jaringan saraf salah mengklasifikasikannya. Jaringan saraf normal akan jatuh ke dalam perangkap dan memberikan keluaran yang salah. Tetapi jaringan saraf yang telah menjalani pelatihan permusuhan akan mengklasifikasikan sebagian besar dari mereka dengan benar. Namun, mungkin terlihat sedikit penurunan performa dan salah mengklasifikasikan beberapa gambar lainnya.

    Dalam tugas klasifikasi statis, di mana setiap gambar input independen satu sama lain, penurunan performa ini tidak terlalu menjadi masalah selama kesalahan tidak terjadi terlalu sering. Namun dalam aplikasi robotik, model pembelajaran yang dalam berinteraksi dengan lingkungan yang dinamis. Gambar yang dimasukkan ke jaringan saraf datang dalam urutan kontinu yang bergantung satu sama lain. Pada gilirannya, robot memanipulasi lingkungannya secara fisik.

    "Dalam robotika, kesalahan 'di mana' terjadi, dibandingkan dengan visi komputer yang terutama menyangkut jumlah kesalahan," kata Lechner.

    Misalnya, pertimbangkan dua jaringan neural, A dan B, masing-masing dengan tingkat kesalahan 5 persen. Dari perspektif pembelajaran murni, kedua jaringan sama-sama bagus. Namun dalam tugas robotik, di mana jaringan berjalan dalam satu putaran dan membuat beberapa prediksi per detik, satu jaringan dapat mengungguli yang lain. Misalnya, kesalahan jaringan A mungkin terjadi secara sporadis, yang tidak akan terlalu bermasalah. Sebaliknya, jaringan B mungkin membuat beberapa kesalahan secara berurutan dan menyebabkan robot crash. Meskipun kedua jaringan saraf memiliki tingkat kesalahan yang sama, yang satu aman dan yang lainnya tidak.

    Masalah lain dengan metrik evaluasi klasik adalah bahwa metrik tersebut hanya mengukur jumlah kesalahan klasifikasi yang salah yang disebabkan oleh pelatihan adversarial dan tidak memperhitungkan margin kesalahan.

    "Dalam robotika, penting untuk mengetahui seberapa banyak kesalahan yang menyimpang dari prediksi yang benar," kata Lechner. “Misalnya, jaringan kami salah mengklasifikasikan truk sebagai mobil atau pejalan kaki. Dari perspektif pembelajaran murni, kedua skenario dihitung sebagai kesalahan klasifikasi, tetapi dari perspektif robotika, kesalahan klasifikasi sebagai pejalan kaki dapat memiliki konsekuensi yang jauh lebih buruk daripada kesalahan klasifikasi sebagai mobil. ”

    Kesalahan yang disebabkan oleh pelatihan permusuhan

    Para peneliti menemukan bahwa "pelatihan keamanan domain", bentuk yang lebih umum dari pelatihan permusuhan, memperkenalkan tiga jenis kesalahan dalam jaringan saraf yang digunakan dalam robotika: sistemik, sementara, dan bersyarat.

    Kesalahan transien menyebabkan pergeseran mendadak keakuratan jaringan saraf. Kesalahan bersyarat akan menyebabkan model pembelajaran yang dalam menyimpang dari kebenaran dasar di area tertentu. Dan kesalahan sistemik membuat pergeseran di seluruh domain dalam akurasi model. Ketiga jenis kesalahan tersebut dapat menyebabkan risiko keselamatan.

    Untuk menguji efek temuan mereka, para peneliti menciptakan robot eksperimental yang seharusnya memantau lingkungannya, membaca perintah gerakan, dan bergerak tanpa menemui hambatan. Robot tersebut menggunakan dua jaringan saraf. Jaringan saraf konvolusional mendeteksi perintah gerakan melalui input video yang berasal dari kamera yang dipasang di sisi depan robot. Jaringan saraf kedua memproses data yang berasal dari sensor lidar yang dipasang pada robot dan mengirimkan perintah ke motor dan sistem kemudi.

    Para peneliti menguji jaringan saraf pemrosesan video dengan tiga tingkat pelatihan permusuhan yang berbeda. Temuan mereka menunjukkan bahwa akurasi bersih dari jaringan saraf menurun drastis seiring dengan peningkatan tingkat pelatihan permusuhan. “Hasil kami menunjukkan bahwa metode pelatihan saat ini tidak dapat menerapkan ketahanan permusuhan non-sepele pada pengklasifikasi gambar dalam konteks pembelajaran robotik,” tulis para peneliti.

    “Kami mengamati bahwa jaringan visi kami yang dilatih secara berlawanan berperilaku sangat berlawanan dengan apa yang biasanya kami pahami sebagai 'kuat',” kata Lechner. “Misalnya, secara sporadis menghidupkan dan mematikan robot tanpa perintah yang jelas dari operator manusia untuk melakukannya. Dalam kasus terbaik, perilaku ini mengganggu, dalam kasus terburuk membuat robot crash. "

    Jaringan saraf berbasis lidar tidak menjalani pelatihan permusuhan, tetapi dilatih untuk menjadi ekstra aman dan mencegah robot bergerak maju jika ada objek di jalurnya. Hal ini mengakibatkan jaringan saraf menjadi terlalu defensif dan menghindari skenario jinak seperti lorong sempit.

    “Untuk jaringan terlatih standar, lorong sempit yang sama tidak menjadi masalah,” kata Lechner. “Selain itu, kami tidak pernah mengamati jaringan terlatih standar untuk menabrak robot, yang lagi-lagi mempertanyakan keseluruhan poin mengapa kami melakukan pelatihan permusuhan di tempat pertama.”

    Pekerjaan masa depan pada ketahanan permusuhan

    “Kontribusi teoritis kami, meskipun terbatas, menunjukkan bahwa pelatihan permusuhan pada dasarnya menimbang kembali pentingnya bagian yang berbeda dari domain data,” kata Lechner, menambahkan bahwa untuk mengatasi efek samping negatif dari metode pelatihan permusuhan, peneliti pertama-tama harus mengakui bahwa ketahanan adversarial adalah tujuan sekunder, dan akurasi standar yang tinggi harus menjadi tujuan utama di sebagian besar aplikasi.

    Pembelajaran mesin adversarial tetap menjadi area penelitian aktif. Ilmuwan AI telah mengembangkan berbagai metode untuk melindungi model pembelajaran mesin dari serangan musuh, termasuk arsitektur yang terinspirasi ilmu saraf , metode generalisasi modal , dan peralihan acak antara berbagai jaringan saraf. Waktu akan memberi tahu apakah salah satu dari metode ini atau yang akan datang akan menjadi standar emas ketahanan permusuhan.

    Masalah yang lebih mendasar, juga dikonfirmasi oleh Lechner dan rekan penulisnya, adalah kurangnya kausalitas dalam sistem pembelajaran mesin . Selama jaringan saraf fokus pada mempelajari pola statistik dangkal dalam data, jaringan tersebut akan tetap rentan terhadap berbagai bentuk serangan permusuhan. Mempelajari representasi kausal mungkin merupakan kunci untuk melindungi jaringan saraf dari serangan musuh. Tetapi mempelajari representasi kausal itu sendiri merupakan tantangan besar dan para ilmuwan masih mencoba mencari cara untuk menyelesaikannya.

    “Kurangnya kausalitas adalah bagaimana kerentanan permusuhan berakhir di jaringan di tempat pertama,” kata Lechner. “Jadi, mempelajari struktur sebab-akibat yang lebih baik pasti akan membantu ketahanan permusuhan.”

    “Namun,” dia menambahkan, “kita mungkin mengalami situasi di mana kita harus memutuskan antara model kausal dengan akurasi yang lebih rendah dan jaringan standar yang besar. Jadi, dilema yang dijelaskan oleh makalah kami juga perlu ditangani saat melihat metode dari domain pembelajaran kausal. "

    Sumber: https://bdtechtalks.com/2021/03/22/adversarial-training-robot-learning/

    No comments

    Post Top Ad

    Post Bottom Ad