Jika anda menampal dokumen kerja, nota pelanggan atau apa-apa maklumat sensitif ke dalam ChatGPT, Lockdown Mode ialah tetapan yang sepatutnya menghalang maklumat itu diseludup keluar oleh gesaan berperangkap. Penyelidik di Check Point Research (CPR) berkata mereka menemui cara untuk memintasnya, melalui bahagian aplikasi yang tidak dilindungi tetapan itu.
OpenAI sejak itu telah membuang kebenaran yang membolehkan teknik itu berfungsi. CPR menguji semula dan mengesahkan kaedah itu tidak lagi berkesan, dan berkata ia tidak menemui bukti kelemahan itu digunakan dalam serangan sebenar. Tiada apa yang perlu dikemas kini di pihak anda, tetapi penemuan ini peringatan berguna tentang sejauh mana satu suis keselamatan boleh dipercayai.
Kandungan
Apa yang sepatutnya dilakukan ChatGPT Lockdown Mode
Lockdown Mode ialah tetapan pilihan ChatGPT yang menyasarkan suntikan gesaan, iaitu arahan tersembunyi dalam halaman web, fail atau sembang yang dikongsi yang cuba membuat pembantu menyerahkan data anda kepada orang lain. Apabila dihidupkan, ChatGPT menyekat cara biasa data boleh keluar: akses web secara langsung, imej yang dimuatkan dari internet dan permintaan rangkaian daripada Canvas. Ia juga mematikan Deep Research, Agent Mode, penyambung langsung dan muat turun fail.
Bagaimana Check Point memintasnya
Titik lemahnya bukan model itu. Ia ialah sandbox yang digunakan ChatGPT untuk memaparkan pratonton kandungan HTML, komponen berasingan yang memaparkan halaman di dalam aplikasi. Menurut CPR, sandbox pratonton itu masih mempunyai kebenaran untuk membuka tetingkap pop timbul, dan pop timbul itu boleh dicapai melalui bingkai yang bersarang di dalam satu sama lain. Ini memberi penyerang jalan keluar yang tidak pernah ditutup oleh Lockdown Mode.
Serangan itu boleh bermula daripada gesaan berniat jahat, GPT tersuai berniat jahat atau sembang yang dikongsi, bergantung pada senario. Penyelidik menunjukkan beberapa hasil:
- Kebocoran data tanpa klik dalam aplikasi desktop: dalam aplikasi desktop ChatGPT, yang dibina atas Electron, pop timbul dibuka tanpa pengguna mengklik apa-apa. CPR menunjukkan GPT berniat jahat menghantar mesej sembang secara senyap ke pelayan yang dikawalnya sementara mangsa meneruskan perbualan seperti biasa.
- Tetingkap palsu yang meyakinkan: pop timbul penyerang boleh mengekalkan ikon aplikasi ChatGPT sambil memaparkan tajuk dan kandungan penyerang sendiri, menjadikan kemas kini aplikasi palsu atau mesej pancingan data kelihatan seperti datang daripada ChatGPT sendiri.
- Kecurian log masuk: CPR turut menunjukkan bagaimana tetingkap utama aplikasi boleh diarahkan supaya pengguna yang telah log keluar mendarat di halaman log masuk palsu.
Satu had perlu diketahui. Memasukkan perisian hasad ke dalam komputer melalui cara ini bukan tanpa klik: mangsa masih perlu mengklik pautan untuk memuat turun fail.
Mengapa satu suis keselamatan tidak mencukupi
Maksud Check Point lebih besar daripada satu pepijat. Kawalan yang dibina khusus untuk membendung suntikan gesaan dilemahkan oleh kelemahan di bahagian lain produk. Pembantu AI bukan lagi sekadar kotak sembang: ia kini hadir dengan aplikasi desktop, tetingkap pratonton, sandbox, pelaksanaan kod, muat naik fail dan penyambung ke perkhidmatan lain, dan setiap bahagian mempunyai peraturannya sendiri.
"Mengamankan AI tidak boleh berhenti pada model atau bergantung pada satu kawalan perlindungan," kata Pedro Drimel Neto, yang mengetuai analisis perisian hasad di Check Point Research. Jika orang percaya tetapan "lockdown" menutup segala-galanya, mereka mungkin berkongsi lebih daripada apa yang mampu dilindungi oleh bahagian lain aplikasi.
Ini penemuan kedua Check Point dalam seminggu tentang bagaimana alat AI dijadikan senjata terhadap penggunanya sendiri. Sebelum ini, syarikat itu menunjukkan penipu menanam talian bantuan syarikat penerbangan palsu yang muncul dalam jawapan AI, dan kedudukan terbarunya mendapati Microsoft disamar dalam satu daripada tiga cubaan pancingan data jenama.
Apa yang perlu dibuat jika anda menggunakan ChatGPT di tempat kerja
Bagi pengguna individu, pembaikan sudah dilaksanakan. Bagi syarikat, nasihat CPR ialah jangan anggap mana-mana mod "terhad" atau "selamat" sebagai dinding lengkap, sebaliknya susun perlindungan berlapis:
- Kenal apa yang digunakan: ketahui perkhidmatan AI mana yang digunakan kakitangan dan di mana maklumat syarikat dikongsi.
- Tetapkan peraturan data: tentukan maklumat apa yang boleh diberikan pekerja kepada perkhidmatan AI luar, dan kuat kuasakannya.
- Lihat seluruh aplikasi: semak aplikasi, sandbox, lapisan pratonton, alat dan penyambung di sekeliling model, bukan hanya pagar gesaannya.
- Terus uji semula: semak semula andaian setiap kali platform AI menambah ciri atau integrasi.
- Hadkan kerosakan: kurangkan maklumat sensitif yang boleh dicapai perkhidmatan AI, supaya satu kelemahan tidak mendedahkan semua yang boleh dilihat pengguna.
Tabiat paling mudah untuk orang lain ialah yang paling lama: jangan tampal apa-apa ke dalam sembang AI yang anda tidak mahu lihat keluar dari bilik, walau apa pun tetapan yang dihidupkan.
