一鍵“變臉”背后暗藏諸多風(fēng)險(xiǎn) AI換臉技術(shù)濫用亂象調(diào)查
“你是變臉溫崢嶸,那我是鍵背誰?”
演員溫崢嶸本人瀏覽短視頻時,意外發(fā)現(xiàn)“自己”正在直播。后暗I換她在評論區(qū)提出質(zhì)疑后,藏諸查被拉黑并踢出直播間。多風(fēng)而對方仍在用“她的險(xiǎn)A象調(diào)臉”直播帶貨。
溫崢嶸近期遭遇的臉技“冒牌直播”事件,是術(shù)濫AI換臉技術(shù)濫用的典型寫照。多個直播間出現(xiàn)冒用溫崢嶸形象的用亂AI換臉帶貨行為。其團(tuán)隊(duì)日均舉報(bào)50個假冒賬號并發(fā)出律師函,變臉可造假賬號仍屢禁不止,鍵背令她陷入“很難證明我是后暗I換我”的困境。
這一現(xiàn)象并非孤例。藏諸查《法治日報(bào)》記者近日調(diào)查發(fā)現(xiàn),多風(fēng)AI換臉與聲音克隆技術(shù)已形成一條涵蓋教程傳播與定制服務(wù)的險(xiǎn)A象調(diào)完整灰色產(chǎn)業(yè)鏈,對個人權(quán)益、平臺監(jiān)管等均構(gòu)成嚴(yán)重威脅。
換臉技術(shù)被用于違法犯罪
11月5日,溫崢嶸在短視頻賬號進(jìn)行3次以“我是真的溫崢嶸”為主題的直播,講述近期被AI偽造、換臉直播帶貨的經(jīng)歷。
此前,已有多位名人深受AI換臉困擾。主持人李梓萌的AI偽造形象出現(xiàn)在直播間,虛假宣傳深海魚油“能治病”;奧運(yùn)冠軍全紅嬋的聲音被AI克隆,用于售賣土雞蛋;醫(yī)生張文宏被換臉,其形象被用于在直播間售賣某款蛋白棒產(chǎn)品,銷量已過千。張文宏自述:“這些假的合成信息就像蝗災(zāi)一樣,一次又一次發(fā)生……”
11月14日,中央網(wǎng)信辦官方賬號發(fā)文表示,有網(wǎng)絡(luò)賬號利用AI技術(shù)仿冒公眾人物形象,在直播、短視頻等環(huán)節(jié)發(fā)布營銷信息,誤導(dǎo)網(wǎng)民,涉嫌虛假宣傳和網(wǎng)絡(luò)侵權(quán),嚴(yán)重破壞網(wǎng)絡(luò)生態(tài),造成不良影響。網(wǎng)信部門嚴(yán)厲處置一批違法違規(guī)網(wǎng)絡(luò)賬號。同時,督促網(wǎng)站平臺發(fā)布治理公告,舉一反三,開展集中清理整治,目前已累計(jì)清理相關(guān)違規(guī)信息8700余條,處置仿冒公眾人物賬號1.1萬余個。
AI換臉技術(shù)的濫用甚至延伸至刑事犯罪領(lǐng)域。2024年10月,江蘇省南京市玄武區(qū)人民法院審理的一起案件中,被告人符某非法獲取195萬條公民個人信息,利用AI換臉軟件生成動態(tài)人臉視頻,成功突破某金融支付平臺的人臉識別認(rèn)證系統(tǒng),登錄被害人的支付賬戶,盜刷銀行卡進(jìn)行消費(fèi)。法院以侵犯公民個人信息罪、信用卡詐騙罪數(shù)罪并罰,判處符某有期徒刑4年6個月。
2024年,內(nèi)蒙古鄂爾多斯一名消費(fèi)者遭遇AI換臉詐騙,險(xiǎn)些損失40余萬元。視頻通話中,不法分子利用AI換臉技術(shù)冒充該消費(fèi)者朋友,以資金周轉(zhuǎn)為由,誘騙其轉(zhuǎn)賬40余萬元。好在警方介入及時,未造成實(shí)際損失。
相關(guān)教程和服務(wù)遍布網(wǎng)絡(luò)
記者調(diào)查發(fā)現(xiàn),AI換臉與聲音克隆的教程及服務(wù)在網(wǎng)絡(luò)平臺流通。記者在各類社交平臺以“AI換臉”“聲音克隆”等為關(guān)鍵詞搜索時,雖然平臺會彈出官方提示,提醒用戶使用需“合法合規(guī)、注意辨別”“切勿輕信、謹(jǐn)防詐騙”,但相關(guān)內(nèi)容仍在網(wǎng)絡(luò)空間大量存在。
比如,有相當(dāng)數(shù)量以“AI科普”為標(biāo)簽的賬號在各平臺公開分享換臉教程。這些視頻通常詳細(xì)列出可訪問的網(wǎng)站地址,逐步演示操作流程,并附有技術(shù)細(xì)節(jié)說明,如建議用戶“盡量保證替換素材與原素材的人物尺寸一致、畫面干凈無遮擋”,以保證生成效果。
根據(jù)教程指引,記者登錄相關(guān)網(wǎng)站驗(yàn)證發(fā)現(xiàn),部分平臺確實(shí)免費(fèi)提供AI換臉或聲音制作服務(wù),支付幾十元購買會員后,還能解鎖去水印、高清放大等進(jìn)階功能。
除公開教程外,更為隱蔽的交易正通過網(wǎng)盤渠道進(jìn)行。
記者觀察到,有一些打包出售的“完整教程”價(jià)格低至8元,且賣家聲稱“沒有市面主流軟件那么多限制”。這類教程通常包括云端工作流地址資料和詳細(xì)的操作說明,以及圖片去AI化、舞蹈動作模仿、人臉精修等擴(kuò)展功能與相關(guān)的提示詞教學(xué)。
聲音克隆類的教程售價(jià)低至9.9元,并在宣傳中強(qiáng)調(diào)“支持任何形象和聲音”。記者詢問商家了解到,只要購買此安裝包,無需注冊會員即可免費(fèi)破解使用對口型、克隆音色等功能。據(jù)商家描述,只需提供一段音頻文件,系統(tǒng)便可以在無身份認(rèn)證的情況下進(jìn)行克隆,單次支持30秒音頻,且不限次數(shù)。
為驗(yàn)證此類教程的實(shí)際應(yīng)用效果,記者購買了一份標(biāo)價(jià)8元的換臉教程。該教程包含一段5分鐘的視頻教程和兩份文字材料,明確提供了平臺訪問鏈接、新用戶福利信息和操作步驟,并特別注明“對敏感詞限制極少”“生成內(nèi)容無水印”。
記者發(fā)現(xiàn),該平臺提供多種功能模板,內(nèi)容涵蓋替換視頻人物、給人物指定部位更換衣物、對圖片中人物身體部位進(jìn)行放大或動態(tài)處理等不同功能。每個模板均配備相應(yīng)的提示詞教學(xué)和詳細(xì)操作步驟,用戶只需上傳參考圖片、視頻或待處理素材,等待一段時間即可生成內(nèi)容。
記者實(shí)測使用一段時長5秒的視頻進(jìn)行換裝操作,約3分鐘后成功生成視頻。畫面中,人物動作與神態(tài)還原度很高,被遮擋部位的服裝貼合效果也較為自然、精準(zhǔn)。
記者注意到,該平臺內(nèi)容生成功能采用運(yùn)行時長計(jì)費(fèi)模式,每秒收費(fèi)0.2虛擬幣。教程中附有專屬邀請碼,使用者可憑此免費(fèi)領(lǐng)取1000虛擬幣。平臺還設(shè)置了虛擬幣獎勵機(jī)制:每天登錄贈送100虛擬幣,邀請新用戶可獲500虛擬幣。
更換表述可繞過審核機(jī)制
電商平臺上,有商家為AI換臉服務(wù)披上偽裝售賣。
在某購物平臺,記者直接搜索“AI換臉”,顯示無任何結(jié)果。但記者觀察到,有部分商家會在商品詳情頁用表情符號隱喻其能提供換臉“服務(wù)”;也有商家以“啥都能做”“不限視頻內(nèi)容,懂的都懂”為宣傳語,暗示私聊客服了解商品詳情。
記者了解到,10秒換臉視頻報(bào)價(jià)從15元至300元不等。例如,有商家提出,20秒內(nèi)視頻(包括僅生成音頻的)統(tǒng)一收費(fèi)80元;部分商家還推出298元200分鐘生成時長、490元年卡等套餐,承諾“一對一教學(xué)指導(dǎo)”,宣傳語中不乏“讓朋友客戶難辨真?zhèn)巍钡日T導(dǎo)性表述。多數(shù)商家僅核查素材內(nèi)容,對用途與來源未作甄別。
為深入了解AI工具自身的內(nèi)容審核機(jī)制,記者對用戶使用較多的10款文生圖、文生視頻AI工具進(jìn)行實(shí)測,以對明星“一鍵變臉”等指令測試其技術(shù)邊界與審核能力。
結(jié)果顯示,僅一款A(yù)I工具明確拒絕生成真實(shí)公眾人物虛擬圖像。部分應(yīng)用在簡單操作后,即可生成高度逼真的明星虛假內(nèi)容。
例如,“即×”起初會以“涉及肖像權(quán)”為由拒絕明星換臉、變裝指令,但記者選擇替代選項(xiàng)后仍可生成;“豆×”“文×”等直接執(zhí)行指令且無顯著風(fēng)險(xiǎn)提示;“通×”“天×”等僅在生成內(nèi)容角落位置標(biāo)注不清晰的“AI生成”字樣。
值得注意的是,部分AI工具在首次接收到涉及真實(shí)人物的指令時會予以拒絕,但通過選擇平臺的替代選項(xiàng)或更換表述,用戶仍可繞過初始限制,實(shí)現(xiàn)圖片或視頻生成。
有平臺方公開回應(yīng)稱,AI內(nèi)容侵權(quán)識別屬于行業(yè)性技術(shù)難題,惡意仿冒賬號在持續(xù)與平臺進(jìn)行技術(shù)對抗,未來會持續(xù)加大技術(shù)投入,積極應(yīng)對挑戰(zhàn),維護(hù)創(chuàng)作者、商家及消費(fèi)者的合法權(quán)益。
本報(bào)記者 趙 麗
本報(bào)實(shí)習(xí)生 王藝霏
來源: 法治日報(bào)法治經(jīng)緯 更多精彩內(nèi)容請進(jìn)入社會新聞
-
小米YU7 Max紫水晶首秀實(shí)拍 雷軍:近50小時手工打磨 工藝媲美勞斯萊斯和賓利買了特斯拉Model Y快一年還不推FSD 陳震:期貨 遙遙無期的“期”中新人物丨馬龍,講不出再見法拉利博物館落戶北京城市副中心:亞洲首家 概念圖像汽車一級致癌物!廉價(jià)合金首飾鎘元素超標(biāo)9000多倍(粵港澳全運(yùn)會)從粵港澳看洛杉磯 中國軍團(tuán)未來可期烏方:美烏近日將在瑞士舉行會談李斌:如果能穿越回2017年 做個增程多掙點(diǎn)錢也挺好小米汽車副總裁“辟謠”:小米汽車致8人死亡系謠言 公關(guān)總經(jīng)理徐潔云現(xiàn)身附和中華人民共和國第十五屆運(yùn)動會閉幕
- ·首臺國產(chǎn)芯電競主機(jī)!雷神黑武士 獵刃Pro發(fā)布:海光C86 CPU 玩《黑神話》無壓力
- ·微軟Windows記事本迎重磅新功能!可原生創(chuàng)建表格
- ·泰坦軍團(tuán)新款27寸顯示器首發(fā)799元:2K 200Hz屏 支持HDR 500
- ·女子編造在三亞潛水被拔氧氣管 警方通報(bào):行拘5日
- ·機(jī)械革命無界14S斗戰(zhàn)版上新:酷睿i5
- ·近六百位臺商聚清遠(yuǎn)助“融灣發(fā)展” 現(xiàn)場簽約近9億元
- ·漫評:全運(yùn)躍“伶仃”,同心赴未來
- ·第三屆生態(tài)資產(chǎn)管理與中國式現(xiàn)代化戰(zhàn)略咨詢會閩北舉行
- ·《紅警》尤里演員去世 小島秀夫:事發(fā)突然語塞凝噎
- ·新舟60西南增雨機(jī)完成首飛:轉(zhuǎn)入科研試飛階段
- ·小米辟謠汽車工廠內(nèi)電池產(chǎn)線起火:操作失誤致AGV車托運(yùn)的電池包起火
- ·廣汽豐田以“油電同強(qiáng)”破局,雙線驗(yàn)證戰(zhàn)略成功
- ·京東工業(yè)IPO通過聆訊 劉強(qiáng)東將迎第6個上市公司
- ·75歲臺積電核心老臣被曝?cái)y20箱機(jī)密投奔Intel:真相來了!
- ·首臺國產(chǎn)芯電競主機(jī)!雷神黑武士 獵刃Pro發(fā)布:海光C86 CPU 玩《黑神話》無壓力
- ·海韻準(zhǔn)備無風(fēng)扇的1000W電源:80PLUS鈦金認(rèn)證
- ·最強(qiáng)Mate來了!華為Mate 80發(fā)布會將在線上舉行:明天見
- ·2025菠蘿科學(xué)獎得主:“抽象”設(shè)想亦具研究價(jià)值
- ·男子舌頭天生異常:下面竟然長著兩條“流蘇”!
- ·一萬多買頂配M5 MacBook Pro:不到一個月就有異響!換機(jī)遭拒
- ·2025開放原子開發(fā)者大會開源鴻蒙技術(shù)分論壇:AI賦能筑智基 生態(tài)共榮啟新篇
- ·官宣!不起火、續(xù)航超過1000公里的電車要來了:你還買油車嗎
- ·男子11.11元秒殺小米冰箱遭拒發(fā) 客服:系統(tǒng)配置錯誤 補(bǔ)償30元
- ·2025年新手vlog相機(jī)排行榜TOP5!聚焦“操作簡單”與“直出好畫質(zhì)”
- ·日本“最小存儲卡”大賽結(jié)果出爐: 0.5MB SM卡奪冠
- ·新舟60西南增雨機(jī)完成首飛:轉(zhuǎn)入科研試飛階段
- ·男子11.11元秒殺小米冰箱遭拒發(fā) 客服:系統(tǒng)配置錯誤 補(bǔ)償30元
- ·國產(chǎn)GPU第一股來了!摩爾線程下周一啟動申購
- ·俞敏洪回應(yīng)用員工血汗錢旅游:老板們也在拼命努力 我熬夜時間一定不比你少
- ·豐田旗艦 用上華為車機(jī)
- ·小米汽車夜間突然遇到“消失的前車+多車連撞事故現(xiàn)場”怎么辦!雷軍發(fā)視頻展示輔助駕駛能力
- ·小米辟謠汽車工廠內(nèi)電池產(chǎn)線起火:操作失誤致AGV車托運(yùn)的電池包起火
- ·中國推動全球林木業(yè)產(chǎn)業(yè)鏈供應(yīng)鏈穩(wěn)定暢通
- ·小車間承載大民生 湖南江華55家企業(yè)讓移民掙錢顧家兩不誤
- ·報(bào)告:全球能源轉(zhuǎn)型呈現(xiàn)從低碳向零碳的發(fā)展趨勢
- ·曾罵自家員工是蒼蠅被開除 前極越公關(guān)負(fù)責(zé)人徐繼業(yè)加盟一畝田
