“上當受騙了!沒想到視頻切片里‘專家推薦說辭’居然是AI造假。”00后小高憤怒地將購買的減肥產品扔進垃圾桶。


小高告訴新京報貝殼財經記者,自己之所以心動,源于看見《國醫少年志》視頻切片里推薦了這款減肥產品,結果未見效果反而被包裝營銷暗算。“原以為有專家背書的商品不會差,結果發現這些說辭居然是AI工具模仿語音篡改形成,專家根本就沒說過這些話。”


隨著《一路繁花》《國醫少年志》等綜藝節目出圈,減肥、養生成為話題,但是短視頻平臺上不少節目切片卻開始“變味”,借著類似節目的噱頭暗中推薦保健商品,甚至宣稱“絕對有效”。


實際上,這些視頻切片大多為移花接木,內容看似是節目片段,但專家話術、字幕等細節卻是商家以AI技術進行篡改,進而植入品牌和帶貨。


“部分商家和視頻主抓住消費者追求健康的心態,借以‘權威’‘專業’噱頭讓消費者信以為真,繼而陷入其所設下的陷阱。”從事電商工作多年的蔣凌告訴新京報貝殼財經記者,如今短視頻平臺中確實充斥大量類似切片,甚至不乏修改名人語音進行商品帶貨的現象,“受此影響,不但多位名人和節目IP被造假,消費者權益也在不知情中受到傷害,而唯一獲利的只有惡意植入的品牌商。”


短視頻中的切片內容,同一片段被植入品牌。截圖


加句臺詞,綜藝切片包裝出“明星代言”


因為肥胖,小高經常上網尋找各種減肥方法和藥物。一次瀏覽短視頻時,他無意中看到視頻切片介紹一檔名為《國醫少年志》的綜藝節目,其中,中醫專家介紹如何有效減小肚子贅肉時,除了介紹白蘿卜、山楂干、紅棗等食材用以煮水飲用能控制體重外,還特意推銷一款名為“蔻敘堂丁香膏”的減肥產品。


“資深中醫在視頻里肯定表示‘早晚各一次,一個多月肚子就平了’,加上節目IP和多位藝人的背書,效果應該差不了。”心動的小高當即根據品牌名在電商平臺搜索并花費20多元下了一單。幾天體驗后,小高發現減肥效果遠沒有視頻宣傳般明顯,體重沒有絲毫變化。


和小高有著類似經歷的,還有00后女孩張伊。她告訴貝殼財經記者,自己也是在刷綜藝節目《一路繁花》的短視頻切片時,被劉曉慶在聚會時所提及的一款商品“種草”,但真正體驗后發現沒有任何效果。


貝殼財經記者調查發現,類似視頻切片在短視頻平臺中比比皆是,但是眼見并非為實。近段時間,《一路繁花》《國醫少年志》等綜藝節目中健康養生類知識通過短視頻傳播,被一眾消費者所追捧,也讓他們成為部分商家收割的對象。


貝殼財經記者在短視頻平臺上搜索發現,不少非節目官方所發布的切片里夾藏大量“私貨”,視頻主通過AI技術更換專家語音和字幕,將涉及體重管理、祛濕等保健類商品經過包裝成功實現“名人帶貨”。


以《國醫少年志》一期節目中專家介紹如何有效改善大腿過粗為例。原視頻中專家推薦蘋果、生姜、紅棗等食品通過水煮飲用的方式起到提升代謝作用,但在部分視頻切片里,專家的話直接被篡改,特意加了“資藥堂(的赤菊膏)就很不錯”的短短一句話。


移花接木的招數也出現在《一路繁花》的視頻切片中。劉曉慶在聚餐時吃魚的片段,一款名為“詩諾千君貼”的商品被植入,并在字幕中顯示“提高代謝水平”“年輕人可以試試”,同樣實現明星帶貨的效果。


劉曉慶在聚餐時吃魚的片段,被一款名為“詩諾千君貼”的商品植入。截圖


AI悄然篡改視頻內容,模糊了視頻真假的邊界,也迷惑了不少消費者。貝殼財經記者注意到,上當的網友在社交平臺上吐槽“純智商稅”“節目組推銷劣質商品”等,質疑產品的同時也將矛頭直指節目組。


對此,《國醫少年志》官方發文表示,部分社交媒體上營銷賬號未經授權擅自剪輯節目圖片、視頻實施產品推廣行為,歪曲了節目內容。節目組從未授權任何第三方賬號利用節目內容宣傳相關的任何產品,“任何非我司官方賬號或非節目原片所發布的我司及與我司合作生產相關產品的信息均為虛假信息。”


 AI變聲“零門檻”,僅需元可隨意模仿


一個節目片段就能假冒名人帶貨,再次暴露了AI合成聲音濫用的問題。


“這些商品利用人們對身體健康的關注心態,通過AI篡改臺詞和字幕,以‘專業’‘權威’的噱頭讓消費者信以為真,進而陷入銷售陷阱。”電商從業者蔣凌說。


近日,貝殼財經記者在短視頻平臺以“AI克隆聲音”為關鍵詞檢索發現大量涉及AI合成聲音的視頻,一條“10秒鐘克隆任何聲音”的視頻講解顯示,AI技術可將聲音調整為孫悟空、曹操、哪吒等多個角色。


隨著人工智能技術普及,AI模擬聲音的門檻也大幅降低,甚至軟件都能隨處下載。通過一些開源軟件和平臺,普通用戶即使沒有專業知識以及成本就能輕松操作。


貝殼財經記者在社交平臺上搜索發現多個AI合成聲音軟件的廣告和下載渠道,價格也僅需幾元到數十元。不少廣告更是標榜“可隨意模仿明星語音”“通過一句話就可以克隆出任何聲音”等噱頭。


為調查所需,貝殼財經記者下載了一款在GitHub上開源的聲音克隆軟件。體驗過程中,貝殼財經記者上傳了一段由本人播報的3分鐘錄音,在經過AI模型訓練后,成功得到了這一聲音的模型文件。此后只需輸入任意文字,軟件即可實現這一聲音的口播內容。


貝殼財經記者發現,AI生成的語音模型連錄制者在發音時的吐字習慣也能模仿。對于一些較短的語句,很難識別出這是機器合成的語音。相比之下,生成長語句時,則會出現瑕疵。盡管如此,只要多次生成,再從中挑選合成效果較好的語句,也能以假亂真。


社交平臺上不少公眾人物的聲音已被AI克隆,其中“如何模仿雷軍說話”“讓明星給你播新聞”的視頻軟件教學和推廣并不難尋。


貝殼財經記者注意到,這些軟件操作流程頗為簡單,使用者僅需對著鏡頭錄制一段話,數秒鐘后這些話通過AI技術就能變成某位名人的聲音。值得注意的是,類似軟件錄入名人聲音時沒有任何授權證明,這意味著這些人根本不知道自己的聲音已被冒用。


實際上,早前就有利用軟件修改的明星靳東聲音與“粉絲”互動,詐騙老年人近百萬元。另外利用AI模仿國家傳染病醫學中心主任張文宏的聲音吐槽熱門話題,也曾引發關注。


一位AI領域從業者告訴貝殼財經記者,AI能夠克隆聲音源于其能通過深度學習算法,從采集的聲音樣本中提取頻率、音色、聲調等關鍵特征,再將這些特征記錄進行合成,“《一路繁花》《國醫少年志》等綜藝節目中所出現的品牌植入,正是通過類似手段。”


“無論網友將AI模擬人聲用于惡搞以追逐流量,還是克隆名人聲音用以帶貨,都對聲音‘原主’和消費者帶來不良影響。發布者除了獲得流量曝光和廣告收入外,不乏假借身份傳播虛假消息,從而實現詐騙目的。”上述人士表示。


圍獵中老年,“AI換臉擬聲”亟待治理


隱形的賣貨方式以及真真假假的劇情,讓不熟悉AI技術的中老年人很難辨別,也就成了被圍獵的對象。


多位電商從業者接受采訪時坦言,此類商家的目標群體主要為追求身體健康的人群,其中又以中老年人群體為主。通過打造權威專家人設發布“時事點評”“健康養生”等內容,以吸引銷售目標的關注,最終再以視頻流量分成和櫥窗帶貨的模式變現。


“父母聽信‘專家視頻’買回一堆保健品,甚至還到處推薦身邊朋友購買。”一位網友吐槽稱,家中長輩對于AI不了解,認為視頻內容和說辭都是真的,甚至當家里人再三解釋視頻是偽造時,也會固執地堅信沒有上當,“根本勸不住,AI語音騙局對老年人簡直就是降維打擊。”


值得注意的是,類似商品不乏資質存疑、廠商成謎的情況。貝殼財經記者搜索一款同樣由AI語音植入的益生菌品牌時注意到,產品鏈接跳轉至商城頁面后出現多款宣傳封面、產品包裝、文案說辭幾乎一樣的商品,生產廠商卻并不相同,很難讓人判斷出真偽。


“消費者在觀看視頻時下單往往屬于沖動消費,其本質更多出于對藝人和專業人士背書的信任。然而,對商品真實效果、品質優劣、是否適用于自身等情況并不清楚。”蔣凌告訴貝殼財經記者,商家選擇類似傳播渠道無疑比花錢打廣告效果更好,成本也更加低廉,“當消費者反應過來時,商家已完成了快速傳播、收割變現,甚至注銷跑路的營銷閉環。”


無論對于中老年人還是年輕網友而言,AI合成語音比早前的AI換臉視頻更難辨別,稍不注意就容易中招。


2024年4月,北京互聯網法院宣判全國首例“AI聲音侵權案”,明確認定在具備可識別性的前提下,自然人聲音權益的保護范圍可及于AI生成聲音。法院認為,未經權利人許可,擅自使用或許可他人使用錄音制品中的聲音構成侵權。


今年兩會期間,全國人大代表、小米集團創始人雷軍建議“加強‘AI換臉擬聲’違法侵權治理”,并表示他本人也曾是“AI換臉擬聲”的“受害者”。


貝殼財經記者了解到,早前短視頻平臺上曾出現大量“雷軍AI配音”的惡搞視頻,涉及堵車、調休、游戲等熱門話題,雷軍兩會期間回應,“一開始我還覺得這是網民喜聞樂見的一種方式,但是隨著內容越來越多,網友們也都在投訴。”為此,他呼吁盡快出臺相關治理措施。


同樣,全國政協委員靳東也回應了AI換臉導致的詐騙問題,并表示“一些喜歡我影視劇的觀眾,被AI換臉視頻騙得很慘,這個性質非常惡劣,希望能建立更好的規則。”


河南澤槿律師事務所主任付建告訴貝殼財經記者,通過AI技術冒用他人聲音的行為屬于違法行為。根據《中華人民共和國民法典》,對自然人聲音的保護參照適用肖像權保護的有關規定。而商家利用AI篡改專家說辭進行直播賣貨既侵犯了專家有關聲音的人格權益,也可能損害了專家的名譽權以及肖像權。同時,這種打廣告的行為也涉及虛假廣告宣傳,如果所賣商品沒有宣傳效果還構成消費者欺詐,違反了《反不正當競爭法》和《消費者權益保護法》有關規定,有可能面臨罰款、吊銷營業執照等行政責任以及相應的民事賠償責任,情節嚴重的還涉及刑事犯罪。


“平臺有權依據《互聯網信息服務管理辦法》《電子商務法》以及平臺規則履行監管義務,對違法商家采取封禁賬號、限流等處理措施。如果未及時采取合理措施導致損害擴大的,對擴大部分與不法商家承擔連帶責任。”付建說。


新京報貝殼財經記者 覃澈 編輯 王進雨 校對 付春愔