中新網(wǎng)上海新聞7月5日電(記者  姜煜)7月5日，在上海舉辦的2024世界人工智能大會(huì)“邁向AGI：大模型煥新與產(chǎn)業(yè)賦能論壇”上，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布大模型安全一體化解決方案“蟻天鑒”2.0版。

　　據(jù)了解，蟻天鑒2.0新增AI鑒真功能，支持圖像、視頻等多模態(tài)內(nèi)容真實(shí)性及深度偽造檢測(cè)；并在測(cè)評(píng)功能上持續(xù)升級(jí)，打造了大模型安全測(cè)評(píng)“智能體”，并新增大模型X光、大模型基礎(chǔ)設(shè)施測(cè)評(píng)兩大測(cè)評(píng)功能。至此，蟻天鑒2.0形成了包括大模型基礎(chǔ)設(shè)施測(cè)評(píng)、大模型X光測(cè)評(píng)、應(yīng)用安全測(cè)評(píng)、AIGC濫用檢測(cè)、證件偽造檢測(cè)、圍欄防御等在內(nèi)的完整技術(shù)鏈條，面向行業(yè)提供全方位智能化的大模型安全測(cè)評(píng)和防御解決方案。

　　螞蟻集團(tuán)副總裁、大安全技術(shù)部總裁李俊奎現(xiàn)場(chǎng)發(fā)布了這一升級(jí)產(chǎn)品，據(jù)他介紹，大模型和Agent智能體正帶給我們前所未見(jiàn)的智能體驗(yàn)，同時(shí)也帶來(lái)了模型內(nèi)部幻覺(jué)、安全漏洞和深度生成內(nèi)容濫用等新的挑戰(zhàn)。蟻天鑒旨在打造AI大模型的安全鎧甲，確保大模型技術(shù)在安全可靠的環(huán)境中發(fā)揮效能。

　　記者從現(xiàn)場(chǎng)了解到，蟻天鑒2.0有兩大特色，一是在測(cè)評(píng)端研發(fā)了業(yè)內(nèi)首個(gè)“測(cè)評(píng)智能體”。該測(cè)評(píng)智能體提供全流程自動(dòng)化的安全測(cè)評(píng)工具，支持各種形式模型和深度學(xué)習(xí)框架，可擴(kuò)展測(cè)評(píng)垂類大模型、多模態(tài)大模型及Agent智能體，并能根據(jù)被測(cè)大模型的安全水位動(dòng)態(tài)調(diào)整攻擊策略和出具測(cè)試用例，保障測(cè)評(píng)效果和效率。目前，蟻天鑒2.0有超300萬(wàn)高質(zhì)量測(cè)評(píng)題庫(kù)，支持最高50萬(wàn)/日的飽和式攻擊和逐級(jí)誘導(dǎo)深度攻擊，并實(shí)現(xiàn)了1工作日內(nèi)完成測(cè)評(píng)，全流程自動(dòng)化率＞99%。

　　該智能體也增加了兩項(xiàng)新功能。一是“大模型X-ray”。即大模型X光，可針對(duì)大模型的內(nèi)在神經(jīng)元進(jìn)行X光掃描來(lái)做探查和判斷，讓研究人員了解大模型內(nèi)部在發(fā)生什么、定位可能引發(fā)風(fēng)險(xiǎn)的神經(jīng)元、并進(jìn)行編輯修正，從而在模型內(nèi)部治理幻覺(jué)，實(shí)現(xiàn)從源頭識(shí)別和抑制風(fēng)險(xiǎn)。二是“大模型基礎(chǔ)設(shè)施測(cè)評(píng)”。此前蟻天鑒的測(cè)評(píng)能力主要集中于大模型生成的內(nèi)容安全、合規(guī)風(fēng)險(xiǎn)等檢測(cè)。蟻天鑒2.0從攻擊者全鏈路視角出發(fā)，深入掃描模型算法組件及軟件系統(tǒng)，可及時(shí)準(zhǔn)確發(fā)現(xiàn)大模型供應(yīng)鏈及運(yùn)行環(huán)境安全問(wèn)題，保障云到端的應(yīng)用安全可控。

　　同時(shí)，蟻天鑒2.0防御端新增“AI鑒真”功能。支持多模態(tài)內(nèi)容真實(shí)性及深度偽造檢測(cè)，可快速精準(zhǔn)鑒別圖像、視頻、音頻、文本內(nèi)容的真?zhèn)�，圖像識(shí)別準(zhǔn)確率99.9%達(dá)到行業(yè)最高優(yōu)秀級(jí)(信通院測(cè)評(píng))。目前，蟻天鑒2.0依托生成模型自建百萬(wàn)量級(jí)音視圖多模態(tài)合成數(shù)據(jù)集，覆蓋主流生成方案，有效應(yīng)對(duì)AI換臉、聲音模擬、證件偽造等各類深度偽造風(fēng)險(xiǎn)場(chǎng)景。 

　　螞蟻集團(tuán)是國(guó)內(nèi)較早布局大模型安全的廠商。蟻天鑒去年7月首次對(duì)外發(fā)布，1.0版本即被評(píng)為2023年世界人工智能大會(huì)“鎮(zhèn)館之寶”。歷時(shí)1年升級(jí)到2.0版，蟻天鑒2.0構(gòu)建了雙重防御護(hù)欄，內(nèi)置防護(hù)關(guān)注訓(xùn)練階段的數(shù)據(jù)清洗和風(fēng)險(xiǎn)抑制；外置護(hù)欄融合智能風(fēng)控技術(shù)，精準(zhǔn)攔截輸入和輸出的風(fēng)險(xiǎn)內(nèi)容，保障其應(yīng)用安全。

　　目前，蟻天鑒的檢測(cè)與防御產(chǎn)品已開(kāi)放給20家外部機(jī)構(gòu)和企業(yè)使用，為通用大模型及醫(yī)療、金融、政務(wù)等垂直領(lǐng)域行業(yè)大模型應(yīng)用安全保駕護(hù)航。例如，上海市第一人民醫(yī)院引用了蟻天鑒，有效應(yīng)對(duì)醫(yī)療領(lǐng)域大模型應(yīng)用中的信息安全與隱私保護(hù)、雙向內(nèi)容風(fēng)險(xiǎn)防控等挑戰(zhàn)；螞蟻AI金融助理“支小寶”結(jié)合蟻天鑒，通過(guò)大模型訓(xùn)練與推理風(fēng)險(xiǎn)管控、大模型風(fēng)險(xiǎn)點(diǎn)全方位評(píng)測(cè)、大模型用戶交互風(fēng)險(xiǎn)管控等舉措保障大模型應(yīng)用安全，確保數(shù)據(jù)的準(zhǔn)確性和金融邏輯的嚴(yán)格性。2024年，蟻天鑒商業(yè)化邁出重要一步，通過(guò)螞蟻數(shù)科開(kāi)始服務(wù)廣泛的外部客戶。

　　論壇現(xiàn)場(chǎng)還發(fā)布了由清華大學(xué)、中關(guān)村實(shí)驗(yàn)室、中國(guó)信通院、螞蟻集團(tuán)聯(lián)合編制的《大模型安全實(shí)踐白皮書(2024)》。這也是國(guó)內(nèi)首份“大模型安全實(shí)踐”研究報(bào)告，為行業(yè)打造高價(jià)值參考體系。

　　白皮書基于當(dāng)前大模型發(fā)展趨勢(shì)與挑戰(zhàn)，提出了大模型安全實(shí)踐總體框架。即確立了“以人為本，AI向善”為大模型安全建設(shè)的核心，確保技術(shù)進(jìn)步服務(wù)于人類福祉；以“安全、可靠、可控”三個(gè)核心維度的大模型安全技術(shù)體系，涵蓋大模型安全測(cè)評(píng)與防御的綜合技術(shù)方案；以及“端、邊、云”為大模型安全技術(shù)的主要承載實(shí)體。作為企業(yè)撰寫方，螞蟻集團(tuán)安全生態(tài)副總裁邵曉東進(jìn)行了現(xiàn)場(chǎng)發(fā)布并表示，白皮書還闡述了大模型在金融、醫(yī)療、政務(wù)等領(lǐng)域安全應(yīng)用的案例，以及“五維一體”協(xié)同共治的治理框架，希望行業(yè)共同推動(dòng)大模型安全生態(tài)發(fā)展。

　　本場(chǎng)論壇匯聚了國(guó)內(nèi)外研究機(jī)構(gòu)和頂尖學(xué)者以及產(chǎn)業(yè)人士等，從前沿技術(shù)、產(chǎn)業(yè)應(yīng)用等不同視角分享了大模型安全的研究，探討端云協(xié)同、端側(cè)應(yīng)用等最新趨勢(shì)以及大模型安全最新體系與實(shí)踐。這些深入的討論，也將為大模型如何安全可靠地助力產(chǎn)業(yè)轉(zhuǎn)型升級(jí)、推進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展提供更加明確的前進(jìn)方向。(完)

注：請(qǐng)?jiān)谵D(zhuǎn)載文章內(nèi)容時(shí)務(wù)必注明出處!   

編輯：姜煜