最近，两个热搜词条引发了公众的广泛关注，甚至有一个登上了热搜榜首——"AI诈骗在全国爆发"。这引发了公众的强烈恐慌。那么，今天我们就来探讨一下这个话题。"AI诈骗在全国爆发"这一说法是否真实呢？AI诈骗真的有那么恐怖吗？本期较真联合“AI新时代”，邀请腾讯较真主笔丁阳对话到“终结诈骗”公众号主编二八、腾讯AI Lab高级研究员吴秉哲，风控研究人员尉文韬就这个问题交流探讨。
核心速览：
【资料图】
1、轰动一时的“10分钟被骗430万”案件，其实并未应用什么新型技术，所谓的“微信盗号”也只是错觉。AI换脸技术出现已经有几年了，并非才冒出来的。“新华视点”记者近日与公安部门核实确认，“AI诈骗全国爆发”的消息不实，目前此类诈骗发案占比很低。全国此类案件发生不到10起。
2、但AI诈骗的潜在威胁不可低估。黑产人员可以利用AI技术给诈骗产业链的上游、中游、下游的各个环节进行“赋能”，甚至生成“千人千面”的诈骗手法。
3、防范AI诈骗，需要提升对诈骗手法的认知，遇到可能的诈骗时，需要多方核实信息，并且，尽量不要泄露个人信息。
丁阳：最近有一起广为流传的诈骗案例——福州市的郭先生“10分钟被骗430万”。据称这起诈骗是利用了“微信盗号+AI换脸实时视频通话”的技术，如今的诈骗技术已经发展到这个地步了吗？这到底就是一起普通的诈骗？还是真的用了什么新方法、新技术？
二八：一开始看到这个案件时，只觉得是的一个冒充好友的诈骗案，到后来我再看到新闻时，它变成了AI换脸诈骗，而且由于涉及金额430万。那阵子正好AI是一个十分热门的话题，在热门话题以及自媒体的双重加持下，该案件又再一次被广泛地传播，而在这个传播过程中，越来越多令人恐慌的东西被加入在不同文章中。于是我查阅了第一个提到这是一起利用了AI换脸技术的诈骗案的官方报导——包头公安发布的关于这起诈骗案的原始资料，我还原了一下这个案件，发现它的确是冒充好友的一起诈骗案，但并没有用到特别多的新的技术。
关于AI换脸后和受害者视频聊天这个细节，其实存在争议。受害人报案时称通过微信视频聊天看到了好友的脸，也可能是一种错觉，就像一些受害者在报案时称自己被人拍了一下就被下了“乖乖粉”，之后失去意识对凶手言听计从，但是其实我们知道，“乖乖粉”并不存在。而这起诈骗案中的凶手很有可能是新建了一个微信号，微信号的头像、名字等等都仿照受害人朋友进行设置，也就是我们说的“高仿号”。凶手在加好受害者以后，拨通微信电话，但这个时间非常短，很难让受害者接到，之后受害者回拨电话时，凶手拒绝接通，然后发给受害者一个视频，那这个视频就是利用AI制作的有好友的脸的视频，那受害者在这个短期的时间内可能就产生了我和好友视频聊天了的错觉，又或者说受害者未能谨慎地确认好友身份，而为了把自己伪装成一个完美受害者，那受害者也是有可能说自己和好友用微信进行视频通话了。
像这种制作换脸视频的手段在几年前就有了，只是说现在的AI技术出现使得该手段变得愈加容易，没有门槛了，所以算不上新技术，甚至在这起案子里也并不存在微信盗号技术 。
吴秉哲：这个案件更多是利用受害者忽略细节，防范意识薄弱的特点来成功实施了诈骗。AI换脸技术，即deep fake技术，从2015年就兴起了，只不过到现在我们有了更加高级逼真的工具与产品，能使真实和虚假的脸差别更小，很难分辨。正因为如此，AI换脸诈骗越来越难以防范，现在单纯从图片出发进行防范已经不大现实了，所以需要结合诈骗人员的行为轨迹等方面做好防范措施。
丁阳：伴随福州诈骗案件，有一个热搜声称，“AI诈骗正在席卷全国”。这个说法对不对？除了“AI诈骗正在席卷全国”这个词条外，还有一个热搜词条是“AI诈骗成功率100%”。以当前AI诈骗的实际表现，有这么可怕吗？
二八：就像福州这起诈骗案，并没有太多新奇的地方，但它却传播的十分迅速且广泛，为什么会这样？其实就是它利用了恐慌性的传播效应，吓人的标题加上“百分百受骗”的这种措辞，就会被让大家认为诈骗来势汹汹，但我认为大家不必如此恐慌。虽然没有人能够保证百分百不被骗，但也不可能会有一种骗术，能够百分百骗到人。诈骗本身会对人群进行筛选，筛选出易被骗人群，易被催眠人群等，先筛选再诈骗，“AI诈骗席卷全国”这个说法实在是太夸张了。
现在很多自媒体人为了传播自己的内容，会运用多种技巧，比如恐慌性传播技巧，这样做的确能使更多人注意到诈骗案件，提高自身防范意识，但也有一个致命的弊端，就是会使社会信任度下降，造成人们无端的恐慌。我个人不太赞成这种做法，因为在这种紧张的社会氛围下，人们很可能在其他形式的诈骗中栽跟头，比如诈骗犯冒充公检法，那人们接电话时可能会想，是不是真有人用了我的脸去诈骗犯罪，从而陷入另一种诈骗之中。
丁阳：这里补充一下，就在本月初，新华社旗下的新华视点栏目采访了公安部的相关人员。他们确认了“AI诈骗全国爆发”的消息并不准确。目前，此类诈骗案件的比例非常低，全国范围内此类案件的发生甚至不到十起。然而，公安部的相关人员也指出，这个动态是值得我们高度关注的。
丁阳：当前AI技术不再是实验室的半成品，引发热议的“换脸”“拟音”技术已有较成熟的开源软件，这有没有可能导致AI诈骗大爆发？现在最受瞩目的AI应用，以Chatgpt为代表的大模型，是否应用在了AI诈骗里面？
尉文韬：总体上是有这个趋势，但实际上由于成本问题，其实很多诈骗团伙并没有在这个方向上投入特别多的精力，这也是当前AI诈骗并没有特别多的案件的原因。从技术上来，训练模型、开源软件，它首先需要资源和成本，黑产团伙本身也需要考虑ROI(投资回报率）的问题，如果这个事情它的ROI（投资回报率）不高的话，那么他们可能也会选择去观望。
我个人觉得现在大家是不太能够训练出一个比较好的模型，以达到以假乱真的效果，所以不必太恐慌。
吴秉哲：从下游受害者来看，大家接触的比较多的是视频和图像，以及我们前面提到的那个案例也是AI换脸技术，所以这一部分技术我个人感觉其实已经比较成熟，现在可能需要的就是高质量的训练，计算的资源等等。而这些东西其实在慢慢地变得更加容易获得了，需要付出的代价也在逐渐减少。日后在视频图像领域，诈骗犯冒充虚拟人或者主播进行诈骗也是有可能的。另一方面大家日常接触的比较多的，文本，包括跟网友聊天，在私域的一些交流等等，就我个人接触到的案例而言，文本方面的诈骗还是很少。因为AI很难生成自然文本，而且大家对于文本会更加熟悉，所以基于像chatgpt进行诈骗之类的案件，目前还没有出现。但是诈骗如今已经是一个产业链，你可以把其当做是内容制造业，在其慢慢升级的过程中，应用chatgpt等一类的技术，也是有可能的。
至于说为什么公安部公布的AI诈骗案发率还比较低，可能是因为各种原因，如数据统计方法的问题，或者是其他我暂时不知道的问题。不过严重性也许有可能被低估了。几天前，我在抖音上看到一个案例，不保真，但可能说明了一些情况。一个中年人在商场中拿了一个玩具熊。为了得到这个玩具熊，他需要录入自己的脸部视频。但在录入结束后，他发现自己的脸部视频被窃取，然后用来生成虚假的人脸。所以，与AI诈骗相关的一些操作，也许是正在进行中，因此不可低估。
丁阳：很多人非常担心“AI换脸视频通话”，当下这项技术在AI诈骗中已经被广泛利用了吗？是否已经达到实时的级别且不露破绽？会对人脸识别造成影响吗？
尉文韬：首先我们要知道AI换脸是需要经过大量的训练的，就是用很多人对同一个事情的表现训练出一个比较通用的模板，后期再把模板放到需要替换的脸上，以此来达到换脸目的。说回您的问题，我认为就当前而言，暂时还无法达到广泛应用的阶段。第一，如果实时的话，当前技术很难达到以假乱真的效果；第二，我个人觉得样本很难获得。如果要训练出模板，那么需要很多满足条件的样本，比如不同的角度、不同的打在脸上的光源等等，这些样本难以获得，模型也就很难完成迭代，想要完完全全复制出一个人脸也就很困难了。
虽然现在这个技术成本高，很难被成熟应用，但是仍然需要提高警惕。比如说一个半成品，可能比较模糊，但是诈骗犯就会谎称自己网络不好，来引诱受害者入局。
当然，也会有一些非常明显的破绽，对于人脸来说，我们可以注意其轮廓，以及说话时候嘴唇的反应。比如我们说话嘴唇看起来动的是非常自然的，但是换脸视频里面的脸，说话的时候嘴唇可能就不是那么的自然了。
吴秉哲：诈骗犯获取一张照片，然后生成一个人脸，攻破手机的人脸识别，或者说手机银行的人脸识别——大家现在其实不太必要过于担心。因为要做到这个利用照片生成人脸破解人脸识别还是很困难的。其实很早之前各个厂商，包括只要涉及到人脸识别，比如说支付宝，他们都在做类似于活体检测，他们把热成像等各种技术配合在一起，整体形成了一套非常可靠保护屏障，只是说现在可能有一个比较有威胁的技术，就是基于3D打印能制作面具，当然，我到现在并没有看到成功实施的案例，不过也不必担心，因为这是一个长期持续的过程，黑产和我们相互会牵制，对抗。
尉文韬：我感觉也是完全不用担心对人脸识别会有影响。如果是比较简单的人脸识别技术，像小区门禁，那么是有可能受到威胁的。但是包括微信支付等一系列的手机APP的人脸识别是有自己的一套体系的，比如说他会用到三色识别技术，可以做到规避很多风险。
吴秉哲：对，可能会有结构光等的辅助，就像鸿蒙系统，总之整个移动端的安全是能够得到保障的，大家相信我们国家的APP。
丁阳：AI诈骗更成熟的话，相比传统诈骗，有哪些特点？AI技术是否会“赋能”、或者说“重塑”诈骗行业？
吴秉哲：其实诈骗经过这么多年移动互联网的打磨，其实已经形成了自己的一条成熟的产业链，那么在这条链上，也分上游、中游、下游。首先从上游来讲，黑产人员会大规模地准备一批账号，或者是盗号，或者是创立全新的账号。之前建立账号需要大量的人工，但是现在可以借助chatgpt这种具有强大的文本处理能力的模型。他们可以利用其来对小红书、微博等用户发布的内容进行文本分析，然后我们就能大概获知这个账号背后的人他的性格、居住环境、喜好等等。之后我们再借助chatgpt去抽象出整个群体的特征，基于这些特征，构建账号的体系。举个例子，我在提取了股民的特征以后，构建一个账号，经常发布股票相关内容，然后吸引下游的受害者。
就中游而言，比如爆款文章，它其实是内容层面的一个优化，那大家在小红书、微博等上面看到的这些文章，可能正是用chatgpt优化过的。你可以告诉chatgpt，让它帮你生成热门帖子，你把关键词告诉它，那它就能够自动地对你的内容进行优化和修改，提升你的帖子的点击率。把这个场景迁移到黑产，也是同样的道理。我们经常会收到一些短信或者钓鱼的一些邮件，从传统诈骗手段来讲，可能就是基于人为的一些既定的规则去赚钱，但是这个时候如果我利用chatgpt对过往成功的一些案例进行分析的话，实际上我是可以提练出大量的素材，并且可以分析出这些素材对应哪一个群体的受害者，这部分群体会更容易上当受骗。诈骗集团就可以利用这些数据，再借助chatgpt强大的文本优化和改写的能力去优化中游内容，以提高他的内容的点击率。
从下游来看，大家现在使用chatgpt也可以发现，它具有非常强的共情能力和学习能力。之前有一篇报道，说有一个女高管爱上了一个AI，当然可能有夸大的成分，但这里面也体现了从诈骗分子的这个角度来说的话，他实际上可以利用chatgpt本身的能力去生成一些话术，而且这个话术千人千面的，它会结合每个人的性格、情绪、爱好生成相应的话术，让你更加能够信任它。
丁阳：AI诈骗更成熟的话，现有的反诈手段还能有效应对吗？
二八：我觉得防范要从两个角度来看。第一个层面我认为是个人的认知。所有的诈骗，不管是千人千面还是网聊，其实它都有一个固定的东西就是，对方是根据你的需求点去打造的，而你的需求点往往是超过你现实能匹配到的东西，你才会在网络上去追求这么一个东西。如果你个人的认知能够意识到，事出反常必有妖，那么你就不会被骗。第二个层面是平台的技术。骗子要诈骗需要在平台上应用自己的技术，那么这个平台它就得谨慎地应对这件事，必须要对其负起责任，如果任由骗子在平台上横行，软件就无法得到大家的信任，继而存活下去，所以为了防范这种情况，它一定会不断地升级。形成互相牵制的局面，魔高一尺道高一丈。
当然，每个人不可能随时都能绷紧防骗的那根线，有时候，骗子可能耗费巨大的人力物力骗你，我们把这种情况称作天仙局，就像最近热映的《消失的她》，一群人一起演你你也很难有办法逃脱。我前面说没有一个人百分百不会被骗，就正是因为我们人的情绪有高低，然后状态也有好坏。那么你在情绪低，在状态坏的时候，然后遇到骗子，就很容易上当。所以我们要不断的提高认知，以及了解现在的诈骗技术发展到哪种程度了。当遇到这天仙局的时候，他们花费几个月的时间骗你，那在这几个月时间里，有没有一刻我是醒悟过来的。如果在这一刻你醒悟过来了，那可能骗子就前功尽弃了。
吴秉哲：现在我们大部分人的防范意识在增强，认知在提高，被骗其实并不是易事。但是我们仍然在做风控，为什么呢？其实是出于对心理弱势群体的保护的考虑。从这个角度来看，对平台方的要求会更高，比如之前针对老年人推出的手机，它会构建自动的机器人，阻止老年人点击短信链接之类的。虽然说chatgpt的出现会让诈骗应用的技术成本降低，但是我们同样可以利用其来反诈骗。刚刚我提到的手机构建的屏障，可能大部分年轻人不需要，但是对于年长的长辈来说，他们平时就不怎么上网，信息更新也不及时，简单的一个骗局可能就骗到他了，就更别说AI出现后了。所以针对这一群体，一定要有一些系统性的平台防范措施，不管是从软件端，从硬件，还是从手机厂商，内置防护系统是非常必要的措施。
丁阳：随着AI技术的进一步发展，比如合成技术正逐步由面部合成向全身、3D合成发展。那么还有哪些技术可能被AI诈骗所利用？
尉文韬：我个人认为这些技术都是辅助手段，诈骗万变不离其宗，他首先是有自己的主线，再穿插使用新兴技术作为辅助，提高骗局的成功度。比如我之前利用PS合成一个很简陋的照片，说你的儿子被撞了，别人能够一眼就看出来是假的，那现在我用新技术合成更加逼真的照片，你就很难看出来真假了，就更有可能沉浸在这个骗局中。但是，我个人是认为技术虽然在更新，但是如果诈骗手段没有创新的话，那么它仍然是有局限的，是可防可控的，不必过于担心。
丁阳：AI既然能被用来诈骗，那能否被用来反制AI诈骗？当前有哪些AI技术已经在运用了？
尉文韬：有一些深度学习的方式，比如说吴老师一开始提到的，我们可以从行为的角度上去进行一些判断，假如一个诈骗犯，他每天登录各个账号，不做其他事，就只和你聊天，而且每一次你发完消息，他隔几秒钟回复，然后这个时间间隔是比较固定的，那在我们技术人员看来，这就可以总结成一个规律，如果他每一次回复都遵循这个规律，那就有可能有问题。相反来说，我们人可能就是非常随机的，比如说有个人给你发个信息，你可能过个十分钟，或者过个一个小时再回，但是可能对于那个犯罪团伙来说，它就是固定的回复间隔时间。而这些蛛丝马迹就能够被模型捕捉到，然后帮助我们去侦破这个人的真实身份。
这种方式也同样可能运用到侦破AI实时换脸上，比如说我们开头那个案例，受害者之前没有跟他有过聊天记录，也没有发起过语音聊天，和这个人根本没有什么社交上的一些来往，但是突然他就发过来一条视频通话邀请，从ID行为模式来看，是很奇怪的。
然后就是可以利用AI对随机的聊天截图来进行识别辅助，以达到快速甄别的效果。
吴秉哲：对于风控技术人员来说，以前我们采用的是人为审核的方式，以及事后审核来捕捉风险。但是现在借助新的AI技术，让AI潜伏在各种各样的这个黑产群里实时获得一些信息，当然可能这里面会有一些技术伦理上的一些问题，然后再把情报传到平台，平台会采取相应的措施。AI能更加精确的，高效的识别到风险变化趋势，所以它对策略制定非常有用。所以整体来看，风控和黑产是一个博弈的状态。黑产现在图像和视频领域走在了前面，而且本身这一领域很难防。风控人员，包括网信办、工信部等，也会逐渐意识到这个问题，风控人员也会赶上进度。而在文本领域，我感觉风控相较于黑产是领先的。
丁阳：能否给到普通人一些建议，日常生活中如何防范 AI 诈骗？
二八：提高认知仍然是一个方面，另一方面就是假如AI随着发展，形成了千人千面的诈骗形态，可能大家会抛弃线上社交场景。因为现在大家愿意去线上社交，还是基于信任。如果信任崩塌，那么大家还是会回归到线下的社交。还有一个方面，诈骗成功很多时候是因为我们疏忽大意，认为好朋友无所谓，但是遇到借钱的特殊情况时，应该至少要多方面验证一下这个人的真实性，可以给他打个电话，或者如果说金额巨大，可以私下在线下见一面。当然也有可能遇到那种诱导你关机，冒充公检法的骗子，那这种情况还是可以找身边的人以及他的亲戚孩子朋友之类的去核实。
但确实有很多冒充亲人的诈骗，说你儿子出车祸了，然后现在急忙需要动手术，那其实在这种特殊情况下，然后又是一个很危急的情况，从情感上来说很难防范，这其实是一种人性的问题。
吴秉哲：人性方面的东西总是很复杂的，举个例子来说，比如在股市恐慌的时候，就很容易丢掉自己手头的筹码，其实利用心理诈骗也是一样的。
在被诈骗的时候，你一恐慌就打钱了。所以我在想AI技术本身能否去应用到这种场景中去，因为大家说这么多，但是我们现在是非常清醒的一个状态，我们都能意识到，但是也有就是所谓的我眼睛会了，手不会。那这个时候我能不能利用这个AI技术，产生一些强制的行为，比如内置一些强制的措施。在先不考虑隐私的基础上，比如说检测到转账的时候，其实咸鱼、微信等软件，它都有类似的功能，但是检测到转账了，咸鱼可能就是仅仅提示了一下不要转账，那有了AI过后，我们是不是能做的更多？
就比如说大家把平时民警科普的防骗知识，和自己掌握的一些防骗技巧统统注入到chatgpt里面，就去调教他，然后让chatgpt来充当你的小助手，在触发到一些关键词的时候它自动就会生成一个弹窗，它会提示你可能会有什么潜在的风险，然后你这个时候应该做哪些事情。很多时候虽然看过反诈视频，但关键时候可能会忘，如果有这样一个软件或者平台，自己能够去做这样一件事情是非常好的。一到关键时刻，我就有非常详细的警示告诉我，不要去这样做，先检查一下，当你一切都觉得没问题了过后，然后它可能有一个强制的按钮，你来点四次ok，然后再去实施。
当然，这是非常理想的状态，实际上距离这个技术落地，是有非常长的一条路，但本身这也是科技向善的一种体现吧。黑产分子它能利用大语言模型，那我也可以利用大语言模型来帮助更多的人能够去守护好自己的这个财产。
从现实来看，当前防范我认为大家公开的信息，比如推文之类的，不要出现特别情绪化的一些描述，以及个人信息，特别是快递上的信息，包括我们注册手机号，信用卡填信息，那填之前我们要想一想是否真的有必要给出这些信息。
尉文韬：从从业人员角度来说，我觉得更希望依赖技术吧，就是大家也不要有过多的防范心理，其实我们做技术的已经帮大家把这个风险过滤掉了，这种是最好的一个状态。但是其实就目前来说，我觉得就个人来说，还是需要特别注意这方面的事情，我平常会接触到一些诈骗案，我觉得很难防住，人的心理状态是很容易出现疏忽的，然后这个疏忽就会被诈骗分子给抓住，被利用。但是还是希望大家会在涉及钱的事情上，再三的问自己一下，我这个钱是要转出去的，可能是会回不来的，这样可能会稍微好一点。因为从接触的案件上来说，我觉得我对这个事情持比较悲观的态度，真的非常难防。
丁阳：谢谢几位老师，结论稍微有点悲观，但咱们也得告诉大家，这也是一种提醒。总之，我们可能需要付出比以往更多的警惕性，以及努力去获取相关知识，甚至我们可能需要进行一些情感方面的牺牲，才能应对当前及未来的AI诈骗手段。
关键词：
