在快手,有这样一些团队,通过算法技术及时识别,第一时间处置账号和内容,积极联动有关部门,竭力挽回行将逝去的生命。今年以来,他们就联动警方干预了270余名有自杀自残倾向的用户。

70分钟,与死神赛跑

6月26日21时许,快手员工正在对用户直播进行常规巡查,突然发现一个直播间的画面中,男子躺在沙土地上,脸色苍白,手腕鲜血淋漓。

“是自杀!快报警!”快手社区安全员工张洋立即启动应急响应,第一时间掐掉直播,并将相关信息推送给客服团队。不到10分钟,客服团队就与属地云南省个旧市公安局建立了联动关系。

图为民警在高架桥下找到轻生者(个旧市公安局提供)

只有大体位置,本着生命至上的原则,在快手平台协助下,个旧市公安局立即安排民警摸黑展开地毯式搜寻。经过70分钟的全力搜索,绕过三个高架桥之后,当天22时30分,民警终于在大屯辖区某高架桥下找到已经跳下高架桥且割腕的李林。经过医生的救治和民警的安抚,李林生命体征平稳、情绪逐渐趋于稳定,已被家属带回家做进一步观察。

今年25岁的李林,只因欠了4000块钱外债,周围亲友拒绝借钱帮其偿还,心灰意冷的他选择从高架桥一跃而下,发现没死后用玻璃划破手腕,在手机镜头前等死。

快手的快速响应,民警的及时救援,一场悲剧被成功阻止。

图为民警在安抚李林(个旧市公安局提供)

在快手,这样惊心动魄的场景并非偶然,社区安全和客服团队每天都要处理多起类似事件。今年以来,快手社区安全和客服团队已联动各地警方救援270余名试图自杀自残的用户。

算法赋能+多方联动,阻挡自杀自残

作为一款国民级应用,每天有大量的人在快手上记录生活的点点滴滴,直播自己的喜怒哀乐。然而,在网络的某个角落里,一些人正在面对人生的至暗时刻。

湖北巴东一名女孩,因为失恋而抑郁,不停上传有明显自杀倾向的作品;吉林一名网友直播时一边拿着药盒,一边激动地讲述自己悲惨经历,表示自己不想活了……快速变化的社会里,很多人处于多重压力环境下,自杀自残事件愈发常见,容易因一件小事情绪崩溃,冲动决定自杀。

对于日活跃用户数超过3亿的快手而言,每天有海量的用户上传视频作品、开直播。仅靠人工无法审核全部的内容,在技术和算法的赋能下,有自杀自残倾向的作品,系统会第一时间识别并自动拦截。在直播中出现自杀、扬言自杀等内容,系统警报会立即拉响,相关直播很快被关闭。

然而,仅仅是删除或屏蔽相关视频作品、关掉直播,并不能完全拦阻自杀自残行为继续进行。快手社区安全和客服团队不停琢磨,认为除了处理相关作品和直播,还应该采取更加积极主动的手段,去干预自杀自残的行为。

经过不停尝试和摸索,快手社区安全和客服团队建立了一套相对完备的自杀自残干预处置策略,搭建了快速反馈流程。直播判罚结果为“自杀自残”的,直播会立即被关闭,相关信息会同时推送给客服团队,由客服团队确认后迅速联动警方介入;对于有自杀自残倾向的作品,风控会召回相关用户和作品,通过线上流程及时推送给客服团队,由客服团队确认后联动警方介入干预;一线评级团队发现相关异常情况也会快速同步给客服团队。

别怕,我们都在

3月18日凌晨,在一个直播间里,一名男子手持电棍坐在车上,旁边还有一名疑似被控制的女子,身上仅穿内衣,有伤害自残倾向。相关信息很快就被快手社区安全团队捕捉到,随后被推送至客服团队。当晚值班的客服团队刘坤很快向属地山东滨州警方报警求助。

在客服团队协助下,滨州市公安局沾化分局立即开展调查工作,妥善处理了该事件,及时消除了负面影响。事后,当地警方还给快手公司发来一封感谢信。

图为感谢信

“危机干预是一场战斗,当事人在痛苦挣扎的同时,我们都不能袖手旁观。“刘坤说,在这一点上,快手和警方的目标是一致的。在干预自杀自残上,快手与各地警方已经建立了密切的协作关系。

其实,在与死神对抗的过程中,不仅仅只有当事人,快手、警方、第三方机构都在另一端默默努力着。

除了处置账号和内容、报警介入等直接干预手段,情绪的纾解与表达也是自杀自残干预中的关键。

图为快手高敏关键词搜索结果页面

在快手搜索“自杀”“自残”“我想死”等极端关键词,会发现置顶显示的是一个名为“别怕,我们都在”的心理咨询H5宣传页。点开宣传页,是一个自动滚动的“群聊”信息页面。“这个世界虽然不完美,但爱和关心不会缺少”“没有爬不过的山没有过不了的坎,所有的一切都会随风过去”“冲鸭,今天也要开心鸭”等“群聊”信息映入眼帘,最后还附上24小时免费心理危机咨询热线的电话号码。

在H5页面下方,系统会自动展现平台内各类正向内容,向特定用户提供情绪纾解与表达的渠道。在快手,这样润物细无声的举措还有不少。

“做细小而正确的事,这符合我们的价值观。”快手相关负责人说,自杀自残干预困难重重,策略还要不断迭代完善,还有很多漏洞需要填补,但我们会一直坚持做下去。(文中人名均为化名)