近年来,随着技术突破,大模型获得快速发展并在多个场景得到应用。不过,其存在的事实性错误、知识盲区等问题,以及面临的训练数据来源合规性、生成内容安全《k8彩乐圆官方手机客户满app》性等风险,也已受到广泛关注。
在黄民烈看来,要规避安全风险,降低人工智能对人类的负面影响,关键在于大模型底座。“大规模语言模型(LLM)发展到现在,模型结构和规模已有很大进展,但实用性还有待加强,我们应该通过技术让模型更加安全、可控,使其快速适配更多的应用场景。”他说。
此次,聆心智能联合清华大学CoAI实验室共同发布大模型安全评估框架。作为聆心智能的创始人,黄民烈介绍说,他们希望通过对大模型应用边界进行定义,促进大模型生态健康发展,推动人工智能研究和应用向更有用、更可信、更安全迈进。
据知,黄民烈团队建立的大模型安全分类体系中设定的不安全对话场景,包括犯罪违法、身体健康、心理健康、财产隐私、歧视/偏见、辱骂/仇恨言论等方面。科研人员针对这些安全场景对大模型进行升级,使之具备基本的安全性,“能够在遇到安全问题时给予正确的回复策略,不进行判断误导”。
此外,着眼于容易触发的安全问题类型,科研团队还总结、设计出一般模型难以处理的“安全攻击方式”,使安全体系更加完善。