摘要：“认知安全”是研究人工智能系统或人工智能系统控制的设备进行有意识的智能行为、智力活动以及无意识被动行为时，获取并应用信息过程中的安全风险、安全理论、安全方法、安全技术及安全应用组件和系统。
关键词：

　　2018年8月15日，由梆梆安全研究院编撰的《认知安全白皮书》(以下简称“白皮书”)正式对外发布。梆梆安全是最早认识到人工智能安全风险并展开认知安全研究的公司之一，白皮书中首次明确提出认知安全的定义：“认知安全”是研究人工智能系统或人工智能系统控制的设备进行有意识的智能行为、智力活动以及无意识被动行为时，获取并应用信息过程中的安全风险、安全理论、安全方法、安全技术及安全应用组件和系统。

 

　　智能源于感知

 

　　科学家们提出人工智能的初衷，是源于希望辅助人类工作、学习、生活。人类产生智慧的过程是通过不断感知外界并不断学习进化，人工智能产生的机理亦然，通过后天的感知、学习、训练，逐步建立起一套系统的方法来获得“知识”，建立“自我认知”。

 

　　1956年，科学家们首次提出“人工智能”概念，点燃了人们对于人工智能的想象和期望。时至今日，历经六十余载的发展，人工智能已经成为当前最具颠覆性的技术，人工智能技术的进步能够解决当前的很多问题，比如疾病诊疗、智能安防、智能家电、个人助理、自动驾驶、车牌识别、智能教育、智能医疗、智能金融、智能电商零售……大概没有人会否认，我们正处于人类历史上科技变革最为迅猛的时期，无论是在科幻电影里还是在现实世界中，人类险被自己创造的文明战胜都不再是一个新鲜题材，而代表人工智能尖端水平的AlphaGo战胜李世石，再次向人们宣告，科幻不再遥不可及。

 

　　白皮书回顾分析了人工智能的发展历程、发展态势，从国内外法律法规环境分析了当前人工智能发展的要求及趋势。从智能家居、智能交通、智能教育与医疗、智能金融与电商零售等诸多人工智能的应用领域剖析了人工智能首要解决的问题，例如可以提升疾病诊断效率、解放劳动力等……不可否认，我们身处人工智能技术革新的浪潮中，但是无论政策、环境、法律伦理都给人工智能的发展提出了诸多挑战，如何确保人工智能安全、可靠、可控发展成为当前发展人工智能亟需解决的问题。

 

　　威胁源于未知

 

　　如果人工智能的发展不受人类控制，它可能成为人类文明的终结者。

 

　　——霍金

 

　　霍金曾经多次在公开场合三令五申人工智能可能给人类文明带来的威胁，他曾在演讲中提及“强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。虽然是好是坏我们仍不确定。但应竭尽所能，确保其未来发展对我们有利。”我们正在见证人工智能的发展，享受人工智能带来的科技成果时，也同时见证人工智能向人类发起的挑战：

 

　　1978年日本广岛切割机器人异常;

 

　　1989年机器人棋手向金属棋盘释放强电流;

 

　　2015年德国大众汽车组装机器人“杀人”事件;

 

　　2016年微软人工智能聊天机器人Tay一天被“教坏”;

 

　　2017年Facebook人工智能聊天机器人Bob和Alice“自创语言”……

 

　　从这些事件中不难发现，机器人并不能完全按照人类预期的规划发展。白皮书通过分析人工智能在网络攻击和安全防护中的应用，指出当前人工智能在高速增长时面临的问题：人工智能算法黑箱，模型缺乏可解释性;在网络安全领域使用分类学习算法时需要大量准确标记的数据，但是实际情况难以满足;模型与训练环境强相关，导致人工智能安全系统部署之初通常难以达到理想效果;海量数据关联导致模型极易被攻击者污染;攻防手段持续更新也给人工智能的健康发展提出了更高的要求。

 

　　从人工智能本质看未来发展

 

　　深度学习驱动了人工智能的大爆发，机器学习用算法真正解析数据，不断学习，进而对实际发生的事情做出判断和预测。纵观近年来人工智能网络攻击，人工智能的风险主要来自于两个方面：1、针对人工智能算法特点的攻击;2、人工智能算法在软件实现过程面临的风险。

 

Tags：人工智能(73)网络安全(22)丁磊(2)张朝阳(3)乌镇(19)

转载请标注：信息网——人工智能网络安全保障新思路：认知安全