网络监控的秘密
近期，斯诺登向媒体提供机密文件致使包括“棱镜”项目在内美国政府多个秘密情报监视项目“曝光”。其实，美国对互联网进行监控和管理早就不是什么新鲜事了。为了监控信息通讯，美国开发了许多监控系统，对电话、邮件、网络进行全方位的信息审查。早在1971年，美国就开发了“梯队”系统，主要用来监听无线电通讯。“梯队”系统通过卫星通讯、海底电缆、分布各地的大量“嗅探器”来监控各种数据流。通过软件筛选符合情报截收条件的信息，利用数据分析系统对截取的信息进行分析，推断信息的安全级别。经过几十年的技术积累，现在“梯队”系统已遍布世界各地，对广播、电信、网络、无线等各个方面进行立体式的监控，可谓陆海空天一体化，对所有信息一网打尽。
2001年“9·11”事件后，美国的联邦调查局、中央情报局、国家安全局等更是大力发展各类监听系统，从“食肉动物系统”到“全面信息感知系统”再到“棱镜系统”，初步形成了网络空间全面监控能力。“食肉动物系统”是美国司法部下属联邦调查局开发并使用的一套信息监控系统。这个系统直接连接到互联网服务提供商的服务器上，可以对所有电子邮件进行监控。它利用敏感词表来审查邮件内容，推定邮件发送或接收人员是否具有危害国家或他人的行为，判定邮件是否为联邦政府的情报收集对象。“食肉动物系统”每秒钟能够扫描数百万份电子邮件，信息处理能力十分巨大，在现代信息技术如大数据技术的支持下，系统可以分析邮件相关人的所有信息，给网民的隐私带来危害。“9·11”事件发生之后，美国国会决定增加对“食肉动物系统”的拨款，联邦调查局得到拨款之后，加速了部署、使用“食肉动物系统”的步伐。“食肉动物系统”已经被部署在美国若干网络服务商的服务器上，成为美国网络监控的一项重要措施。
, http://www.100md.com
斯诺登爆料的“棱镜”计划则是由美国国家安全局(NSA)自2007年起开始实施的绝密电子监听计划。针对这一计划，NSA在犹他州沙漠修建了大规模监控数据中心，筛查并分析全球大多数网络流量，通过关键词的方式高效率地分析数百万份电话、文本消息和在线聊天记录，从而搜集、获取用户的地理位置、通讯记录、社交网络联系、视频、照片等信息，并且进行分析和解读。这一计划得以实施与大数据时代的发展密不可分。一系列新技术的应用让NSA完成了看似是不可能完成的任务。这其中主要包括：
新型数据库系统
大多数使用SQL编程语言的传统数据库是把数据存储在由行与列组成的表格中。然而，当遇到存储包括电子邮件或文本信息等字符串时，传统数据库就暴露了能力有限的弊端。而且它们还无法处理图片或视频。于2009年年底开始出现的新型数据库NoSQL(Not Only SQL，不仅仅是SQL)则突破了传统数据库的能力限制，可以允许数据分析专家针对所有类型的数据创建信息要求。在分析超大型数据组方面，NoSQL数据库体现出了非凡的能力。通过使用NoSQL数据库，你可以在一天内多次进行数据运行，这极大地缩短了获得数据结果的时间。
, 百拇医药
机器学习
传统分析要求分析师对数据有充分的了解，然后才能创建假设问题，进而针对数据库提出复杂的问题。以机器学习和自然语言处理为核心的编程技术则依靠计算机程序来发现数据类型，甚至还可以根据上下文阐明模糊词汇的意义。机器学习还能够让分析师提出的问题不断进行“自我修正”。比如，在新信息出现时，零售商就可以使用该技术来实时自动更新计价算法。这些新信息包括天气、时间、甚至是消费者在其零售店里的行为视频。
Hadoop基础架构
以前，只有造价昂贵的硬件设备才能够运行特别复杂的计算机程序，比如超大型计算机设备。现在Hadoop开源软件分布式系统基础架构已经能够让从资料库提取信息的过程进行分布实施。在这一过程中，不同的分析任务被分配给大量造价低廉的服务器进行分析，每个服务器只负责分析其中的一部分内容，然后这些内容又会在任务结束后被汇总在一起。这样的基础架构既节约资金，运行速度又特别快。
, http://www.100md.com
图谱分析
NSA分析海量通话数据的方法有很多，但图谱分析(Graph Analysis)毫无疑问是其中最重要的一种。图谱分析非常适合用来在海量通话和短信数据中发现数据碎片之间的关联。图谱分析的应用领域已经远远超出了社交网络，从内容和商品推荐到基因分析等各个领域都可以看到图谱分析的影子。
当然，“棱镜”的强大还在于它不仅仅是NSA一个部门的行为。据报道称，数据中心直接接入微软、谷歌、苹果、Facebook、雅虎等9家网络巨头的中心服务器，可以实时跟踪用户电子邮件、聊天记录、视频、音频、文件、照片等上网信息，全面监控特定目标及其联系人的一举一动。通过“棱镜”项目，NSA甚至可以实时监控一个人正在进行的网络搜索内容。所以说，斯诺登叛逃不止是警告了美国人，同时也预示了在互联网的大数据时代，个人隐私所可能遭受的一种普遍危机。
不过，网络监控也并不都是坏事。互联网不仅是大众传播信息的平台，还日益成为大多数国家政府处理国家事务的一个重要工具，因此，依据法律法规对互联网实施必要的管理是各国通行的做法。如果管理不善，任其自由发展，国家信息安全、企业电子商务、大众个人隐私就会受到损害，网络谣言、网络色情和网络诈骗等违法犯罪就会泛滥。因此，网络监管已成为各国政府和民众的共识。
, 百拇医药
事实上，美国对互联网的监控，更多的确实是出于保护国家安全和公众利益的目的。针对版权问题，美国通过对网上作品的临时复制、文件的网络传输等进行监控，发现并处理未经允许从互联网下载音乐、电影、游戏、软件等非法行为，打击销售盗版电影、音乐等制品的网站，保护网络著作权。
在打击儿童色情方面，美国规定公共图书馆都必须为联网计算机安装色情过滤系统，否则图书馆将无法获得政府提供的技术补助资金；政府对建立网络过滤系统提供资金支持，从而避免未成年人接触有害信息。
当然，最重要的目的还是反恐。美国政府公布的数字表明，网络监控计划让美国得以阻止“数十次可能在美国境内以及全球超过20个国家发生的恐怖袭击”。比如，2009年监控计划发挥了作用，让美国调查人员侦破了原籍阿富汗的美国人纳吉布拉·扎齐企图炸毁纽约地铁系统的阴谋，并且找到了他的一名同党阿迪斯·默敦加因。
其实，这样的监控在世界各国都有。在实施监控方面，不同的国家会有不同做法，有的是完全独立，它可能不跟美国合作，比如：意大利、德国等。德国监控关注的领域可能是传统地域的，这跟地缘上传统的殖民地体系有关，比如中东、亚洲、非洲；以色列也是关注中东、非洲、欧洲、南美；英国跟美国有合作。
总之，网络监控和管制有消极的破坏性的影响，也有其合理的积极的作用。最重要的是，既不使民众的隐私和个人信息受到不适当的对待，也不使国际社会中其他国家的相关利益遭到殃及，这是每个国家在制定和实施网络监控和管制政策及其措施时都应该充分考虑的。
【责任编辑】赵新宇, http://www.100md.com(刘露)
2001年“9·11”事件后，美国的联邦调查局、中央情报局、国家安全局等更是大力发展各类监听系统，从“食肉动物系统”到“全面信息感知系统”再到“棱镜系统”，初步形成了网络空间全面监控能力。“食肉动物系统”是美国司法部下属联邦调查局开发并使用的一套信息监控系统。这个系统直接连接到互联网服务提供商的服务器上，可以对所有电子邮件进行监控。它利用敏感词表来审查邮件内容，推定邮件发送或接收人员是否具有危害国家或他人的行为，判定邮件是否为联邦政府的情报收集对象。“食肉动物系统”每秒钟能够扫描数百万份电子邮件，信息处理能力十分巨大，在现代信息技术如大数据技术的支持下，系统可以分析邮件相关人的所有信息，给网民的隐私带来危害。“9·11”事件发生之后，美国国会决定增加对“食肉动物系统”的拨款，联邦调查局得到拨款之后，加速了部署、使用“食肉动物系统”的步伐。“食肉动物系统”已经被部署在美国若干网络服务商的服务器上，成为美国网络监控的一项重要措施。
, http://www.100md.com
斯诺登爆料的“棱镜”计划则是由美国国家安全局(NSA)自2007年起开始实施的绝密电子监听计划。针对这一计划，NSA在犹他州沙漠修建了大规模监控数据中心，筛查并分析全球大多数网络流量，通过关键词的方式高效率地分析数百万份电话、文本消息和在线聊天记录，从而搜集、获取用户的地理位置、通讯记录、社交网络联系、视频、照片等信息，并且进行分析和解读。这一计划得以实施与大数据时代的发展密不可分。一系列新技术的应用让NSA完成了看似是不可能完成的任务。这其中主要包括：
新型数据库系统
大多数使用SQL编程语言的传统数据库是把数据存储在由行与列组成的表格中。然而，当遇到存储包括电子邮件或文本信息等字符串时，传统数据库就暴露了能力有限的弊端。而且它们还无法处理图片或视频。于2009年年底开始出现的新型数据库NoSQL(Not Only SQL，不仅仅是SQL)则突破了传统数据库的能力限制，可以允许数据分析专家针对所有类型的数据创建信息要求。在分析超大型数据组方面，NoSQL数据库体现出了非凡的能力。通过使用NoSQL数据库，你可以在一天内多次进行数据运行，这极大地缩短了获得数据结果的时间。
, 百拇医药
机器学习
传统分析要求分析师对数据有充分的了解，然后才能创建假设问题，进而针对数据库提出复杂的问题。以机器学习和自然语言处理为核心的编程技术则依靠计算机程序来发现数据类型，甚至还可以根据上下文阐明模糊词汇的意义。机器学习还能够让分析师提出的问题不断进行“自我修正”。比如，在新信息出现时，零售商就可以使用该技术来实时自动更新计价算法。这些新信息包括天气、时间、甚至是消费者在其零售店里的行为视频。
Hadoop基础架构
以前，只有造价昂贵的硬件设备才能够运行特别复杂的计算机程序，比如超大型计算机设备。现在Hadoop开源软件分布式系统基础架构已经能够让从资料库提取信息的过程进行分布实施。在这一过程中，不同的分析任务被分配给大量造价低廉的服务器进行分析，每个服务器只负责分析其中的一部分内容，然后这些内容又会在任务结束后被汇总在一起。这样的基础架构既节约资金，运行速度又特别快。
, http://www.100md.com
图谱分析
NSA分析海量通话数据的方法有很多，但图谱分析(Graph Analysis)毫无疑问是其中最重要的一种。图谱分析非常适合用来在海量通话和短信数据中发现数据碎片之间的关联。图谱分析的应用领域已经远远超出了社交网络，从内容和商品推荐到基因分析等各个领域都可以看到图谱分析的影子。
当然，“棱镜”的强大还在于它不仅仅是NSA一个部门的行为。据报道称，数据中心直接接入微软、谷歌、苹果、Facebook、雅虎等9家网络巨头的中心服务器，可以实时跟踪用户电子邮件、聊天记录、视频、音频、文件、照片等上网信息，全面监控特定目标及其联系人的一举一动。通过“棱镜”项目，NSA甚至可以实时监控一个人正在进行的网络搜索内容。所以说，斯诺登叛逃不止是警告了美国人，同时也预示了在互联网的大数据时代，个人隐私所可能遭受的一种普遍危机。
不过，网络监控也并不都是坏事。互联网不仅是大众传播信息的平台，还日益成为大多数国家政府处理国家事务的一个重要工具，因此，依据法律法规对互联网实施必要的管理是各国通行的做法。如果管理不善，任其自由发展，国家信息安全、企业电子商务、大众个人隐私就会受到损害，网络谣言、网络色情和网络诈骗等违法犯罪就会泛滥。因此，网络监管已成为各国政府和民众的共识。
, 百拇医药
事实上，美国对互联网的监控，更多的确实是出于保护国家安全和公众利益的目的。针对版权问题，美国通过对网上作品的临时复制、文件的网络传输等进行监控，发现并处理未经允许从互联网下载音乐、电影、游戏、软件等非法行为，打击销售盗版电影、音乐等制品的网站，保护网络著作权。
在打击儿童色情方面，美国规定公共图书馆都必须为联网计算机安装色情过滤系统，否则图书馆将无法获得政府提供的技术补助资金；政府对建立网络过滤系统提供资金支持，从而避免未成年人接触有害信息。
当然，最重要的目的还是反恐。美国政府公布的数字表明，网络监控计划让美国得以阻止“数十次可能在美国境内以及全球超过20个国家发生的恐怖袭击”。比如，2009年监控计划发挥了作用，让美国调查人员侦破了原籍阿富汗的美国人纳吉布拉·扎齐企图炸毁纽约地铁系统的阴谋，并且找到了他的一名同党阿迪斯·默敦加因。
其实，这样的监控在世界各国都有。在实施监控方面，不同的国家会有不同做法，有的是完全独立，它可能不跟美国合作，比如：意大利、德国等。德国监控关注的领域可能是传统地域的，这跟地缘上传统的殖民地体系有关，比如中东、亚洲、非洲；以色列也是关注中东、非洲、欧洲、南美；英国跟美国有合作。
总之，网络监控和管制有消极的破坏性的影响，也有其合理的积极的作用。最重要的是，既不使民众的隐私和个人信息受到不适当的对待，也不使国际社会中其他国家的相关利益遭到殃及，这是每个国家在制定和实施网络监控和管制政策及其措施时都应该充分考虑的。
【责任编辑】赵新宇, http://www.100md.com(刘露)