第9章数据和信号处理-《物联网技术基础教程》.ppt
《第9章数据和信号处理-《物联网技术基础教程》.ppt》由会员分享,可在线阅读,更多相关《第9章数据和信号处理-《物联网技术基础教程》.ppt(115页珍藏版)》请在一课资料网上搜索。
1、第第 9 章章 数据和信号处理数据和信号处理 技术技术 学习任务学习任务可扩展标记语言可扩展标记语言 高性能计算高性能计算 海量数据数据库技术 Click to add title in here 123本章主要涉及:本章主要涉及:4语义网语义网 学习任务学习任务智能决策算法智能决策算法 人工智能技术人工智能技术 人机交互技术人机交互技术 Click to add title in here 567本章主要涉及:本章主要涉及:4语义网语义网 9.1 可扩展标记语言可扩展标记语言 XML(Extensible Markup Language)即可扩展)即可扩展标记语言,它与标记语言,它与HTML
2、一样,都是一样,都是SGML(Standard Generalized Markup Language, 标准通用标记语标准通用标记语言言)。 Xml是是Internet环境中跨平台的,依赖于内容的技术,环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具。是当前处理结构化文档信息的有力工具。9.1.1 可扩展标记语言(可扩展标记语言(XML)简介)简介 扩展标记语言扩展标记语言XML是一种简单的数据存储语言,是一种简单的数据存储语言,使用一系列简单的标记描述数据,而这些标记使用一系列简单的标记描述数据,而这些标记可以用方便的方式建立,可以用方便的方式建立, 虽然虽然XML占用
3、的空间比二进制数据要占用更多占用的空间比二进制数据要占用更多的空间,但的空间,但XML极其简单易于掌握和使用。极其简单易于掌握和使用。9.1.1 可扩展标记语言(可扩展标记语言(XML)简介)简介1. XML语法语法 在在XML中,采用了如下的语法:中,采用了如下的语法: (1) 任何的起始标签都必须有一个结束标签。任何的起始标签都必须有一个结束标签。 (2) 可以采用另一种简化语法,可以在一个标签中可以采用另一种简化语法,可以在一个标签中同时表示起始和结束标签。同时表示起始和结束标签。 这种语法是在大于符号之前紧跟一个斜线(这种语法是在大于符号之前紧跟一个斜线(/),),例如例如。XML解析
4、器会将其翻译成解析器会将其翻译成。9.1.1 可扩展标记语言(可扩展标记语言(XML)简介)简介(3) 标签必须按合适的顺序进行嵌套,标签必须按合适的顺序进行嵌套, 所以结束标签必须按镜像顺序匹配起始标签,所以结束标签必须按镜像顺序匹配起始标签,这好比是将起始和结束标签看作是数学中的左这好比是将起始和结束标签看作是数学中的左右括号:在没有关闭所有的内部括号之前,是右括号:在没有关闭所有的内部括号之前,是不能关闭外面的括号的。不能关闭外面的括号的。 (4) 所有的特性都必须有值。所有的特性都必须有值。 (5) 所有的特性都必须在值的周围加上双引号。所有的特性都必须在值的周围加上双引号。9.1.1
5、 可扩展标记语言(可扩展标记语言(XML)简介)简介2. XML实例实例 An Introduction to XML Chunbin 2010 98.0 The Performance of DataBase John 1996 56.0 9.1.1 可扩展标记语言(可扩展标记语言(XML)简介)简介 上面的上面的XML文档对应的树形结构如下:文档对应的树形结构如下: XML文档对应的树形结构文档对应的树形结构 9.1.2 可扩展标记语言特性可扩展标记语言特性 XML与与Access,Oracle和和SQL Server等数据等数据库不同,数据库提供了更强有力的数据存储和库不同,数据库提供了
6、更强有力的数据存储和分析能力,例如:数据索引、排序、查找、相分析能力,例如:数据索引、排序、查找、相关一致性等,关一致性等,XML仅仅是展示数据。仅仅是展示数据。 事实上事实上XML与其他数据表现形式最大的不同与其他数据表现形式最大的不同是:它极其简单。是:它极其简单。 XML与与HTML的设计区别是:的设计区别是:XML是用来存储是用来存储数据的,重在数据本身。而数据的,重在数据本身。而HTML是用来定义是用来定义数据的,重在数据的显示模式。数据的,重在数据的显示模式。 9.1.2 可扩展标记语言特性可扩展标记语言特性 XML的简单使其易于在任何应用程序中读写数据,的简单使其易于在任何应用程
7、序中读写数据,这使这使XML很快成为数据交换的唯一公共语言,意很快成为数据交换的唯一公共语言,意味着程序可以更容易的与味着程序可以更容易的与Windows、Mac OS, Linux以及其他平台下产生的信息结合,以及其他平台下产生的信息结合, 然后可以很容易加载然后可以很容易加载XML数据到程序中并分析他,数据到程序中并分析他,并以并以XML格式输出结果。格式输出结果。 9.1.3 可扩展标记语言文档结构可扩展标记语言文档结构 每个每个XML文档都由文档都由XML序言开始,在前面的代码中的序言开始,在前面的代码中的第一行便是第一行便是XML序言,序言,。 这一行代码会告诉解析器和浏览器,这个文
8、件应该按照这一行代码会告诉解析器和浏览器,这个文件应该按照前面讨论过的前面讨论过的XML规则进行解析。规则进行解析。 第二行代码,第二行代码,则是文档元素(,则是文档元素(document element),它是文件中最外面的标签(我们认为元素),它是文件中最外面的标签(我们认为元素(element)是起始标签和结束标签之间的内容)。)是起始标签和结束标签之间的内容)。9.1.3 可扩展标记语言文档结构可扩展标记语言文档结构 所有其他的标签必须包含在这个标签之内来所有其他的标签必须包含在这个标签之内来组成一个有效的组成一个有效的XML文件。文件。XML文件的第二行文件的第二行并不一定要包含文档
9、元素;如果有注释或者其并不一定要包含文档元素;如果有注释或者其他内容,文档元素可以迟些出现。他内容,文档元素可以迟些出现。 范例文件中的第三行代码是注释,你会发范例文件中的第三行代码是注释,你会发现它与现它与HTML中使用的注释风格是一样的。这中使用的注释风格是一样的。这是是XML从从SGML中继承的语法元素之一。中继承的语法元素之一。 9.1.3 可扩展标记语言文档结构可扩展标记语言文档结构 XML 文档结构文档结构 9.1.4 XML的优势的优势 XML 的优势有以下六个方面:的优势有以下六个方面: XML可以从可以从HTML中分离数据中分离数据 XML用于交换数据用于交换数据 XML可以
10、用于共享数据可以用于共享数据 XML可以用于存储数据可以用于存储数据 XML可以充分利用数据可以充分利用数据 XML可以用于创建新的语言可以用于创建新的语言 9.2 高性能计算高性能计算 高性能计算高性能计算(High Performance Computing)是计算机科学的一个分支,主要是指从体系结是计算机科学的一个分支,主要是指从体系结构、并行算法和软件开发等方面研究开发高性构、并行算法和软件开发等方面研究开发高性能计算机的技术。能计算机的技术。 高性能计算高性能计算(HPC) 指通常使用很多处理器(作指通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的为单个机器的一部分)或
11、者某一集群中组织的几台计算机(作为单个计算资源操作)的计算几台计算机(作为单个计算资源操作)的计算系统和环境。系统和环境。 9.2.1 高性能计算概述高性能计算概述 有许多类型的有许多类型的HPC 系统,其范围从标准计算机系统,其范围从标准计算机的大型集群,到高度专用的硬件。的大型集群,到高度专用的硬件。 大多数基于集群的大多数基于集群的HPC系统使用高性能网络互系统使用高性能网络互连,比如那些来自连,比如那些来自 InfiniBand 或或 Myrinet 的网的网络互连。络互连。 基本的网络拓扑和组织可以使用一个简单的总基本的网络拓扑和组织可以使用一个简单的总线拓扑,在性能很高的环境中,网
12、状网络系统线拓扑,在性能很高的环境中,网状网络系统在主机之间提供较短的潜伏期,所以可改善总在主机之间提供较短的潜伏期,所以可改善总体网络性能和传输速率。体网络性能和传输速率。9.2.1 高性能计算概述高性能计算概述 下图显示了一网状下图显示了一网状 HPC 系统。在网状网络拓系统。在网状网络拓扑中,该结构支持通过缩短扑中,该结构支持通过缩短网络节点网络节点之间的物之间的物理和逻辑距离来加快跨主机的通信。理和逻辑距离来加快跨主机的通信。 .HPC 网状网络拓扑网状网络拓扑 9.2.1 高性能计算概述高性能计算概述 HPC 环境中的任务执行,有两个模型:单指令环境中的任务执行,有两个模型:单指令/
13、多数多数据据 (SIMD) 和多指令和多指令/多数据多数据 (MIMD)。 SIMD在跨多个处理器的同时执行相同的计算指令和在跨多个处理器的同时执行相同的计算指令和操作,但对于不同数据范围,它允许系统同时使用操作,但对于不同数据范围,它允许系统同时使用许多变量计算相同的表达式。许多变量计算相同的表达式。 MIMD允许允许HPC 系统在同一时间使用不同的变量执系统在同一时间使用不同的变量执行不同的计算,使整个系统看起来并不只是一个没行不同的计算,使整个系统看起来并不只是一个没有任何特点的计算资源,可以同时执行许多计算。有任何特点的计算资源,可以同时执行许多计算。 9.2.1 高性能计算概述高性能
14、计算概述 不管是使用不管是使用 SIMD 还是还是 MIMD,典型,典型 HPC 的基本的基本原理仍然是相同的:整个原理仍然是相同的:整个HPC 单元的操作和行为单元的操作和行为像是单个计算资源,它将实际请求的加载展开到像是单个计算资源,它将实际请求的加载展开到各个节点。各个节点。 HPC 解决方案也是专用的单元,被专门设计和部解决方案也是专用的单元,被专门设计和部署为能够充当(并且只充当)大型计算资源。署为能够充当(并且只充当)大型计算资源。 9.2.2 高性能计算机的应用高性能计算机的应用 高性能计算机是价格在高性能计算机是价格在10万元以上的服务器。万元以上的服务器。 高性能计算机也有高
15、、中、低档之分,中高档高性能计算机也有高、中、低档之分,中高档系统可分为两种系统可分为两种: 一种叫超级计算机,主要是用于科学工程计算一种叫超级计算机,主要是用于科学工程计算及专门的设计,如及专门的设计,如Cray T3E; 另一种叫超级服务器,可以用来支持计算、事另一种叫超级服务器,可以用来支持计算、事务处理、数据库应用、网络应用与服务,如务处理、数据库应用、网络应用与服务,如IBM的的SP和国产的曙光和国产的曙光2000。 9.2.2 高性能计算机的应用高性能计算机的应用 高性能计算机在国内的研究与应用已取得了一些高性能计算机在国内的研究与应用已取得了一些成功,包括成功,包括: 航空航天工
16、业中的数字风洞,可以减少实验次数,航空航天工业中的数字风洞,可以减少实验次数,缩短研制周期,节约研制费用;缩短研制周期,节约研制费用; 利用高性能计算机做气象预报和气候模拟利用高性能计算机做气象预报和气候模拟; 在生物工程、生物信息学、船舶设计、汽车设计在生物工程、生物信息学、船舶设计、汽车设计和碰撞模拟和碰撞模拟; 三峡工程施工管理和质量控制等领域都有高性能三峡工程施工管理和质量控制等领域都有高性能计算机成功应用的实例。计算机成功应用的实例。9.2.3 高性能计算分类高性能计算分类1. 高吞吐计算高吞吐计算(High-throughput Computing) 有一类高性能计算,可以把它分成
17、若干可以并行有一类高性能计算,可以把它分成若干可以并行的子任务,而且各个子任务彼此间没有什么关联。的子任务,而且各个子任务彼此间没有什么关联。因为这种类型应用的一个共同特征是在海量数据因为这种类型应用的一个共同特征是在海量数据上搜索某些特定模式,所以把这类计算称为高吞上搜索某些特定模式,所以把这类计算称为高吞吐计算。吐计算。 所谓的所谓的Internet计算都属于这一类。按照计算都属于这一类。按照Flynn的分类,高吞吐计算属于的分类,高吞吐计算属于SIMD(Single Instruction/Multiple Data,单指令流单指令流-多数据流)的范畴。多数据流)的范畴。9.2.3 高性
18、能计算分类高性能计算分类2. 分布计算分布计算(Distributed Computing) 另一类计算刚好和高吞吐计算相反,它们虽然可另一类计算刚好和高吞吐计算相反,它们虽然可以给分成若干并行的子任务,但是子任务间联系以给分成若干并行的子任务,但是子任务间联系很紧密,需要大量的数据交换。很紧密,需要大量的数据交换。 按照按照Flynn的分类,分布式的高性能计算属于的分类,分布式的高性能计算属于MIMD(Multiple Instruction/Multiple Data,多,多指令流指令流-多数据流)的范畴。多数据流)的范畴。9.2.4 分布式计算分布式计算 所谓分布式计算就是在两个或多个软
19、件互相共享所谓分布式计算就是在两个或多个软件互相共享信息,这些软件既可以在同一台计算机上运行,信息,这些软件既可以在同一台计算机上运行,也可以在通过网络连接起来的多台计算机上运行。也可以在通过网络连接起来的多台计算机上运行。 分布式计算是利用互联网上的计算机的分布式计算是利用互联网上的计算机的 CPU 的闲的闲置处理能力来解决大型计算问题的一种计算科学。置处理能力来解决大型计算问题的一种计算科学。 分布式计算是近年提出的一种新的计算方式。分布式计算是近年提出的一种新的计算方式。9.2.4 分布式计算分布式计算 分布式计算是一门计算机科学。分布式计算是一门计算机科学。 它研究如何把一个需要非常巨
20、大的计算能力才能它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终结果。果综合起来得到最终结果。9.2.4 分布式计算分布式计算 最近的分布式计算项目已经被用于使用世界各地成最近的分布式计算项目已经被用于使用世界各地成千上万志愿者的计算机的闲置计算能力,千上万志愿者的计算机的闲置计算能力, 通过因特网,您可以分析来自外太空的电讯号,寻通过因特网,您可以分析来自外太空的电讯号,寻找隐蔽的黑洞,并探索可能存在的外星智慧生命
21、;找隐蔽的黑洞,并探索可能存在的外星智慧生命; 您可以寻找超过您可以寻找超过1000万位数字的梅森质数;万位数字的梅森质数; 您也可以寻找并发现对抗艾滋病毒更为有效的药物。您也可以寻找并发现对抗艾滋病毒更为有效的药物。 用以完成需要惊人的计算量的庞大项目。用以完成需要惊人的计算量的庞大项目。9.2.5 网格计算网格计算 网格计算系统的关键元素是网格中的各个节点,网格计算系统的关键元素是网格中的各个节点,它们不是专门的专用组件。它们不是专门的专用组件。 在网格中,各种系统常常基于标准机器或操作系在网格中,各种系统常常基于标准机器或操作系统。位于这种标准环境顶部的是应用软件,它们统。位于这种标准环
22、境顶部的是应用软件,它们支持网格功能。支持网格功能。 网格可能由一系列同样的专用硬件、多种具有相网格可能由一系列同样的专用硬件、多种具有相同基础架构的机器或者由多个平台和环境组成的同基础架构的机器或者由多个平台和环境组成的完全异构的环境组成。完全异构的环境组成。 专用计算资源在网格中并不是必需的。许多网格专用计算资源在网格中并不是必需的。许多网格是通过重用现有基础设施组件产生新的统一计算是通过重用现有基础设施组件产生新的统一计算资源来创建的。资源来创建的。 9.2.5 网格计算网格计算 网格与传统网格与传统HPC解决方案之间的主要不同是:解决方案之间的主要不同是: HPC解决方案设计用于提供特
23、定资源解决方案,解决方案设计用于提供特定资源解决方案,比如强大的计算能力以及在内存中保存大量数据比如强大的计算能力以及在内存中保存大量数据以便处理它们的能力。以便处理它们的能力。 另一方面,网格是一种分布式计算资源,这意味另一方面,网格是一种分布式计算资源,这意味着网格可以根据需要共享任何组件,包括着网格可以根据需要共享任何组件,包括内存内存、CPU电源,甚至是磁盘空间。电源,甚至是磁盘空间。 9.2.5 网格计算网格计算 具体的网格计算的应用框架结构具体的网格计算的应用框架结构 9.2.6 网格类型网格类型(1) 高吞吐量网格高吞吐量网格 在这种网格中,发给每个网格节点的各个任务单在这种网格
24、中,发给每个网格节点的各个任务单元通常都非常小,每个单元的请求和预期执行时元通常都非常小,每个单元的请求和预期执行时间都很小。间都很小。 这些网格通常会在计算系统中使用,其中请求的这些网格通常会在计算系统中使用,其中请求的数量反应数量反应 了给定函数或计算的不同输入值的范围。了给定函数或计算的不同输入值的范围。 例如,在单个作业中可能有例如,在单个作业中可能有 10,000 甚至甚至 100,000 个请求。个请求。9.2.6 网格类型网格类型(2)高计算量(高计算量(High-computational)网格)网格 在计算网格中,每个节点都负责为函数或表在计算网格中,每个节点都负责为函数或表
25、达式提供达式提供 CPU 处理能力。处理能力。 每个工作单元的持续时间可能会很长(与高吞每个工作单元的持续时间可能会很长(与高吞吐量网格中较短的执行时间相比)。吐量网格中较短的执行时间相比)。 9.2.6 网格类型网格类型(3)高内存量()高内存量(High-memory grid)的网格)的网格 在处理大量数据时使用这种类型的网格,例如在处理大量数据时使用这种类型的网格,例如计算机动画绘图、计算流体动力学(计算机动画绘图、计算流体动力学(CFD)分)分析或制造和监视系统中处理大量数据所使用的析或制造和监视系统中处理大量数据所使用的网格。网格。 (4)存储网格)存储网格 存储网格在需要将大量信
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 物联网技术基础教程 数据 信号 处理 联网 技术 基础教程
