《物联网概论》第10章-物联网的数据处理课件
物联网概论物联网概论第第10章章 物联网的数据处理物联网的数据处理机械工业出版社机械工业出版社物联网概论第10章 物联网的数据处理第第10章章 物联网的数据处理物联网的数据处理10.1 数据中心数据中心10.2 数据库系统数据库系统10.3 数据挖掘数据挖掘10.4 搜索引擎搜索引擎10.5 海量数据存储海量数据存储10.6 云计算云计算10.7 普适计算普适计算第10章 物联网的数据处理10.1 数据中心10.1 数据中心数据中心10.1.1 数据中心的组成数据中心的组成10.1.2 数据中心的分类与分级数据中心的分类与分级10.1.3 数据中心的建设数据中心的建设10.1 数据中心10.1.1 数据中心的组成数数据据中中心心的的定定义义可以实现信息的集中处理、存储、传输、交换和可以实现信息的集中处理、存储、传输、交换和管理等功能的基础设施管理等功能的基础设施计算机设备服务器网络设备通信设备存储设备物联网概论-韩毅刚4数据中心的定义可以实现信息的集中处理、存储、传输、交换和管理数数据据中中心心外外部部Google物联网概论-韩毅刚5数据中心外部Google物联网概论-韩毅刚5I ID DC C物联网概论-韩毅刚6IDC物联网概论-韩毅刚6数数据据中中心心内内部部物联网概论-韩毅刚7数据中心内部物联网概论-韩毅刚7数数据据中中心心内内部部物联网概论-韩毅刚8数据中心内部物联网概论-韩毅刚810.1.1 10.1.1 数据中心的组成数据中心的组成物联网概论-韩毅刚9物理组成物理组成逻辑组成逻辑组成10.1.1 数据中心的组成物联网概论-韩毅刚9物理组成数数据据中中心心物物理理组组成成计算机设备计算机设备服务器服务器网络设备网络设备通信设备通信设备存储设备存储设备物联网概论-韩毅刚10数据中心物理组成计算机设备物联网概论-韩毅刚10数数据据中中心心逻逻辑辑组组成成支撑系统支撑系统计算设备计算设备业务信息系统业务信息系统物联网概论-韩毅刚11数据中心逻辑组成支撑系统物联网概论-韩毅刚11数数据据中中心心的的逻逻辑辑组组成成示示意意图图物联网概论-韩毅刚12数据中心的逻辑组成示意图物联网概论-韩毅刚1210.1.2 10.1.2 数据中心的分类与分级数据中心的分类与分级分类分类EDCIDC分级分级国标GB50174-92物联网概论-韩毅刚1310.1.2 数据中心的分类与分级分类物联网概论-韩毅刚数数据据中中心心分分类类EDC企业数据中心IDC互联网数据中心物联网概论-韩毅刚14数据中心分类EDC物联网概论-韩毅刚14分分级级国标国标GB50174-92A（容错型）B（冗余型）C（基本型）国际国际TIA-942标准TierTierTierTier物联网概论-韩毅刚15分级国标物联网概论-韩毅刚1510.1.3 10.1.3 数据中心的建设数据中心的建设建筑建筑装修装修设备安装设备安装物联网概论-韩毅刚1610.1.3 数据中心的建设建筑物联网概论-韩毅刚16数数据据中中心心部部分分机机柜柜物联网概论-韩毅刚17数据中心部分机柜物联网概论-韩毅刚17数数据据中中心心部部分分通通信信设设备备机机柜柜物联网概论-韩毅刚18数据中心部分通信设备机柜物联网概论-韩毅刚18走走线线架架物联网概论-韩毅刚19走线架物联网概论-韩毅刚19数数据据中中心心的的电电源源组组物联网概论-韩毅刚20数据中心的电源组物联网概论-韩毅刚20U UP PC C供供电电系系统统物联网概论-韩毅刚21UPC供电系统物联网概论-韩毅刚21发发电电机机供供电电物联网概论-韩毅刚22发电机供电物联网概论-韩毅刚22空空调调系系统统物联网概论-韩毅刚23空调系统物联网概论-韩毅刚23监监控控系系统统单个机房单个机房物联网概论-韩毅刚24计算机网络 TCP/IP TCP/IPAgent软件或Client软件机房环境 TCP/IPWeb软件 TCP/IP网络设备嵌入式系统监控系统单个机房物联网概论-韩毅刚24计算机网络 TCP消消防防系系统统原理原理物联网概论-韩毅刚25消防系统原理物联网概论-韩毅刚25防防雷雷接接地地系系统统物联网概论-韩毅刚26防雷接地系统物联网概论-韩毅刚2610.2 数据库系统数据库系统10.2.1 数据库的类型数据库的类型10.2.2 数据库的操作数据库的操作10.2.3 数据库与物联网数据库与物联网27物联网概论-韩毅刚10.2 数据库系统10.2.1 数据库的类型27物联网10.2.1 10.2.1 数据库的类型数据库的类型物联网概论-韩毅刚28关系数据库关系数据库层次数据库层次数据库网状数据库网状数据库10.2.1 数据库的类型物联网概论-韩毅刚28关系数据新新型型数数据据库库演绎数据库演绎数据库面向对象数据库面向对象数据库分布式数据库分布式数据库分布式实时数据库分布式实时数据库工程数据库工程数据库时态数据库时态数据库模糊数据库模糊数据库物联网概论-韩毅刚29新型数据库演绎数据库物联网概论-韩毅刚2910.2.2 10.2.2 数据库的操作数据库的操作DBMSDBMSSQLSQL物联网概论-韩毅刚3010.2.2 数据库的操作DBMS物联网概论-韩毅刚30D DB BM MS S桌面数据库桌面数据库AccessFoxProdBase客户客户/服务器数据库服务器数据库SQL ServerOracleSybase物联网概论-韩毅刚31DBMS桌面数据库物联网概论-韩毅刚31S SQ QL L查询查询更新更新添加添加删除删除物联网概论-韩毅刚32SQL查询物联网概论-韩毅刚3210.2.3 10.2.3 数据库与物联网数据库与物联网非关系数据库系统非关系数据库系统物联网数据库特征物联网数据库特征物联网概论-韩毅刚3310.2.3 数据库与物联网非关系数据库系统物联网概论-非非关关系系数数据据库库系系统统非非SQL亚马逊的Dynamo脸谱的Cassandra阿帕奇的HBase物联网概论-韩毅刚34非关系数据库系统非SQL物联网概论-韩毅刚34物物联联网网数数据据库库特特征征数据量大数据量大数据异构性强数据异构性强数据关联性复杂数据关联性复杂分布式存储分布式存储数据实时性数据实时性物联网概论-韩毅刚35物联网数据库特征数据量大物联网概论-韩毅刚35物物联联网网数数据据库库举举例例分布式实时数据库分布式实时数据库主动数据库主动数据库物联网概论-韩毅刚36物联网数据库举例分布式实时数据库物联网概论-韩毅刚3610.3 数据挖掘数据挖掘10.3.1 数据挖掘的过程数据挖掘的过程10.3.2 数据挖掘的方法数据挖掘的方法10.3.3 物联网中的数据挖掘物联网中的数据挖掘37物联网概论-韩毅刚10.3 数据挖掘10.3.1 数据挖掘的过程37物联网概10.3.1 10.3.1 数据挖掘的过程数据挖掘的过程物联网概论-韩毅刚381.1.数据处理数据处理2.2.数据挖掘数据挖掘3.3.知识评估与表示知识评估与表示10.3.1 数据挖掘的过程物联网概论-韩毅刚381.1 1.数数据据处处理理1）数据准备）数据准备2）数据选取）数据选取3）数据预处理）数据预处理4）数据变换）数据变换物联网概论-韩毅刚391.数据处理1）数据准备物联网概论-韩毅刚39 2 2.数数据据挖挖掘掘1）选择算法）选择算法2）数据挖掘。
数据挖掘物联网概论-韩毅刚402.数据挖掘1）选择算法物联网概论-韩毅刚40 3 3.知知识识评评估估与与表表示示模式选择模式选择知识评估知识评估结果可视化结果可视化物联网概论-韩毅刚413.知识评估与表示模式选择物联网概论-韩毅刚4110.3.2 10.3.2 数据挖掘的方法数据挖掘的方法集合论方法集合论方法信息论方法信息论方法仿生学方法仿生学方法其他方法其他方法物联网概论-韩毅刚4210.3.2 数据挖掘的方法集合论方法物联网概论-韩毅刚数数据据挖挖掘掘的的具具体体方方法法1）统计分析方法）统计分析方法2）决策树）决策树3）神经网络）神经网络4）遗传算法）遗传算法5）粗糙集）粗糙集6）联机分析处理技术）联机分析处理技术物联网概论-韩毅刚43数据挖掘的具体方法1）统计分析方法物联网概论-韩毅刚4310.3.3 10.3.3 物联网中的数据挖掘物联网中的数据挖掘1.1.异构数据的处理异构数据的处理2.2.分布式数据挖掘分布式数据挖掘物联网概论-韩毅刚4410.3.3 物联网中的数据挖掘1.异构数据的处理物联网1 1.异异构构数数据据的的处处理理结构化数据结构化数据半结构化半结构化数据数据非结构化数据非结构化数据物联网概论-韩毅刚451.异构数据的处理结构化数据物联网概论-韩毅刚452 2.分分布布式式数数据据挖挖掘掘集中式集中式局部式局部式物联网概论-韩毅刚462.分布式数据挖掘集中式物联网概论-韩毅刚4610.4 搜索引擎搜索引擎10.4.1 搜索引擎的分类搜索引擎的分类10.4.2 搜索引擎的组成和工作原理搜索引擎的组成和工作原理10.4.3 面向物联网的搜索引擎面向物联网的搜索引擎47物联网概论-韩毅刚10.4 搜索引擎10.4.1 搜索引擎的分类47物联网10.4.1 10.4.1 搜索引擎的分类搜索引擎的分类物联网概论-韩毅刚48全文搜索引擎全文搜索引擎目录索引类搜索引擎目录索引类搜索引擎元搜索引擎元搜索引擎10.4.1 搜索引擎的分类物联网概论-韩毅刚48全文搜10.4.2 10.4.2 搜索引擎的组成和工作原理搜索引擎的组成和工作原理工作过程工作过程组成组成工作原理工作原理物联网概论-韩毅刚4910.4.2 搜索引擎的组成和工作原理工作过程物联网概论搜搜索索引引擎擎工工作作过过程程搜索信息搜索信息整理信息，建立索引整理信息，建立索引结果排序结果排序物联网概论-韩毅刚50搜索引擎工作过程搜索信息物联网概论-韩毅刚50搜搜索索引引擎擎系系统统结结构构物联网概论-韩毅刚51搜索引擎系统结构物联网概论-韩毅刚51搜搜索索引引擎擎的的组组成成1.搜索器搜索器2.索引器索引器3.检索器检索器4.用户接口用户接口物联网概论-韩毅刚52搜索引擎的组成1.搜索器物联网概论-韩毅刚5210.4.3 10.4.3 面向物联网的搜索引擎面向物联网的搜索引擎数据特征数据特征搜索引擎特征搜索引擎特征物联网概论-韩毅刚5310.4.3 面向物联网的搜索引擎数据特征物联网概论-韩搜搜索索引引擎擎特特征征1）搜索内容的时空性强）搜索内容的时空性强2）实体搜索）实体搜索3）查询输入方式多样）查询输入方式多样4）安全和隐私问题）安全和隐私问题5）多媒体搜索）多媒体搜索物联网概论-韩毅刚54搜索引擎特征1）搜索内容的时空性强物联网概论-韩毅刚5410.5 海量数据存储海量数据存储10.5.1 磁盘阵列磁盘阵列10.5.2 网络存储网络存储10.5.3 云存储云存储55物联网概论-韩毅刚10.5 海量数据存储10.5.1 磁盘阵列55物联网概论10.5.1 10.5.1 磁盘阵列磁盘阵列物联网概论-韩毅刚561 1RAIDRAID级别级别2.RAID2.RAID技术特点技术特点3.RAID3.RAID的实现的实现10.5.1 磁盘阵列物联网概论-韩毅刚561RAID磁磁盘盘阵阵列列物联网概论-韩毅刚57磁盘阵列物联网概论-韩毅刚574 4盘盘位位磁磁盘盘阵阵列列存存储储器器物联网概论-韩毅刚584盘位磁盘阵列存储器物联网概论-韩毅刚58机机柜柜式式磁磁盘盘阵阵列列物联网概论-韩毅刚59机柜式磁盘阵列物联网概论-韩毅刚59R RA AI ID D级级别别RAID分为分为 07个级别个级别RAID 10RAID 0与RAID 1的组合RAID 50RAID 0与RAID 5的组合物联网概论-韩毅刚60RAID级别RAID分为 07个级别物联网概论-韩毅刚R RA AI ID D优优点点传输速率传输速率高高容错容错物联网概论-韩毅刚61RAID优点传输速率高物联网概论-韩毅刚61R RA AI ID D的的具具体体实实现现软件软件RAID硬件硬件RAID物联网概论-韩毅刚62RAID的具体实现软件RAID物联网概论-韩毅刚6210.5.2 10.5.2 网络存储网络存储1.1.直接附加存储直接附加存储DASDAS2.2.网络附加存储网络附加存储NASNAS3.3.存储区域网存储区域网SANSAN物联网概论-韩毅刚6310.5.2 网络存储1.直接附加存储DAS物联网概论-1 1.直直接接附附加加存存储储D DA AS S直附直附式式存储存储Direct Attached Storage电缆直接相连电缆直接相连物联网概论-韩毅刚641.直接附加存储DAS直附式存储物联网概论-韩毅刚64 2 2.网网络络附附加加存存储储N NA AS S网附网附式式存储存储Network Attached Storage通过网络接口连接通过网络接口连接物联网概论-韩毅刚652.网络附加存储NAS网附式存储物联网概论-韩毅刚653 3.存存储储区区域域网网S SA AN NSANStorage Area Network物联网概论-韩毅刚663.存储区域网SANSAN物联网概论-韩毅刚6610.5.3 10.5.3 云存储云存储概念概念结构模型结构模型物联网概论-韩毅刚6710.5.3 云存储概念物联网概论-韩毅刚67云云存存储储的的概概念念一种服务模式一种服务模式云计算的延伸云计算的延伸物联网概论-韩毅刚68云存储的概念一种服务模式物联网概论-韩毅刚68云云存存储储的的体体系系结结构构访问层访问层应用接口层应用接口层基础管理层基础管理层存储层存储层物联网概论-韩毅刚69云存储的体系结构访问层物联网概论-韩毅刚6910.6 云计算云计算10.6.1 云计算的概念云计算的概念10.6.2 云计算系统的组成和结构云计算系统的组成和结构10.6.3 云计算系统实例云计算系统实例10.6.4 云计算系统的开发云计算系统的开发70物联网概论-韩毅刚10.6 云计算10.6.1 云计算的概念70物联网概论10.6.1 10.6.1 云计算的概念云计算的概念物联网概论-韩毅刚71定义定义分类分类延伸延伸10.6.1 云计算的概念物联网概论-韩毅刚71定义云云计计算算的的定定义义一种基于互联网的新的一种基于互联网的新的IT服务增加、使用和交付服务增加、使用和交付模式模式物联网概论-韩毅刚72云计算的定义一种基于互联网的新的IT服务增加、使用和交付模式云云计计算算的的服服务务模模式式基础设施即服务基础设施即服务IaaSInfrastructure as a Service平台即服务平台即服务PaaSPlatform as a Service软件即服务软件即服务SaaSSoftware as a Service物联网概论-韩毅刚73云计算的服务模式基础设施即服务物联网概论-韩毅刚73云云计计算算的的类类型型公共云公共云私有云私有云企业云企业云物联网概论-韩毅刚74云计算的类型公共云物联网概论-韩毅刚74云云计计算算的的延延伸伸云存储云存储云安全云安全云电视云电视云手机云手机海计算海计算框计算框计算风计算风计算物联网概论-韩毅刚75云计算的延伸云存储物联网概论-韩毅刚7510.6.2 10.6.2 云计算系统的组成和结构云计算系统的组成和结构SOASOA层层中间管理层中间管理层资源池层资源池层物理资源层物理资源层物联网概论-韩毅刚7610.6.2 云计算系统的组成和结构SOA层物联网概论-云云计计算算体体系系结结构构物联网概论-韩毅刚77云计算体系结构物联网概论-韩毅刚7710.6.3 10.6.3 云计算系统实例云计算系统实例1.1.亚马逊云计算亚马逊云计算2.2.微软云计算微软云计算Windows AzureWindows Azure物联网概论-韩毅刚7810.6.3 云计算系统实例1.亚马逊云计算物联网概论1 1.亚亚马马逊逊云云计计算算弹性计算云弹性计算云EC2Elastic Compute Cloud简单存储服务简单存储服务S3Simple Storage Service简单数据库服务简单数据库服务SDBSimpleDB物联网概论-韩毅刚791.亚马逊云计算弹性计算云物联网概论-韩毅刚79E EC C2 2基基本本架架构构物联网概论-韩毅刚80EC2基本架构物联网概论-韩毅刚80S S3 3基基本本数数据据结结构构物联网概论-韩毅刚81S3基本数据结构物联网概论-韩毅刚81 2 2.微微软软云云计计算算W Wi in nd do ow ws s A Az zu ur re e云计算操作系统云计算操作系统SQL Azure云计算数据库云计算数据库.NET服务服务物联网概论-韩毅刚822.微软云计算Windows Azure云计算操作系统 W Wi in nd do ow ws s A Az zu ur re e主主要要部部分分物联网概论-韩毅刚83 Windows Azure主要部分物联网概论-韩毅刚810.6.4 10.6.4 云计算系统的开发云计算系统的开发1.1.开源云计算系统开源云计算系统HadoopHadoop2.2.云计算虚拟化技术云计算虚拟化技术3.3.云计算仿真器云计算仿真器CloudSimCloudSim物联网概论-韩毅刚8410.6.4 云计算系统的开发1.开源云计算系统Hadoo1 1.开开源源云云计计算算系系统统H Ha ad do oo op pHDFS分布式文档系统分布式文档系统MapReduce分布式平行计算框架分布式平行计算框架Hbase分布式数据库分布式数据库物联网概论-韩毅刚851.开源云计算系统HadoopHDFS分布式文档系统物联H Ha ad do oo op p的的云云计计算算架架构构物联网概论-韩毅刚86Hadoop的云计算架构物联网概论-韩毅刚86 2 2.云云计计算算虚虚拟拟化化技技术术全虚拟化全虚拟化半虚拟化半虚拟化硬件辅助虚拟化硬件辅助虚拟化物联网概论-韩毅刚872.云计算虚拟化技术全虚拟化物联网概论-韩毅刚87 3 3.云云计计算算仿仿真真器器C Cl lo ou ud dS Si im m用户代码层用户代码层CloudSim层层GridSim层层SimJava层层物联网概论-韩毅刚883.云计算仿真器CloudSim用户代码层物联网概论C Cl lo ou ud dS Si im m体体系系结结构构物联网概论-韩毅刚89CloudSim体系结构物联网概论-韩毅刚8910.7 普适计算普适计算10.7.1 普适计算技术的特征普适计算技术的特征10.7.2 普适计算的组成普适计算的组成10.7.3 普适计算的体系结构普适计算的体系结构10.7.4 普适计算的关键技术普适计算的关键技术90物联网概论-韩毅刚10.7 普适计算10.7.1 普适计算技术的特征90物联普普适适计计算算的的概概念念物联网概论-韩毅刚91普适计算的概念物联网概论-韩毅刚9110.7.1 10.7.1 普适计算技术的特征普适计算技术的特征物联网概论-韩毅刚92信息空间与物理空间信息空间与物理空间间断连接与轻量计算间断连接与轻量计算10.7.1 普适计算技术的特征物联网概论-韩毅刚92信信信息息空空间间与与物物理理空空间间的的融融合合物联网概论-韩毅刚93信息空间与物理空间的融合物联网概论-韩毅刚9310.7.2 10.7.2 普适计算的组成普适计算的组成普适计算设备普适计算设备普适计算网络普适计算网络系统软件系统软件人机交互人机交互物联网概论-韩毅刚9410.7.2 普适计算的组成普适计算设备物联网概论-韩毅普普适适计计算算系系统统物联网概论-韩毅刚95普适计算系统物联网概论-韩毅刚9510.7.3 10.7.3 普适计算的体系结构普适计算的体系结构层次模型层次模型见仁见智4 4层模型层模型8 8层模型层模型物联网概论-韩毅刚9610.7.3 普适计算的体系结构层次模型物联网概论-韩毅应应用用环环境境中中的的普普适适计计算算体体系系结结构构物联网概论-韩毅刚97应用环境中的普适计算体系结构物联网概论-韩毅刚9710.7.4 10.7.4 普适计算的关键技术普适计算的关键技术1.1.人机接口技术人机接口技术2.2.上下文感知计算上下文感知计算3.3.服务的组合服务的组合4.4.自适应技术自适应技术物联网概论-韩毅刚9810.7.4 普适计算的关键技术1.人机接口技术物联网概论1 1.人人机机接接口口技技术术1）接口的自适应性）接口的自适应性2）不可见的用户接口）不可见的用户接口物联网概论-韩毅刚991.人机接口技术1）接口的自适应性物联网概论-韩毅刚99 2 2.上上下下文文感感知知计计算算上下文信息上下文信息“5何”何时、何地、何人、何事、何因5Wwhen,where,who,what,why 物联网概论-韩毅刚1002.上下文感知计算上下文信息物联网概论-韩毅刚1003 3.服服务务的的组组合合组合服务组合服务的发现的发现服务的匹配服务的选择服务协调器服务协调器错误检测与修复错误检测与修复物联网概论-韩毅刚1013.服务的组合组合服务的发现物联网概论-韩毅刚1014 4.自自适适应应技技术术对用户情境自适应对用户情境自适应对设备资源自适应对设备资源自适应对系统资源状态自适应对系统资源状态自适应保留系统保留系统物联网概论-韩毅刚1024.自适应技术对用户情境自适应物联网概论-韩毅刚102总结总结数据中心数据中心数据存储、组织、搜索、挖掘数据存储、组织、搜索、挖掘云计算云计算普适计算普适计算总结数据中心。
