一、基于集群的服务器容错系统的设计与实现(论文文献综述)
萧海彬[1](2020)在《基于供求聚合模型的OAA数联卡工具研究与实现》文中研究说明随着大数据时代的到来,如何高效地对数据进行管理显得愈加重要。数据管理的难点,一方面在于数据量的急速膨胀,系统所要处理的数据量已远远超出单台机器的负荷。另一方面,则在于在不同的业务部门之间数据格式不一,数据来源异构且数据无法共享,难以进行异构数据集成并统一管理。除此以外,为了保证数据的高可用性,往往需要在多个服务器中存放同一份数据的多个副本来防止数据的丢失,而在这种情况下,如何高效保证源服务器与备份服务器间数据的一致性也是数据管理中不可忽视的一个环节。本文从课题研究背景出发,着眼于文件增量同步和异构数据集成两大功能模块的研究,提出了基于供求聚合模型的OAA(Object Access Agent)数联卡工具,该工具主要从以下三个方面展开研究:(1)基于CDC(Content-Defined Chunking)的文件增量同步方法实现,本文基于Rsync算法的原理,针对其计算时间消耗较长的缺点,提出了基于CDC的文件增量同步通用方法。该方法利用CDC算法抗字节移动能力强的特点,极大地降低了计算弹性,使其不会由于增量数据大小的增加而导致计算时间消耗的急速增加。在高速网络环境下,与Rsync算法相比,该方法具有更小的计算时间消耗与计算弹性,具有较强的实用性。(2)异构数据集成功能实现,本文以核心配置文件为驱动,以Spark分布式计算框架为基础,把异构数据集成功能根据计算流程从逻辑上分为了数据抽取,数据连接,数据转换,数据注入与定时同步共五个模块并进行相应的实现。此外,我们为Spark分布式计算框架中一些并不友好的设计进行了优化,允许通过动态注册UDF的方式实现数据转换以及基于分布式并发编程的方式进行数据注入,对Spark的原生功能进行了进一步的扩展,使得OAA数联卡工具在异构数据集成功能中具有较强的实用性与灵活性。(3)供求聚合模型的应用与功能扩展,该模型以“供求关系”组织服务间的通信,支持服务的动态加入和功能扩充,本文对实现的文件增量同步功能与异构数据集成功能进行封装,并以挂件形式挂载至模型中,形成OAA数联卡工具,允许其他用户通过该模型进行相关服务的调用。除此以外,针对供求聚合模型数据处理功能的缺失,我们基于消息系统为其添加了数据缓存与数据访问功能,提高了模型内部对数据的可操作性。
王双双[2](2019)在《基于OpenFlow协议的SDN网络负载均衡和DDoS攻击防御技术的研究》文中提出进入二十一世纪以来,计算机软件和硬件都得到了飞速发展,移动互联网、云计算、大数据、人工智能等新技术的提出和应用给社会带来巨大的影响,但是计算机网络的发展相对缓慢,传统网络因协议算法复杂易导致网络设备性能不足,而且由于发展初期缺乏对安全问题的考虑,导致传统网络安全事件频发,用户对网络设备性能和安全的需求无法得到满足。近年来经过科研人员不断努力,提出了软件定义网络(SDN)技术,这种具有简单的网络结构和灵活的编程控制特性的新技术为计算机网络带来了新的发展方向。相比于传统网络的七层架构,SDN网络采用数控分离的基础设施层、控制层、应用层三层网络架构,控制层向应用层提供北向编程接口,开发人员通过对控制器编程能够控制传输层设备实现各种网络功能。OpenFlow协议是SDN网络的主流协议,它定义了SDN控制器与交换机的南向通信标准,控制器以流表的方式将控制信息下发到交换机,由交换机实现流量的转发控制。本文深入研究了SDN网络架构和相关技术,分析了OpenFlow协议原理和实现机制,针对传统调度算法无法根据服务器性能动态调整负载均衡的缺点,利用SDN网络的数控分离、网络可编程特性,提出了一种基于服务器集群节点性能的动态加权最小连接数调度算法。本文提出的负载均衡调度算法通过获取服务器各节点的实时性能并计算动态权值,结合服务器节点当前连接数,实现了服务器动态权值最小连接数负载均衡算法。通过仿真实验验证,本文提出的负载均衡算法能够实现各节点负载相对平衡,相比于传统网络的负载均衡算法,具有更好的效果。分布式拒绝服务攻击(DDoS)是当前网络面临的危害最大,也是最难防御的一种攻击,它通过控制大量的傀儡机在短时间内持续不断的向服务器发送攻击流量,以耗尽受害者的主机和网络资源的方式,使得被攻击的服务器崩溃而拒绝向正常用户提供服务。传统网络在面对此类攻击时,提出的检测和防御方法虽有一定效果,但是对网络的影响比较大,通常导致网络设备故障而使得网络瘫痪。针对DDoS攻击,本文研究并提出了SDN网络下一种基于机器学习算法的DDoS攻击防御体系。检测算法以网络设备的信息熵变化作为判断DDoS攻击发生的依据,信息熵是对网络中流量的随机性的度量,正常情况下网络流量具有很高的随机性,当网络节点信息熵低于设定阈值时,可以初步判断发生了DDoS攻击。检测到攻击发生只是防御DDoS攻击的第一步,本文在检测到攻击后使用SVM-KNN分类器对流量进行分类处理,这样能够更加精确的区分正常流量与攻击流量,然后根据分类信息生成ACL黑白名单,在攻击源和目标之间的全路径网络部署立体的防御体系。经过仿真实验验证,本文提出的DDoS攻击防御体系具有更好的攻击检出率与拦截率。
孙朋[3](2019)在《基于SaaS模式的医药采购云平台设计与实现》文中研究说明目前我国基层医疗机构,许多配套法律、法规不健全,药品价格虚高,药品购销过程中存在不正之风等问题。老百姓普遍反映“看病贵”的矛盾日益突出,致使国家针对基层医疗机构进行医药改革。本文以某省下的县级市医药改革为背景,设计并实现基于SaaS模式的医药采购私有云平台。论文的主要工作包括:以基层医药采购改革为背景,结合SaaS成熟度模型,选择对SaaS第三级成熟度模型云端多租户进行探索。云端多租户的难点是创建系统和多租户数据隔离。通过给租户提供选择模块和自定义模板两种方式来解决创建系统问题,满足了多租户根据业务创建个性化系统的需求。本文提出URL重写机制算法实现了共享数据库实例、独享数据表这种多租户数据隔离方案,保证了SaaS多租户资源利用率很高,数据隔离性较高,满足了业务需要。根据云端多租户的特点,提出了在云端建立PaaS工作流方案,解决云端多租户工作流统一管理的问题。基于MyFlow开源组建基础上二次开发,解决了工作流web建模问题。对工作流核心活动算法的编写解决了工作流流程运转问题,也是区别其他工作流的核心关键。本文提出了工作流中间件从平台拉取数据的方案来同步数据,解决了平台和工作流中间件数据同步丢失问题,确保平台和工作流数据一致性。基于DUBBO解决了工作流微服务云端发布问题。基于HESSION框架解决了省医药采购系统到市医药采购平台药品目录同步问题。设计整个医药采购流程,使药品信息在卫生室、卫生院、供货商和市级监督单位及时地传递药品信息,保证医院药品的及时供应,提高药品供货效率,减少流通成本。医院采购药品详情页缓存设计,本文提出异步串行化解决方案,解决在高并发场景下药品详情页实时性高的数据缓存与数据库双写一致性设计问题。本文提出异步更新多级缓存策略,解决药品详情页时效性不高的数据一致性问题。本文提出基于zookeeper分布式锁的解决方案,解决缓存重建的并发冲突问题。本文提出双重zookeeper分布式锁的解决方案,解决分布式并行缓存预热问题。医药采购数据流量服务,数据埋点跟踪医药采购云平台的使用情况,把收集数据发送到日志服务器,为后续提供运营的数据支撑。日志滚动设计解决Nginx生成日志文件过大问题。针对Flume日志采集本文提出了IntegratedChannel解决方案,有效的兼容MemoryChannel和FileChannel两者的优点,保证了数据处理速度快,也可以持久化,让数据传输更稳定性和高效。解决了Flmue使用过程中数据重复收集和数据丢失问题,来提高Flume数据采集服务器的容错性。本文提出了Redis去重和增加容灾拦截器解决了日志滚动据重复搜集问题。本文提出了Redis去重和守护线程解决了Flume数据丢失问题。本文提出通过Rowkey随机散列和预分区结合的设计方法解决HBase存储热点问题并解决了在HBase使用的过程中JVM的Full GC问题。市级监督单位人员通过分析实时和离线指标,来完成对医药采购数据流量监管,完成科学决策,更好的提高医药采购服务。在本文的最后,对基于SaaS模式的医药采购云平台进行了功能测试和性能测试。测试结果表明,该平台提高了医药采购服务水平,到达了预期的效果。
陈宇[4](2018)在《服务器容错技术在电视台播出系统中的应用》文中研究说明随着各级电视台数字化改造的推进,如何提高服务器环境的安全性与可靠性,已成为改造过程中需要重点研究的问题。在以往的单机服务器系统中,存在可用性较低、负载无法动态平衡、数据受损概率较高及维护拓展困难性较高等现象。因此,笔者建议采用具备容错技术的服务器,全面提升数据库访问效率,全面提升系统整体安全可靠性。基于此,本文将针对服务器容错技术在电视台播出系统中的应用展开分析,以期为相关从业人员提供参考借鉴。
张瑞文,游容生,唐伟盛[5](2017)在《基于微软Always On技术的设备运维平台高可用性方案的设计与实现》文中研究指明空管设备运行维护平台的特点空管设备运行维护平台(及其他性质类似的电子值班系统、设备管理系统等,以下简称设备运维平台),在空管技术保障部门对设备的日常保障当中扮演着重要的角色。技术保障人员使用设备运维平台来记录设备的日常巡视数据,记录设备运行不正常事件,记录设备周期维护数据……设备运维平台的出现,取代了以往的值班记录本、设备维护记录本等纸质媒介,实现了空
袁家发,金一,竺长安[6](2016)在《基于红外和可见光双影像的智能监控系统的设计与实现》文中研究指明电力、石油、石化等行业对温度监测和视频监控都具有迫切需求。分别为这两个需求开发两套独立的系统,会带来高额的开发和维护成本,不便于管理和使用,且无法实现数据共享和信息融合。为解决这些问题,提出一种通过红外热像仪和可见光摄像机进行联合监控,并对红外和可见光视频进行分析,从而实现温度监测和视频监控双重功能的智能监控系统。在硬件方面,该系统采用基于IP网络的架构,由视频采集、视频存储与转发、管理、报警四个功能模块构成。在软件方面,基于QT进行开发,在C/S架构基础上,采用服务分离和数据库读写分离的设计。针对NVR和系统服务器这两个关键节点,实现容错机制。通过合理的设计与实现,系统获得了高效的性能、高可靠性、良好的可伸缩性和可扩展性。
袁家发[7](2016)在《红外和可见光双影像智能监控系统的设计与实现》文中认为视频监控是安全防范的重要手段,温度监测在设备故障检测和火灾预防中具有重要意义,电力、石油石化等行业对温度监测和视频监控同时具有迫切需求。分别为这两个需求开发两套独立的系统,会带来高额的开发和维护成本,不便于管理和使用,且无法实现数据共享和信息融合。为解决这些问题,本文设计并实现了一种集温度监测和智能视频监控双重功能为一体的智能监控系统。该系统采用红外热像仪和可见光摄像机进行联合监控,并利用红外测温算法和视频分析算法对红外监控视频和可见光监控视频进行分析,从而实现了温度监测和智能视频监控双重功能。系统还充分利用了可见光视频监控和红外视频监控的互补性来进行功能扩展。当检测到温度异常时,系统会对异常出现前和出现后一段时间内的可见光录像进行管理。这些可见光录像通常能清楚地反映异常的前因后果,可以帮助技术人员快速诊断温度异常的原因。另外,在夜间照明不足的情况下,可见光摄像机将不能正常监控。红外热像仪通过被监控物体辐射的红外光来进行成像,因而不易受到照明条件和恶劣天气的影响。采用可见光摄像机和红外热像仪进行联合监控,可以保证全天候不间断监控。本文主要从硬件、软件、数据库、通信协议和可靠性设计等几个方面对系统的设计与实现进行介绍。在硬件方面,系统采用基于网络的架构,由视频采集、报警输入、报警输出、视频存储与转发、管理与分析,这五大功能模块构成。在软件方面,系统基于Qt进行开发,并在C/S架构基础上,采用了服务分离和数据库读写分离的设计,使系统获得了良好的性能和可伸缩性。在数据库方面,系统使用QtSql模块和标准SQL语句来进行数据库开发,从而获得了很好的数据库兼容性。选用稳定性好、性能优越、开源免费的PostgreSQL作为系统数据库,既满足了系统需求又降低了成本。采用分库和分表两种方式对数据库进行优化,改善了数据库负载压力,提高了数据查询和写入的效率。在通信协议方面,选取了TCP作为传输协议、JSON乍为数据序列化协议,并设计了一种处理效率高、抗干扰能力强的方法来对TCP字节流进行消息分帧。利用JSON可以进行嵌套的特性,系统通信协议被设计成一个开放的协议集合,可以不断地增加新的消息类型来对协议进行扩展,以满足系统功能扩展的需要。为提高系统可靠性,本文针对系统关键节点,实现了容错机制。通过合理的设计与实现,系统最终获得了良好的性能、高可靠性、可伸缩性和可扩展性。
张沪滨[8](2016)在《面向QEMU的分布式块存储系统的设计与实现》文中进行了进一步梳理计算系统虚拟化是当今的主流趋势。本论文研发的COMET分布式块存储系统,旨在为IaaS云服务中面向中小企业的虚拟机服务器提供高效可靠的逻辑磁盘。目前,基于KVM的QEMU软件是生产环境中广泛应用的虚拟机管理软件。就已知技术而言,QEMU现有的后端存储包括DAS、SAN、NAS等传统存储与Ceph、GlusterFS、Sheepdog等分布式存储。然而,传统存储的直接使用难以满足云环境下可扩展性与性能的需求,现有分布式系统则存在诸多架构上的不足。例如,Ceph的基层过于关注通用性而虚拟机磁盘I/O性能不高,GlusterFS采取弱一致性无法满足有高可靠性需求的场景,Sheepdog引入Gateway延长了I/O路径,其多线程模拟出的异步I/O难以充分利用物理磁盘……一个克服这些缺点的IaaS虚拟机后端存储系统无论对学术界还是工业界都具有宝贵的价值,这正是研发COMET系统的意义所在。作者所研发的COMET系统是一个为IaaS中的QEMU虚拟机提供块级存储的分布式系统。该系统涉及的主要工作包括:(1)设计并实现底层I/O库Libcomet。(2)设计轻量级中心、可线性扩展的分布式架构,实现相应的分布式数据定位方法。(3)针对虚拟机磁盘I/O,设计并实现强一致性算法。(4)基于Paxos算法,实现Topology Manager主、从节点视角下事件发生顺序的一致性。(5)针对服务器级故障和磁盘级故障,分别实现监测机制。(6)设计并实现基于写时复制的虚拟机磁盘快照与克隆。(7)设计并实现内嵌于QEMU代码的COMET系统客户端。COMET系统具有较好的可扩展性、可靠性、可用性与性能。测试表明,在大多数虚拟机磁盘I/O场景下,COMET能够提供比QEMU虚拟机专用开源存储系统Sheepdog更高的性能。
王建[9](2014)在《地震数据处理系统的作业容错和迁移》文中提出近年来,随着高性能计算持续高速发展,其结构组成越来越复杂,资源规模也越来越大,同时整个系统某个部件出现故障的概率也急剧增加。因此,利用计算机相关容错技术,为系统添加相应的容错功能,以便确保整个系统的高可用性,也显得越来越重要。现有的地震数据处理系统功能已经十分强大,支持复杂作业的处理执行,但是针对各种故障导致作业运行失败的情况,只是实现了最简单的容错处理,在实际使用中处理效率较低;同时在为作业选择运行节点时,采用了静态调度方式,在实际作业执行的过程中,各个节点资源仍然可能发生负载不均的情况,此时会降低系统的运行效率,加长了作业运行花费的时间。本文的目的是为现有地震数据处理系统,设计并实现一种支持作业自动容错和运行时作业动态迁移的子系统。通过深入研究计算机系统相关容错技术和进程迁移技术,在现有地震数据处理系统的基础上进行了功能添加和改进,主要工作包括:1、设计和实现了作业检查点自动容错子系统。通过深入理解现有检查点容错和恢复技术,针对集中式和分布式执行控制系统,设计和实现了用户级的检查点容错系统;针对具有道驱动特性的单道处理作业执行过程,设计和实现了应用级的检查点容错系统。2、设计和实现了作业运行时动态迁移子系统。在作业执行过程中,通过将作业进程从高负荷节点转移到空闲节点上继续执行,保障了整个集群数据处理系统的作业分布均衡,在静态调度的基础上进一步提高了集群系统的运行效率,保证了系统的负载均衡。3、实验测试。通过测试发现,作业检查点容错子系统中检查点设置和卷回恢复等操作花费的时间成本和存储开销都相对较小,不会影响作业的正常运行,有效地增加了数据处理软件的可用性;作业迁移子系统通过在不同节点间转移作业进程,进一步减少了作业执行花费的时间,保障了系统资源的有效利用。总之,本文的作业检查点系统能够有效解决由于故障导致的作业运行失败,极大的提高系统的容错处理效率,减少作业重复执行时间;同时通过作业迁移子系统的使用,有效的保证了集群的动态负载均衡,进一步提高了作业的执行效率。
刘建军[10](2014)在《基于云计算的施工现场远程监控传输子系统》文中指出建设工程施工现场远程监控系统对于加强施工现场的监管,规范作业人员的施工流程有着不可替代的作用。目前随着计算机技术和网络技术的飞速发展,全国各地建设行政主管部门开始广泛应用计算机远程监控技术,开发运行了各自的施工现场远程监控系统,并利用该系统实时监控施工现场情况,告别了以往监督人员频繁出入施工现场检查的方式,向以信息化、网络化为主体的管理方式转变,很大程度上节约了监管成本,提高了监管效率。然而,目前各地的施工现场远程监控系统在实际应用过程中还是存在一定局限,例如:施工现场传输的数据量大、时间长,如何有效的提高传输速率就一直是一个有待解决的问题。为了妥善处理该问题,进一步提高施工现场远程监控传输子系统的机动性、灵活性,本文提出了使用云计算技术的解决方案。本解决方案以基于云计算的施工现场远程监控传输子系统的设计为目标,内容涉及系统开发的主要过程,包括:需求分析,目标设计,总体设计,关键模块设计与实现,实验测试,数据分析等,并以Hadoop开源云计算系统(Hadoop-0.20.2)为开发平台,以Eclipse-SDK-4.2作为开发工具,按照提出的相关部署策略实现了该传输子系统的主要功能。主要工作如下:首先,对云计算技术及目前施工现场远程监控系统分别进行了研究,提出了云计算技术目前的优势,归纳了目前施工现场远程监控传输子系统存在的缺陷,并针对该缺陷提出了解决思路,即提出设计一种基于云计算技术的施工现场远程监控传输子系统。其次,通过需求分析,对基于云计算的该传输子系统的设计目标、设计原则、架构模式、体系结构、拓扑结构、文件系统选择设计等一系列框架进行了总体设计,并对该子系统的图像上传关键模块进行了设计与实现。最后,通过实验的汇总数据表明基于云计算的施工现场远程监控传输子系统能有效提高图像数据的传输速率,有利于进一步提升建设工程施工现场远程监控系统的服务能力、扩展能力。
二、基于集群的服务器容错系统的设计与实现(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、基于集群的服务器容错系统的设计与实现(论文提纲范文)
(1)基于供求聚合模型的OAA数联卡工具研究与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 选题背景及意义 |
1.2 国内外研究现状 |
1.2.1 增量同步研究现状 |
1.2.2 可变长分块算法研究现状 |
1.2.3 异构数据集成研究现状 |
1.3 本文主要研究内容 |
1.4 本文组织结构 |
第二章 相关理论与技术介绍 |
2.1 Netty基础通信框架 |
2.2 Spark分布式计算框架 |
2.3 Kafka消息队列 |
2.4 Content-Defined Chunking算法 |
2.4.1 Rabin Chunking Algorithm |
2.4.2 LMC Chunking Algorithm |
2.4.3 AE Chunking Algorithm |
2.4.4 RAM Chunking Algorithm |
2.5 强弱校验码介绍 |
2.6 本章小结 |
第三章 供求聚合模型介绍及其功能完善 |
3.1 供求聚合模型设计原理 |
3.2 供求聚合模型主要组件 |
3.2.1 供件的基本设计 |
3.2.2 求件的基本设计 |
3.2.3 挂件的基本设计 |
3.3 供件组件功能完善 |
3.3.1 需求分析 |
3.3.2 UOM的设计与实现 |
3.3.2.1 主题管理模块 |
3.3.2.2 数据生产模块 |
3.3.2.3 数据消费模块 |
3.3.2.4 消费状态监控模块 |
3.4 本章小结 |
第四章 基于CDC的文件增量同步通用方法设计 |
4.1 Rsync算法说明 |
4.1.1 Rsync工作流程 |
4.1.2 Rsync算法缺点 |
4.2 基于CDC的文件增量同步通用方法设计与实现 |
4.2.1 方法设计原则说明 |
4.2.2 方法设计与实现 |
4.2.2.1 CAC-Module功能设计与实现 |
4.2.2.2 MAT-Module功能设计与实现 |
4.2.2.3 系统监控模块功能设计与实现 |
4.3 系统吞吐量分析 |
4.4 增量发现能力 |
4.5 本章小结 |
第五章 异构数据源数据集成方法设计与实现 |
5.1 数据抽取模块 |
5.1.1 Spark Data Frame介绍 |
5.1.2 数据抽取模块设计与实现 |
5.2 数据连接模块 |
5.3 数据转换模块 |
5.3.1 数据转换模块设计与实现 |
5.3.2 UDF动态注册功能设计与实现 |
5.4 数据注入模块 |
5.4.1 数据注入模块设计与实现 |
5.4.2 单任务内分布式并发数据注入功能设计与实现 |
5.5 定时同步模块 |
5.6 本章小结 |
第六章 OAA数联卡工具功能展示与测试 |
6.1 文件增量同步功能性能测试与分析 |
6.1.1 实验对象 |
6.1.2 实验配置 |
6.1.3 分块吞吐率对比 |
6.1.4 分块大小分布 |
6.1.5 增量发现能力 |
6.1.5.1 相同修改量下增量发现能力差异分析 |
6.1.5.2 不同修改量下增量发现能力差异分析 |
6.1.6 系统响应时间 |
6.1.6.1 相同修改量下系统响应时间差异 |
6.1.6.2 不同修改量下系统响应时间差异 |
6.2 异构数据集成功能性能测试与分析 |
6.2.1 实验对象 |
6.2.2 数据注入功能测试 |
6.2.2.1 实验配置 |
6.2.2.2 数据库数据注入性能测试 |
6.2.2.3 其他目标数据源数据注入性能测试 |
6.2.3 数据连接与数据转换性能测试 |
6.2.3.1 实验配置 |
6.2.3.2 数据连接与数据转换性能及结果展示 |
6.3 OAA数联卡可视化配置工具的使用与核心功能展示 |
6.3.1 异构数据集成配置 |
6.3.2 文件增量同步配置 |
6.4 本章小结 |
总结与展望 |
参考文献 |
攻读硕士学位期间取得的研究成果 |
致谢 |
附件 |
(2)基于OpenFlow协议的SDN网络负载均衡和DDoS攻击防御技术的研究(论文提纲范文)
摘要 |
ABSTRACT |
符号对照表 |
缩略语对照表 |
第一章 绪论 |
1.1 论文背景与意义 |
1.2 论文研究现状与发展趋势 |
1.2.1 软件定义网络 |
1.2.2 负载均衡 |
1.2.3 DDoS攻击防御 |
1.3 论文主要工作 |
1.4 论文结构 |
第二章 SDN相关技术研究 |
2.1 SDN网络架构 |
2.1.2 应用层 |
2.1.3 北向接口 |
2.1.4 控制层 |
2.1.5 南向接口 |
2.1.6 基础设施层 |
2.2 OpenFlow技术 |
2.2.1 OpenFlow交换机 |
2.2.2 OpenFlow端口 |
2.2.3 流表 |
2.2.4 组表 |
2.2.5 计量表 |
2.2.6 OpenFlow消息 |
2.3 RYU控制器和相关仿真平台 |
2.3.1 RYU控制器 |
2.3.2 OpenvSwitch交换机仿真平台 |
2.3.3 Mininet网络仿真平台 |
2.4 负载均衡技术 |
2.5 DDoS攻击防御技术 |
2.6 本章小结 |
第三章 SDN网络下一种基于服务器动态加权最小连接数的负载均衡技术研究 |
3.1 服务器集群负载均衡技术研究 |
3.1.1 服务器集群负载均衡技术原理 |
3.1.2 服务器集群负载均衡技术特点和优势 |
3.1.3 几种服务器集群负载均衡技术 |
3.2 服务器动态加权最小连接数负载均衡算法设计 |
3.2.1 典型的负载均衡算法 |
3.2.2 服务器节点性能动态评估 |
3.2.3 服务器动态加权最小连接数负载均衡算法 |
3.3 仿真实验与结果分析 |
3.3.1 仿真实验设计 |
3.3.2 系统模块设计 |
3.3.3 实验结果及性能分析 |
3.4 本章小结 |
第四章 SDN网络下一种基于机器学习算法的DDoS攻击检测防御技术研究 |
4.1 传统网络与SDN网络下DDoS攻击防御技术研究 |
4.1.1 传统网络下针对Host的 DDoS攻击与防御 |
4.1.2 SDN网络下针对控制器的DDoS攻击与防御 |
4.2 SDN网络基于机器学习算法的DDoS攻击检测防御技术研究 |
4.2.1 基于熵值的流量检测算法 |
4.2.2 基于SVM-KNN流量分类算法 |
4.2.3 SDN网络下基于机器学习算法的DDoS攻击检测防御体系 |
4.3 仿真实验与结果分析 |
4.3.1 实验设计 |
4.3.2 实验过程 |
4.3.3 实验结果分析 |
4.4 本章小结 |
第五章 总结和展望 |
5.1 论文工作总结 |
5.2 未来研究展望 |
参考文献 |
致谢 |
作者简介 |
(3)基于SaaS模式的医药采购云平台设计与实现(论文提纲范文)
摘要 |
Abstract |
本论文专用术语注释表 |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外相关研究现状 |
1.2.1 SaaS软件的国内外研究现状 |
1.2.2 工作流国内外研究现状 |
1.2.3 医药集中采购国内外研究现状 |
1.2.4 大数据流量服务国内外研究现状 |
1.3 论文研究内容 |
1.4 论文组织结构 |
第二章 相关技术分析 |
2.1 协调组件Zookeeper |
2.1.1 Zookeeper数据结构 |
2.1.2 Zookeeper选举机制 |
2.1.3 Zookeeper写数据 |
2.2 数据采集Flume |
2.2.1 Flume架构中的组件 |
2.2.2 Flume内部原理 |
2.3 消息服务Kafka |
2.3.1 Kafka框架结构 |
2.3.2 Kafka生产过程分析 |
2.3.3 Kafka消费过程分析 |
2.4 流式计算Storm |
2.4.1 Storm核心组件 |
2.4.2 Storm编程模型 |
2.5 本章小结 |
第三章 系统需求分析和总体设计 |
3.1 系统需求分析 |
3.1.1 功能需求 |
3.1.1.1 多租户创建系统模块需求 |
3.1.1.2 多租户工作流统一管理模块需求 |
3.1.1.3 医药采购流程服务模块需求 |
3.1.1.4 医药采购数据流量服务模块需求 |
3.1.2 非功能需求 |
3.2 系统总体设计 |
3.2.1 架构设计 |
3.2.2 模块设计 |
3.2.2.1 多租户创建系统概要设计 |
3.2.2.2 多租户工作流统一管理概要设计 |
3.2.2.3 医药采购流程服务概要设计 |
3.2.2.4 医药采购数据流量服务概要设计 |
3.3 本章小结 |
第四章 系统详细设计与实现 |
4.1 多租户创建系统设计 |
4.1.1 SaaS成熟度模型和选型分析 |
4.1.2 多租户系统创建设计 |
4.1.3 多租户数据隔离设计 |
4.2 多租户工作流统一管理 |
4.2.1 云端多租户工作流选型分析 |
4.2.2 工作流统一管理的web模型设计器 |
4.2.3 工作流核心活动算法的设计 |
4.2.4 工作流统一管理的数据同步 |
4.2.5 工作流统一管理的微服务发布 |
4.3 医药采购流程服务设计 |
4.3.1 医药采购类图模型设计 |
4.3.2 医药采购药品目录同步设计 |
4.3.3 医药采购流程服务设计 |
4.3.4 医药采购药品详情页缓存设计 |
4.4 医药采购数据流量服务 |
4.4.1 数据埋点服务设计 |
4.4.2 日志服务器设计 |
4.4.3 日志数据采集服务设计 |
4.4.4 日志数据存储服务设计 |
4.4.5 实时数据指标分析 |
4.4.6 离线数据指标分析 |
4.5 本章小结 |
第五章 系统测试与分析 |
5.1 测试环境 |
5.2 测试方案 |
5.3 测试结果及分析 |
5.3.1 功能测试及分析 |
5.3.1.1 多租户创建系统测试 |
5.3.1.2 多租户工作流在医药采购流程服务中的应用测试 |
5.3.1.3 医药采购数据流量服务测试 |
5.3.2 性能测试及分析 |
5.3.2.1 云端多租户性能测试 |
5.3.2.2 医药采购云平台模块性能测试 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 总结 |
6.2 展望 |
致谢 |
参考文献 |
(4)服务器容错技术在电视台播出系统中的应用(论文提纲范文)
1 服务器容错技术简析 |
1.1 服务器集群技术 |
1.2 双机热备份技术 |
1.3 单机容错技术 |
2 服务器容错技术在电视台播出系统中的应用分析 |
2.1 Active/Active镜像工作模式 |
2.2 N-way (N=3, N=4……N=16) 工作模式 |
3 结语 |
(5)基于微软Always On技术的设备运维平台高可用性方案的设计与实现(论文提纲范文)
空管设备运行维护平台的特点 |
服务器容错技术介绍 |
(一)服务器集群技术 |
(二)双机热备份技术 |
(三)单机容错技术 |
(四)技术方向选择 |
双机热备方案的设计 |
(一)数据库的双机热备:微软SQL Server Always On技术 |
(二)应用程序的双机热备:Ng i nx负载均衡服务器 |
(三)方案设计 |
(6)基于红外和可见光双影像的智能监控系统的设计与实现(论文提纲范文)
1 系统硬件构成 |
2 基本工作流程 |
3 系统软件设计 |
3.1 开发框架及函数库 |
3.2 数据库 |
3.3 系统软件架构 |
3.3.1 服务分离 |
3.3.2 数据库读写分离 |
3.3.3 系统解耦 |
4 系统可靠性设计 |
4.1 NVR容错机制 |
4.2 系统服务器容错机制 |
4.2.1 数据库服务器容错 |
4.2.2 温度计算和视频分析服务器容错 |
4.2.3 主服务器容错 |
5 结束语 |
(7)红外和可见光双影像智能监控系统的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.3 论文研究内容及工作安排 |
第2章 系统总体设计 |
2.1 系统需求分析 |
2.1.1 系统功能需求 |
2.1.2 系统性能需求 |
2.2 系统硬件构成 |
2.2.1 视频采集模块 |
2.2.2 报警输入模块 |
2.2.3 报警输出模块 |
2.2.4 视频存储与转发模块 |
2.2.5 管理与分析模块 |
2.3 系统基本工作流程 |
2.4 系统数据流及层次结构 |
2.5 本章小结 |
第3章 系统软件设计与实现 |
3.1 软件开发框架及函数库 |
3.2 软件架构 |
3.2.1 服务分离设计 |
3.2.2 数据库读写分离 |
3.2.3 系统解耦 |
3.3 软件运行流程 |
3.3.1 主服务程序运行流程 |
3.3.2 温度计算服务程序运行流程 |
3.3.3 视频分析服务程序运行流程 |
3.3.4 客户端程序运行流程 |
3.4 客户端程序界面 |
3.5 软件主要功能模块 |
3.5.1 用户管理模块 |
3.5.2 设备管理模块 |
3.5.3 温度服务模块 |
3.5.4 主预览模块 |
3.5.5 历史数据模块 |
3.5.6 日志管理模块 |
3.5.7 事件管理模块 |
3.5.8 电子地图模块 |
3.6 本章小结 |
第4章 系统数据库 |
4.1 数据库选择 |
4.2 数据库表结构 |
4.3 数据库优化 |
4.3.1 分库存储 |
4.3.2 分表存储 |
4.4 本章小结 |
第5章 系统通信协议 |
5.1 传输协议 |
5.2 消息分帧 |
5.2.1 常见的消息分帧方法 |
5.2.2 消息分帧方法选择 |
5.3 数据序列化协议 |
5.3.1 数据序列化 |
5.3.2 JSON与XML对比 |
5.3.3 JSON 与 Protocol Buffers对比 |
5.3.4 数据序列化协议选择 |
5.4 消息结构 |
5.5 本章小结 |
第6章 系统高可靠性 |
6.1 NVR容错机制 |
6.2 系统服务器容错机制 |
6.2.1 数据库服务器容错 |
6.2.2 温度计算和视频分析服务器容错 |
6.2.3 主服务器容错 |
6.3 本章小结 |
第7章 总结与展望 |
7.1 总结 |
7.2 展望 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的研究成果 |
(8)面向QEMU的分布式块存储系统的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 云计算与虚拟化 |
1.2 硬件虚拟化现状 |
1.3 研究内容 |
1.4 论文结构 |
第二章 硬件虚拟化相关技术 |
2.1 引言 |
2.2 Intel-VT硬件扩展 |
2.2.1 CPU的虚拟化 |
2.2.2 内存的虚拟化 |
2.2.3 I/O设备的虚拟化 |
2.3 QEMU I/O支持 |
2.3.1 virtio技术 |
2.3.2 vhost加速 |
2.3.3 Data-Plane优化 |
2.4 传统QEMU后端存储 |
2.4.1 DAS直连存储 |
2.4.2 SAN存储网络 |
2.4.3 NAS网络存储 |
2.5 多种技术的应用场景 |
2.6 本章小结 |
第三章 分布式存储相关技术 |
3.1 引言 |
3.2 分布式数据定位 |
3.2.1 元数据服务器 |
3.2.2 一致性哈希算法 |
3.3 多副本与一致性 |
3.3.1 一致性的含义 |
3.3.2 CAP理论 |
3.3.3 NRW策略 |
3.3.4 Paxos算法 |
3.3.5 文件系统租约 |
3.4 分布式QEMU后端存储 |
3.4.1 Ceph分布式存储 |
3.4.2 GlusterFS分布式存储 |
3.4.3 Sheepdog分布式存储 |
3.5 本章小结 |
第四章 COMET系统的设计与实现 |
4.1 引言 |
4.2 COMET的整体架构 |
4.3 Libcomet底层I/O库 |
4.3.1 Libcomet概述 |
4.3.2 Reactor与 Proactor |
4.3.3 预分配缓冲池 |
4.3.4 时间轮处理超时 |
4.4 COMET的数据定位 |
4.4.1 定位方法概述 |
4.4.2 常规问题与解决 |
4.5 COMET系统的一致性 |
4.5.1 数据节点一致性 |
4.5.2 管理节点一致性 |
4.6 COMET系统的容错 |
4.6.1 服务器容错机制 |
4.6.2 逻辑卷容错机制 |
4.7 COMET的快照与克隆 |
4.7.1 虚拟机磁盘快照 |
4.7.2 虚拟机磁盘克隆 |
4.8 COMET的客户端 |
4.9 本章小结 |
第五章 COMET系统的测试与评估 |
5.1 引言 |
5.2 测试环境 |
5.3 测试场景 |
5.4 测试结果 |
5.4.1 顺序读吞吐量 |
5.4.2 顺序写吞吐量 |
5.4.3 随机读IOPS |
5.4.4 随机写IOPS |
5.5 数据分析 |
5.6 本章小结 |
第六章 总结和展望 |
6.1 工作与创新 |
6.2 未来的方向 |
参考文献 |
致谢 |
攻读硕士期间的科研及学术论文 |
(9)地震数据处理系统的作业容错和迁移(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 研究现状 |
1.2.1 集群作业管理系统的发展概况 |
1.2.2 现有系统的容错和负载均衡研究 |
1.3 本文的主要工作 |
1.4 论文结构 |
第二章 容错及迁移技术研究 |
2.1 作业容错研究 |
2.1.1 重新执行 |
2.1.2 双机备份 |
2.1.3 检查点恢复 |
2.1.4 复制备份 |
2.2 检查点技术研究 |
2.2.1 检查点文件内容 |
2.2.2 检查点类型 |
2.2.3 检查点应用 |
2.2.4 主流检查点库 |
2.3 进程迁移技术研究 |
2.4 地震数据处理系统研究 |
2.4.1 集中式执行控制 |
2.4.2 分布式执行控制 |
2.5 本章小结 |
第三章 作业容错子系统的设计和实现 |
3.1 系统的功能需求分析 |
3.2 系统设计 |
3.3 子系统的设计要求及注意事项 |
3.4 用户级检查点作业容错实现 |
3.4.1 集中式执行控制的检查点实现 |
3.4.2 分布式式执行控制的检查点实现 |
3.4.3 实现方案 |
3.6 道驱动特性的应用级检查点实现 |
3.6.1 道驱动作业分析及应用级检查点实现原理 |
3.6.2 检查点设置和恢复流程 |
3.6.3 实现方案 |
3.7 本章小结 |
第四章 作业迁移子系统的设计和实现 |
4.1 系统的功能需求分析 |
4.2 系统设计 |
4.2.1 服务器 |
4.2.2 工作节点 |
4.2.3 平台通信组件 |
4.3 作业动态迁移子系统实现 |
4.3.1 子系统的设计要求及注意事项 |
4.3.2 节点资源监控 |
4.3.3 作业自动迁移 |
4.4 本章小结 |
第五章 实验测试 |
5.1 测试环境介绍 |
5.1.1 测试环境及内容 |
5.1.2 地震数据处理作业介绍 |
5.2 模块测试 |
5.2.1 作业检查点模块测试 |
5.2.2 作业动态迁移模块测试 |
5.3 本章小结 |
第六章 结束语 |
6.1 工作总结 |
6.2 工作展望 |
致谢 |
参考文献 |
个人简历 |
攻硕期间取得的研究成果 |
(10)基于云计算的施工现场远程监控传输子系统(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题研究背景及意义 |
1.2 国内外研究现状 |
1.3 研究内容及组织结构 |
第2章 云计算技术分析 |
2.1 云计算模式及特点 |
2.2 Hadoop开源云计算平台 |
2.2.1 Hadoop |
2.2.2 Hadoop HDFS |
2.2.2.1 体系结构 |
2.2.2.2 高效数据存储 |
2.2.2.3 容错机制及冗余备份功能 |
2.2.2.4 数据接口 |
2.2.3 Hadoop MapReduce |
2.2.3.1 编程模式 |
2.2.3.2 模式优势 |
2.3 Hadoop HBase |
2.3.1 组织结构 |
2.3.2 性能优势 |
2.4 Hadoop程序开发工具的选择 |
2.5 小结 |
第3章 传统施工现场远程监控系统分析 |
3.1 架构模式 |
3.1.1 前端图像采集子系统 |
3.1.2 传输子系统 |
3.1.3 监控中心子系统 |
3.2 体系结构 |
3.2.1 C/S结构 |
3.2.2 B/S结构 |
3.3 控制模式 |
3.4 系统优缺点及需改进方向 |
3.5 小结 |
第4章 基于云计算的施工现场远程监控传输子系统设计 |
4.1 需求分析 |
4.2 设计目标 |
4.3 设计原则 |
4.4 框架设计 |
4.4.1 架构模式 |
4.4.2 体系结构 |
4.4.3 拓扑结构 |
4.5 文件系统选择及设计 |
4.6 关键模块设计及实现 |
4.6.1 设计原理 |
4.6.2 实现环境搭建 |
4.6.2.1 Hadoop开源云计算平台的搭建 |
4.6.2.2 Eclipse程序开发环境的搭建 |
4.6.3 实现伪代码 |
4.7 实验 |
4.7.1 实验环境 |
4.7.1.1 目前的施工现场远程监控传输子系统 |
4.7.1.2 基于云计算的施工现场远程监控传输子系统 |
4.7.2 实验方法 |
4.7.3 实验结果及分析 |
4.8 小结 |
第5章 总结及展望 |
5.1 总结 |
5.2 下一步工作的展望 |
参考文献 |
致谢 |
攻读工程硕士学位期间的论文发表情况 |
四、基于集群的服务器容错系统的设计与实现(论文参考文献)
- [1]基于供求聚合模型的OAA数联卡工具研究与实现[D]. 萧海彬. 华南理工大学, 2020(02)
- [2]基于OpenFlow协议的SDN网络负载均衡和DDoS攻击防御技术的研究[D]. 王双双. 西安电子科技大学, 2019(02)
- [3]基于SaaS模式的医药采购云平台设计与实现[D]. 孙朋. 东南大学, 2019(03)
- [4]服务器容错技术在电视台播出系统中的应用[J]. 陈宇. 西部广播电视, 2018(15)
- [5]基于微软Always On技术的设备运维平台高可用性方案的设计与实现[J]. 张瑞文,游容生,唐伟盛. 民航管理, 2017(03)
- [6]基于红外和可见光双影像的智能监控系统的设计与实现[J]. 袁家发,金一,竺长安. 工业控制计算机, 2016(10)
- [7]红外和可见光双影像智能监控系统的设计与实现[D]. 袁家发. 中国科学技术大学, 2016(09)
- [8]面向QEMU的分布式块存储系统的设计与实现[D]. 张沪滨. 上海交通大学, 2016(03)
- [9]地震数据处理系统的作业容错和迁移[D]. 王建. 电子科技大学, 2014(03)
- [10]基于云计算的施工现场远程监控传输子系统[D]. 刘建军. 广西大学, 2014(01)