一、一种数据交换方案的设计与实现(论文文献综述)
田晶晶[1](2021)在《基于微服务的数据交换与共享平台的研究与实现》文中研究表明智慧城市需要顺应大数据发展趋势,加快信息化方面建设。城市各级业务部门通常采用传统面向服务(SOA)架构设计完成海量数据交换任务,由于各业务系统采用的数据存储方式不同,随着业务需求增加,数据集规模增大,数据交换压力呈指数上升,对原有的数据服务架构可扩展性、性能稳定方面提出新的挑战。为了支撑智慧城市数据交换系统能够提供高效稳定的服务,避免系统模块间耦合性较高的问题,本文拟设计基于微服务的数据交换和共享平台,通过设置统一的数据接入标准,实现数据的自动采集、交换、存储,屏蔽底层数据源格式和数据源类型,通过任务调度管理配置数据交换任务调度策略,减轻数据交换带来的内存、CPU消耗,并通过元数据管理,提供血缘分析、元数据视图呈现服务,挖掘数据价值,实现“数据即资产”。主要成果如下:(1)建立一套数据交换标准,实现数据从采集、交换、清洗加工全管理流程。打破地域、数据存储、数据格式限制,为智慧城市建设提供强有力决策支持。针对异构数据源类型,提供相应的数据库读写插件,通过统一的数据交换二进制通道完成数据交换任务。(2)支持分布式任务,将调度模块与执行模块分离,通过RPC进行通信,提供多种路由策略和失败处理机制,调度器在指定触发时间选择执行器开始执行数据全量和增量数据交换任务。(3)支持数据实时推送共享,通过监控数据库Binlog文件,解析数据流写入到Kafka中,向订阅Topic的下游消费者推送数据,实现各级部门间数据互融互通。提供元数据信息管理,支持血缘分析,元数据视图呈现,可对数据库表、字段、分区进行修改。(4)对本文所设计的数据交换和共享平台的功能和性能进行测试证明,通过实验验证本系统的可行性。
杨棋智[2](2021)在《针对Vala语言的gRPC相关工具设计及实现》文中研究说明现代电子信息产业的逐渐发展,电子测量的规模不断扩大,测试流程日趋复杂,对高性能的电子测量仪器程控需求与日剧增。Vala是一种新兴的编程语言,它效率高,性能好、运行速度快,与底层硬件系统兼容性好的同时还具有高级语言抽象和便捷的语法特性,是嵌入式、电子测量开发的优秀编程语言。对于现代测量而言,模块化、网络化、远程化已经成为现代电子测量的重要需求和发展趋势。而近年来,面向服务的系统架构和微服务架构在很多计算机软件系统中广泛应用,为电子测量提供了新的契机,将一个电子测量系统的不同测试模块由不同服务的形式呈现,这离不开RPC(Remote Procedure Call)框架的软件支持。gRPC是谷歌开发的一款RPC框架,该框架提供了众多语言之间的RPC功能交互,如Python、Java,但并未提供Vala语言的RPC支持。Protocol Buffer是与gRPC匹配的序列化机制,用于解决RPC数据传输中的序列化问题,但也未包含Vala语言的支持。本文着笔于此,结合Vala语言在现代电子测量领域的优势和现代电子测量的需求和趋势,设计了一种针对Vala语言的gRPC软件工具,实现了Vala语言对gRPC框架的支持,研究如下:(1)本文设计了一种基于Protocol Buffer序列化机制的Vala语言的序列化库,该序列化库采用分层设计的思想,根据Protocol Buffer机制特有的编码算法,以底层的编解码模块为基础,将核心基类和属性注册机制相结合,为所有的派生类提供了数据的序列化和反序列化方法,最终根据用户定义的proto文件生成可用Vala库文件,实现了Vala语言序列化软件工具的功能。该序列化库能将二进制信息序列与Vala语言进行相互转换,可用于数据传输或RPC等场景,为实现Vala语言的远程过程调用提供了软件支撑。(2)在Vala语言的序列化库的基础上,本文设计了的Vala语言的gRPC库,通过将Vala语言特有的Vapi机制与gRPC核心库中的核心底层API进行接口适配,Vala语言得以使用C语言实现的gRPC底层功能接口。通过分层设计和模块化设计的软件设计思想,本设计将底层逻辑抽象为上层应用程序可用的、包含了RPC中主要功能行为的客户端和服务端基类,用户通过继承这些功能基类即可实现RPC功能。将该软件库和gRPC框架相结合,即可实现Vala语言与其他编程语言的远程过程调用,Vala语言程控的电子测量设备就可通过该软件工具与其他上层应用软件实现远程过程调用、远程测试、模块化测试等。
李冬[3](2021)在《隐私保护数据安全共享交换的应用研究》文中进行了进一步梳理随着互联网时代的发展,用户对网络安全的要求也越来越高,在现实生活中时时刻刻都会产生大量的在线交付、社交活动等数据,并且在不同行业、不同领域和不同企业的复杂交互业务场景中,同样涉及到多种数据的聚合。这些海量的异构数据不仅蕴含着巨大的价值,而且还蕴含着大量的个人隐私,进而导致数据所有权、数据安全共享交换等一系列多方信任问题。针对数据在共享交换过程中越来越多地出现数据隐私直接或者间接泄露的问题,并且随着加密技术越来越成熟,一些研究学者利用加密技术的特点,为数据安全提供了强有力的保障,减少了数据泄露带来的风险。然而,这些加密技术有的时间花销太大,有的不一定能抵御各种类型的攻击,因此,研究一种时间花销少且能够抵御各种类型的攻击的数据安全共享交换方案就显得尤为重要。基于以上问题,本论文在自助式医疗诊断领域和位置服务领域研究了一种新颖且高效的数据安全共享交换平台,具体贡献如下:(1)提出了一个自助式医疗诊断数据安全共享交换平台。该平台利用“互联网+智慧医疗”,将各种疾病的最佳诊断结果聚合在医院服务器中,方便患者高效准确的获得自己想要的查询结果。此外,利用安全多方计算去中心化的特点,可以解决现实生活中过多依赖可信第三方的问题,利用同态加密技术密文处理的结果和明文处理的结果相一致的这个特点,解决了数据在共享交换过程中的安全问题,利用欧几里得距离定义的相似度来量化患者的疾病情况,并设置一个疾病预测阈值,可以让患者更进一步的了解自己的疾病情况,以得到最佳的疾病诊断结果。(2)提出了一个位置服务中的数据安全共享交换系统。该系统构建了一个新的用户查询模型,这个模型可以根据用户位置的实时变化进行动态更新,从而让用户进行更加便捷的搜索。此外,利用矩阵加密技术对系统中的数据进行加密处理,该方法可以保证系统中的数据不被泄露,外部攻击者在有限的时间内很难利用之前掌握的知识来获取和分析数据。而且在用户的查询请求已经加密,并且没有被解密的情况下,云服务器可以根据提出的内积函数加密算法,利用该算法的特点计算用户的查询请求,并可以返回最精准的查询结果给用户,由于只需要返回前K个最相关的查询结果,故可以大大节省带宽,提高查询效率。在该系统中,云服务器不需要完全可信,它只是一个处理加密数据的工具,其并不能根据所获得的信息来推断用户的隐私数据,这可以很好地解决在现实生活中完全依赖可信第三方的问题。(3)在这两个领域中,都构建了一个基于BLS签名技术的双向身份认证方案,该方案可以有效防止未经授权的数据需求方、数据提供方窃取对方或云服务器中存储的数据。此外,从各种安全威胁对提出的数据共享交换系统平台的安全性分别进行了分析,得到了理想的结果。在性能评估阶段,对该系统平台的计算复杂度和时间空间的花销也一并进行了分析,得到了较好的实验结果。
林婧[4](2021)在《数据共享交换平台安全关键技术研究与实现》文中研究表明随着大数据、云计算等相关技术的发展,数据被视作生产要素并逐渐受到重视。在参与流通交换的过程中,数据产生了价值,就成为数据资产。现实中,数据由各机构自行存储,导致了大量数据冗余和机构间的数据壁垒。为了有效利用数据,发掘数据资产的价值,各行业的数据持有机构开始积极寻求数据共享的方法。随着数据安全与隐私保护意识的提升,如何在共享交换过程中保障数据安全成为业界目前关注的重点。在传统的数据共享交换过程中,数据持有机构需要将自己持有的数据传输到安全边界之外的数据中心进行统一存储。业界通过数据安全存储、通信加密传输或是同态加密、K匿名算法之类的机制来保证这种数据共享交换模式下的数据安全问题。但在这些机制中,数据始终处于数据持有机构的安全边界之外,脱离机构的管理控制。采用数据不出库、应用代码流动的方式共享数据,则可以避免数据脱离持有机构的安全边界所带来的数据安全风险。本文对数据共享交换平台中的安全关键技术进行研究,针对平台“数据不出库、应用代码流动”的特性规划平台的安全框架、设计安全方案并实施验证。该安全方案对于平台起到补充支撑作用,使之成为一个数据安全共享交换平台。本文的主要研究工作如下:(1)数据共享平台安全架构的设计。研究各行业数据共享现状与数据孤岛问题,针对现有各类数据安全共享交换的解决方案与研究成果分析其技术设计与存在的优劣势。在前期分析研究的理论支撑下,对数据共享交换平台的功能需求与安全需求进行分析,对本文共享交换平台进行安全架构设计。(2)数据共享平台安全方案的设计与实现。结合整体数据共享交换流程,从平台用户身份权限管理、集群间网络通信安全、安全可信计算框架等方面设计并实现适用于数据共享交换平台的安全方案。(3)数据共享交换平台安全方案的验证与测试。对所设计的安全方案进行相关功能、安全性与组件性能进行测试验证。同时结合数据共享交换平台的业务流程进行测试,验证安全方案的有效性和可行性。
李欢[5](2020)在《基于微服务架构的省社会保障信息管理系统设计与关键技术优化研究》文中研究说明随着我国社会保险制度的不断完善,社会保险系统的信息化建设是社会保险向现代化迈进的必由之路。传统的窗口式服务已经被综合柜员制替代,因此,传统的单体架构程序已经无法满足社会保险的实际业务需求。为了有效的管理社保信息,设计、开发一套基于微服务架构的社会保险管理系统,具有重要的现实意义和实际价值。本文按照人力资源和社会保障部“网厅一体化、业务档案一体化、业务财务一体化、查询服务多样化”的要求,在了解国内外现行系统功能的基础上,使用微服务架构,利用数据库分库分表、Mycat、分布式缓存、分布式文件系统、并行计算等技术手段,整合现有软硬件资源,搭建省级社会保障行业云平台,设计一套覆盖全省城镇职工和城乡居民的社会保障信息系统。本文首先对构建系统涉及的关键技术进行简要介绍,随后对系统进行了架构设计,并在此基础上,对架构中影响性能的部分做了关键技术调整优化。另外,本文还描述了系统的数据库设计和集成方案设计,系统基于数据融合,实现了社会保险业务的一体化经办。最后,系统进行了性能测试,确保系统能够安全、稳定、高效运行。本省社会保障信息系统保证了高可用性和高可维护性,解决了社会保障业务经办问题,能满足需求的同时大大提升了经办效率,另外系统的扩展性极强,能够应对当前越来越多业务通过互联网办理而产生的高并发需求,具备实践意义。
王腾[6](2020)在《面向弹箭体复杂结构的统一数字化模型描述机理及应用技术研究》文中进行了进一步梳理面对当前国际国内的严峻形势,关乎国防安全的航天工业部门亟需国产化且能够自主可控的三维CAD结构设计软件工具。本文以当前航天弹箭体型号研制过程中使用的结构三维设计软件及其数据格式为研究对象,分析和阐述了目前工程实践中三维设计面临的如下问题:结构三维设计软件工具在型号研制当中出现的诸如在多源异构的结构三维设计工具之间进行三维模型数据交换时丢失模型的设计信息、建模历史信息、无法记录并传递三维模型设计语义信息等问题,以及非国产软件结构三维模型设计工具存在安全性问题,国外商软停止更新维护及商软公司倒闭等原因可能导致的三维模型设计信息长期存储存在风险的问题。通过调研国内外关于多源异构的结构三维设计软件在数据交换时出现的信息丢失及无建模历史、无法交换模型设计语义信息的解决方案,调研国内外对结构三维模型设计信息长期存储的研究,对航天弹箭体结构的特点进行了分析归类。基于航天弹箭体结构三维模型的特点,以本体理论对航天弹箭体结构的数字化三维模型的设计信息进行了表达和描述,定义了层次式的航天弹箭体本体模型,提出了航天弹箭体复杂结构的统一描述方法,对航天弹箭体的结构、管路、电缆等使用层次式本体表达方法实现了统一描述。研究以Creo为代表的结构三维设计软件的表达原理,基于面向航天弹箭体结构三维模型的统一描述方法和Creo对结构三维模型的表达原理,实现了专用于航天弹箭体结构长期存储与模型恢复的自动读取接口模块和结构三维模型的自动复现接口模块的开发,并在运载火箭的贮箱和尾段等结构上验证了统一数字化模型描述方法、信息自动读取接口模块以及三维模型自动复现接口模块的有效性、实用性。在实现航天弹箭体结构统一描述的基础上,实现了航天管路系统和电缆系统基于统一描述方法的应用研究。其中,通过调研现有运载火箭管路系统的设计方式,从几何角度研究了基于统一描述方法的管路系统设计方法,实现了管路系统两个任意位置端口的快速设计。以航天管路系统设计中最常被设计师关注的管路两端端面平行度公差问题为例,基于统一描述方法实现了公差信息的三维复现以及管路系统连接精度快速校核及结果数据输出,实现了在设计阶段基于设计值对管路连接精度进行预测并达到了反向指导设计师对公差进行重新设计的目的。通过调研现有运载火箭箭上电缆的布局方式,从样条曲线角度研究了基于统一描述方法的几何设计,实现了箭上电缆系统的快速布局设计。
吴芳[7](2020)在《基于Web Service的政务云资源数据交换平台的设计与实现》文中提出在互联网技术飞速发展的时代下,政府日常办公对互联网有着越来越密切的依赖,随着APP、微信、公众号等新兴产物的普及,政务系统发展越来越多元化。信息化的高速发展促使政府内部系统数量成倍增加,各部门已经从最初的单系统办公发展为多系统、多平台联合办公。如何有效地整合现有信息系统,进行跨平台、跨终端的数据交换,已经成为网络环境下分布式应用的共性、基础性和关键性需求。本文首先分析了政务系统信息化在国内外发展的趋势,以政务云资源管理系统数据交换平台的开发为例,分别从政务信息化系统功能性需求和非功能性需求进行需求分析。通过对各种数据交换技术的分析得出,ETL和前置机交换方式,需要引入第二方工具,对部署环境要求高,其耦合性和成本都较高,适合大批量、实时性要求不高、数据结构不需要复杂转化的交换需求,Web服务在数据交换方面有着低成本、跨终端、跨平台、灵活性强、松耦合、代码复用性高等优点,从诞生之日起就备受欢迎。随着Web2.0的诞生以及云计算时代的到来,SOA架构的优势更力加明显,在SOA的基础技术实现中,Web服务占据了很重要的地位。通过分析SOAP方式的Web Service与REST方式的Web Service的区别,可以看出虽然SOAP Web Service技术方案已经成熟,但REST因其架构简单、扩展性强越来越受到开发者的青睐,RESTful Web Service也逐渐超越SOAP Web Service成为实现SOA的重要实现之一。在互联网高速发展的今天,软件系统的架构技术日新月异,面对互联网时代不断出现的系统交互和数据交换问题,指出了传统B/S架构在信息化发展中面临的挑战。微服务架构因其灵活性与高可扩展性完美得适应了系统集成需求。对于已运行系统的升级改造全部推翻重来成本较高,受成本等客观因素约束,本文基于以上分析与研究,结合SOA技术与微服务技术理念,基于RESTful Web Service分别对政务云平台的项目管理、资源管理、维护申请等核心业务进行REST资源设计与实现,对服务注册中心,服务网关、权限审计与统一认证、统一消息等基础支撑服务模块进行设计与实现。为了方便客户对数据交换平台的统一监控与管理,提供了管理端日志记录和性能监控等功能。数据交换平台客户端的设计为了提高系统的兼容性和可扩展性,包含RESTful Web Service与SOAP Web Service两种方式,分别对接不同单位不同平台的数据交换需求,并对数据交换平台进行单元测试和接口功能测试。最终设计了一款中低成本、可扩展的分布式数据交换平台,能够满足各业务系统不同终端之间进行实时、安全、准确的数据交换和资源共享需求。在保留原有系统的同时兼容新的数据交换平台,渐进式地升级云平台系统架构,达到对已有资源的充分利用并能够适应未来不断更新的资源共享需求。
赵曼莉[8](2020)在《基于区块链的智能交通数据交换隐私保护研究》文中认为伴随5G通信、物联网等技术的发展,智能交通已成为交通技术的发展趋势。在智能交通场景下,车辆与路边设施实时交换交通数据,为无人驾驶等技术提供数据基础,同时也有助于提高交通安全、缓解交通拥堵。但智能交通技术目前仍存在很多安全问题。隐私泄露是其中的主要安全风险之一。现有隐私保护方案多基于中心化架构,涉及复杂度较高的运算或需配置高成本的防篡改设备,存储开销大,且较少考虑低密度区域如何实现预期的隐私保护。针对以上问题,本文开展了如下研究:(1)提出了面向智能交通场景的安全高效的联盟链Trans Chain,缓解中心化方案存在的数据篡改、单点故障等安全威胁及现有区块链的安全和效率问题。一方面,Trans Chain分布式冗余存储的特性可以抵抗数据篡改攻击。另一方面,与现有区块链不同,本文通过密码抽签算法随机确定Trans Chain上每笔交易的背书节点,以避免针对背书节点的定向攻击并均匀地分摊背书任务,提高了背书的安全性和效率;同时,本文设计即时性交易处理的共识方案,允许交易在共识排序后被实时发送至提交节点,降低交易上链的时延,提高了链上数据的时效性。(2)提出了基于假名的条件隐私保护认证协议,解决现有隐私保护方案因计算开销和通信开销较大而导致的低效问题。该协议包含身份认证和消息认证:身份认证通过变色龙哈希函数和假名实现了匿名性与非交互性;消息认证则在椭圆曲线上实现了基于身份ID的批验证签名方案。该协议不仅在安全方面不依赖防篡改设备实现了条件隐私保护,而且在性能方面通过低复杂度运算和批量认证极大地提高了认证效率,满足智能交通场景的隐私与性能需求。(3)提出了基于混合区的非协作式假名更换激励方案,解决了低车流密度区域更换假名时隐私保护强度低以及位置隐私等级计算不精确的问题。与现有方案不同的是,本文在考虑隐私需求个性化的基础上,提出敏感强度感染网络以实现细粒度的位置隐私保护等级计算,使节点可以更精确地判断是否存在假名更换需求,并引入区块链的激励机制,分析非协作式的理性节点在假名更换问题上的最优策略与收益函数,实现了在低密度混合区仍能达到最低为K匿名的隐私保护需求。最后,本文提出了基于Trans Chain的智能交通数据交换方案。与其它方案的对比表明,本方案在不依赖防篡改设备和高复杂度运算的情况下实现了更强的安全性和隐私性。同时,仿真实验的结果表明,本文提出方案在计算、通信以及车辆存储开销等方面的性能表现均优于现有方案,在智能交通场景下的可行性更高。
陆乐[9](2020)在《面向大数据分析的跨平台流式数据迁移系统研究》文中认为随着各个行业数据量爆炸式的增长,信息技术已进入大数据时代。由于大数据分析应用问题种类繁多,大数据计算模式呈现出多样化的特点,包括数据转换、查询分析、机器学习、图计算等。同时,现实世界中一个复杂的行业大数据分析应用具有综合性计算的特点,需要同时混合使用多种计算模式。然而,没有任何一个大数据计算平台能够很好地支持所有的计算模式,每个大数据计算平台具有各自的适用场景以及适用计算模式。因此,为了满足综合性大数据分析应用的需求,往往需要在同一个分析应用中混合使用多个不同的大数据计算平台,从而实现跨平台的数据分析。近年来,跨平台的数据分析得到了越来越多的关注,与此同时,实现高效的跨平台数据迁移也成为了亟待解决的问题。一方面,为了实现跨平台数据迁移的高效性,数据迁移系统需要支持统一数据交换格式和流式数据迁移。另一方面,为了能够高效地支持大数据分布式并行计算,数据迁移系统也应当采用分布式架构设计,并支持分布式并行计算场景下的负载均衡和数据容错。然而,现有的数据迁移工作还不能完全满足这些要求。针对上述应用需求和问题背景,本文研究设计了面向大数据分析的跨平台分布式的流式数据迁移系统Crossroad,能够同时满足上述的数据迁移要求。本文的主要研究工作和贡献点如下:(1)在分析数据交换格式对跨平台数据迁移性能影响的基础上,研究使用高效的统一数据交换格式,降低跨平台迁移时的数据格式转换开销。(2)研究提出一种基于文件队列的流式数据迁移方法,该方法可以以流水线的方式同时实现数据导出和导入,不仅提高了数据迁移效率,同时也解决了数据容错的问题。(3)研究解决分布式场景下实现流式数据迁移面临的基本问题,包括实现数据流高效转发的路由机制、支持负载均衡的数据shuffle机制以及文件队列中Batch的动态调整机制。(4)在上述关键技术研究基础上,设计实现跨平台流式数据迁移原型系统Crossroad。Crossroad使用主从式的分布式架构以支撑分布式场景下的数据迁移。实验结果表明,Crossroad能够有效降低跨平台数据迁移的时间开销,显着提高大数据混合分析计算的效率。
陶亮[10](2020)在《基于AXIS的Clos结构高速交换网络的设计与实现》文中提出在信息技术井喷式发展的今天,集成电路集成度和工艺技术迅速提高,计算机与通信技术快速迭代,新一代总线协议标准也都相继推陈出新,以上诸多技术领域的发展演进,都使得目前的信号处理平台和信息通信设备在功能、性能以及数据吞吐量等方面都得以大幅提升。而作为各类信息信号处理平台设备中联结各节点的“骨干动脉”,数据交换网络面临着不断踊跃的新的挑战,包括吞吐率、时延、功耗、复杂度等等。基于以上背景需求,本文研究并设计了一种基于AXI4总线协议面向以太网协议数据包的三级Clos结构高速交换网络,旨在实现高容量、低功耗、可容错以及低复杂度的目标。本文主要开展并完成了以下几个方面的工作:首先,分别研究了单级交换和多级交换的多种经典交换结构,结合各自结构特点分析对比了性能及实现上的优缺点。另外还研究了目前较为成熟且被广泛应用的几种调度算法,为本文后续的调度算法设计奠定思路基础。其次,基于MSM(Memory-Space-Memory)型三级Clos结构,设计了数据交换总体架构以及变长包仲裁调度器,主要针对MAC地址提取、端口映射管理、仲裁调度器等功能模块进行了优化设计与实现。其中,在调度机制上提出了异步正交调度机制,该机制能够避免在对数据包进行信元切割时,由于数据包长不是定长信元的整数倍而对末尾信元进行冗余数据填充带来的带宽资源浪费,提高系统性能。再次,对系统的功耗、容错等方面进行了一系列的优化设计。为节省资源开销降低功耗,对AXI4协议进行了复用压缩编码设计,并对Clos结构相互独立的各子交换模块添加时钟门控管理。为提高系统容错性,结合Clos结构多通道路径的特点,实现端口灵活复用的容错设计。另外针对异步调度机制带来的调度时延上的开销,对调度器进行了预取设计以实现调度上流水化降低时延。最后,基于仿真工具和验证方法学,分别在模块级和系统级层面分别对系统的时序和功能进行了测试、验证和校错。测试结果表明,系统各模块时序功能达到设计预期,能在较大负荷状态下正常完成数据交换工作。
二、一种数据交换方案的设计与实现(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、一种数据交换方案的设计与实现(论文提纲范文)
(1)基于微服务的数据交换与共享平台的研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 研究现状 |
1.2.1 智慧城市现状 |
1.2.2 数据交换共享平台调研 |
1.2.3 研究中存在的问题 |
1.3 本文研究内容及创新性 |
1.4 组织架构 |
第二章 基本概念及相关技术 |
2.1 智慧城市数据特点分析 |
2.2 数据交换和共享概念 |
2.3 DataX的实现原理 |
2.4 数据共享 |
2.4.1 智慧城市数据共享现状 |
2.4.2 Flink CDC技术 |
2.5 元数据管理相关技术 |
2.5.1 数据治理概念研究 |
2.5.2 元数据管理的意义 |
2.5.3 现有管理工具调研 |
2.5.4 开源元数据管理工具Apache Atlas |
2.6 微服务技术 |
2.7 本章小结 |
第三章 需求分析 |
3.1 智慧城市应用场景 |
3.2 系统概述 |
3.3 系统功能性需求分析 |
3.4 系统非功能性需求分析 |
3.5 系统功能及流程设计 |
3.5.1 系统功能模块划分 |
3.5.2 系统工作流程设计 |
3.6 本章小结 |
第四章 数据交换与共享平台的设计 |
4.1 系统架构设计 |
4.1.1 整体架构设计 |
4.1.2 技术架构设计 |
4.2 数据库接口设计 |
4.3 系统功能模块概要设计 |
4.3.1 数据交换 |
4.3.2 数据调度 |
4.3.3 数据共享 |
4.3.4 元数据管理 |
4.3.5 数据安全 |
4.4 本章小结 |
第五章 数据交换与共享平台实现与测试 |
5.1 系统核心功能模块实现 |
5.1.1 数据交换模块 |
5.1.2 调度模块 |
5.1.3 运行模块 |
5.1.4 调度器与执行器通信 |
5.1.5 数据实时推送 |
5.1.6 数据统计 |
5.1.7 元数据管理模块 |
5.2 系统运行环境 |
5.3 系统实验验证与分析 |
5.3.1 系统功能测试 |
5.3.2 系统性能测试 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 论文总结 |
6.2 论文展望 |
参考文献 |
致谢 |
攻读学位期间取得的研究成果 |
(2)针对Vala语言的gRPC相关工具设计及实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究工作的背景与意义 |
1.2 国内外研究历史与现状 |
1.3 论文的主要内容与章节安排 |
第二章 软件需求分析及总体方案设计 |
2.1 远程过程调用(RPC) |
2.1.1 远程过程调用流程 |
2.1.2 接口描述语言与Protocol Buffer |
2.1.3 远程过程调用框架功能分析 |
2.2 软件需求分析 |
2.2.1 软件结构总体需求分析 |
2.2.2 序列化库功能需求分析 |
2.2.3 Vala语言的gRPC工具功能需求分析 |
2.3 总体软件方案设计 |
2.3.1 模块设计与分层设计 |
2.3.2 元类设计思想与设计模式的应用 |
2.3.3 开发工具的选择 |
2.4 本章小结 |
第三章 序列化库设计 |
3.1 序列化库总体设计 |
3.1.1 序列化库结构方案设计 |
3.1.2 proto文件简介 |
3.2 编码解码模块软件设计 |
3.2.1 Protocol Buffer编码结构 |
3.2.2 Varint编码和Zig Zag编码 |
3.2.3 编解码模块的软件设计 |
3.3 核心逻辑模块软件设计 |
3.3.1 核心基类的设计与属性注册机制 |
3.3.2 序列化反序列化流程设计 |
3.4 数据描述模块软件设计 |
3.5 源码生成模块软件设计 |
3.6 本章小结 |
第四章 gRPC通信库设计 |
4.1 gRPC通信库总体设计 |
4.2 gRPC核心库与Vapi |
4.2.1 Vapi机制 |
4.2.2 gRPC核心服务Vapi设计 |
4.3 核心功能模块软件设计 |
4.3.1 RPC中的数据交换单元 |
4.3.2 RPC中的日志功能单元 |
4.4 客户端与服务端功能模块软件设计 |
4.4.1 客户端功能设计 |
4.4.2 服务端功能设计 |
4.4.3 gRPC相关功能设计 |
4.5 源码生成模块软件设计 |
4.6 本章小结 |
第五章 测试与验证 |
5.1 序列化库测试 |
5.1.1 编解码方法测试 |
5.1.2 源码生成及源码功能测试 |
5.2 gRPC库测试 |
5.3 本章小节 |
第六章 总结与展望 |
致谢 |
参考文献 |
攻读硕士学位期间取得的成果 |
(3)隐私保护数据安全共享交换的应用研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 引言 |
1.2 研究背景及意义 |
1.3 国内外研究现状 |
1.4 研究思路及创新点 |
1.4.1 研究思路 |
1.4.2 主要创新点 |
1.5 论文结构安排 |
第二章 基础理论与关键技术介绍 |
2.1 数学基础 |
2.1.1 群的相关知识 |
2.1.2 双线性映射 |
2.1.3 欧几里得距离 |
2.1.4 算法复杂度 |
2.2 关键技术 |
2.2.1 对称加密 |
2.2.2 安全多方计算 |
2.2.3 同态加密 |
2.2.4 BLS签名 |
2.2.5 函数加密 |
2.3 本章小结 |
第三章 自助式医疗诊断数据安全共享交换平台 |
3.1 引言 |
3.2 自助医疗诊断框架 |
3.3 系统模型 |
3.3.1 系统结构 |
3.3.2 安全目标 |
3.4 自助医疗诊断数据安全共享交换平台 |
3.4.1 协议概述 |
3.4.2 自助医疗诊断数据安全共享交换 |
3.5 安全性分析 |
3.6 性能分析 |
3.6.1 重要实验结果 |
3.6.2 计算复杂度对比 |
3.6.3 准确性对比 |
3.6.4 安全性对比 |
3.7 本章小结 |
第四章 位置服务中的数据安全共享交换系统 |
4.1 引言 |
4.2 LBS的概念架构 |
4.3 系统模型 |
4.3.1 系统结构 |
4.3.2 威胁模型 |
4.3.3 预期目标 |
4.4 位置服务中的数据安全共享交换系统 |
4.4.1 系统初始化 |
4.4.2 云服务器数据创建 |
4.4.3 数据安全共享交换 |
4.5 安全性分析 |
4.6 性能分析 |
4.6.1 计算复杂度分析 |
4.6.2 准确性分析 |
4.6.3 索引构建阶段的分析 |
4.6.4 用户查询模型构建阶段的分析 |
4.6.5 用户查询产生阶段的分析 |
4.6.6 索引搜索阶段的分析 |
4.7 本章小结 |
第五章 总结与展望 |
5.1 本论文的主要工作 |
5.2 未来工作展望 |
参考文献 |
致谢 |
攻读硕士期间已发表的论文 |
攻读硕士期间参加的科研项目 |
(4)数据共享交换平台安全关键技术研究与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 国内外研究现状 |
1.3 研究内容 |
1.4 本文章节安排 |
第二章 相关技术基础 |
2.1 可信执行环境与容器技术 |
2.1.1 可信计算 |
2.1.2 Intel SGX |
2.1.3 容器技术 |
2.2 密码学算法 |
2.2.1 对称加密算法 |
2.2.2 非对称加密算法 |
2.2.3 哈希算法 |
2.3 网络安全与访问控制 |
2.3.1 隧道技术 |
2.3.2 安全通信协议 |
2.3.3 访问控制技术 |
2.4 本章小结 |
第三章 数据共享交换平台安全架构 |
3.1 平台需求分析 |
3.1.1 功能需求 |
3.1.2 安全需求 |
3.2 平台架构设计 |
3.2.1 网络结构 |
3.2.2 软件架构 |
3.3 平台安全框架 |
3.4 本章小结 |
第四章 安全方案设计与实现 |
4.1 集群网络安全 |
4.1.1 节点身份管理 |
4.1.2 安全通信 |
4.1.3 网络访问控制 |
4.2 用户管理 |
4.2.1 角色权限管理 |
4.2.2 身份注册 |
4.2.3 身份验证 |
4.3 安全可信计算框架 |
4.3.1 安全隔离环境 |
4.3.2 数据安全访问代理 |
4.3.3 计算框架工作流程 |
4.4 本章小结 |
第五章 安全方案的验证与测试 |
5.1 测试环境搭建 |
5.2 节点网络安全测试 |
5.3 用户管理功能测试 |
5.4 安全可信计算框架测试 |
5.4.1 计算框架功能测试 |
5.4.2 隔离环境安全测试 |
5.4.3 隔离环境性能测试 |
5.5 本章小结 |
第六章 总结与展望 |
致谢 |
参考文献 |
攻读硕士学位期间取得的成果 |
(5)基于微服务架构的省社会保障信息管理系统设计与关键技术优化研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.3 本论文的主要研究内容 |
第二章 社会保障系统总体设计要求及关键技术研究 |
2.1 系统设计要求 |
2.2 服务架构 |
2.2.1 单体应用架构 |
2.2.2 SOA/ESB |
2.2.3 微服务架构 |
2.3 数据库 |
2.3.1 关系型数据库 |
2.3.2 非关系型数据库 |
2.4 数据库中间件 |
2.5 分布式缓存 |
2.6 分布式文件系统 |
2.7 并行计算 |
2.8 本章小结 |
第三章 系统架构设计 |
3.1 系统架构设计原则 |
3.2 系统架构设计 |
3.2.1 政务云平台资源服务层设计 |
3.2.2 社会保障云应用层设计 |
3.2.3 客户端接入层设计 |
3.3 系统总体部署架构设计 |
3.3.1 系统总体应用部署概述 |
3.3.2 总体应用访问示意图 |
3.3.3 交换区接入设计 |
3.3.4 数字证书应用部署 |
3.4 数据库设计 |
3.4.1 系统总体数据架构设计概述 |
3.4.2 生产区 |
3.4.3 监管区 |
3.4.4 统计分析区 |
3.4.5 交换区 |
3.4.6 平台支撑区 |
3.4.7 数据总体同步策略 |
3.5 本章小结 |
第四章 基于数据融合的系统集成方案设计 |
4.1 总体规划设计 |
4.2 门户集成与单点登录统一认证设计 |
4.2.1 门户集成与单点登录设计概述 |
4.2.2 门户集成设计 |
4.3 单点登录设计 |
4.3.1 单点登录 |
4.3.2 CAS集成 |
4.3.3 应用集成方式 |
4.4 基础信息库设计 |
4.4.1 基础信息库概述 |
4.4.2 设计原则 |
4.4.3 同人同省同库设计 |
4.5 业务一体化与业务协同设计 |
4.5.1 业务一体化与业务协同设计概述 |
4.5.2 业务一体化建设要点 |
4.5.3 业务档案一体化设计 |
4.5.4 业务财务一体化设计 |
4.5.5 网厅一体化与业务协同设计 |
4.5.6 业务协同设计 |
4.6 统计报表设计 |
4.6.1 设计思路 |
4.6.2 功能描述 |
4.7 应用的透明化与可视化设计 |
4.7.1 应用的透明化与可视化设计概述 |
4.7.2 可视化设计 |
4.8 本章小结 |
第五章 系统关键技术调整优化 |
5.1 数据库中间件性能调整优化 |
5.1.1 I/O模型选择 |
5.1.2 Mycat IO模型改进 |
5.1.3 函数调整与优化 |
5.2 分布式缓存性能调整优化 |
5.2.1 Redis性能分析 |
5.2.2 Redis多线程改造 |
5.2.3 Redis单线程与多线程性能对比 |
5.3 本章小结 |
第六章 系统的总体性能测试 |
6.1 数据库分库 |
6.1.1 数据库性能对比 |
6.1.2 缓存性能分析对比 |
6.2 本章小结 |
第七章 总结与展望 |
7.1 总结 |
7.2 展望 |
参考文献 |
致谢 |
(6)面向弹箭体复杂结构的统一数字化模型描述机理及应用技术研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 引言 |
1.2 结构数字化三维设计领域面临的问题 |
1.2.1 机械领域结构三维设计面临的问题 |
1.2.2 航天弹箭体领域结构三维数字化面临的问题 |
1.3 论文的研究内容 |
1.4 本章小结 |
2 数字化模型统一描述研究综述 |
2.1 引言 |
2.2 三维模型统一描述机理的国内外研究进展 |
2.3 基于统一描述方法的数字化模型长期存储的国内外研究进展 |
2.4 基于统一描述方法的管路布局设计的国内外研究进展 |
2.5 基于统一描述方法的电缆快速布局设计的国内外研究进展 |
2.6 本章小结 |
3 航天弹箭体结构领域本体模型构建 |
3.1 引言 |
3.2 航天弹箭体复杂结构三维模型组成要素及特点分析 |
3.2.1 航天弹箭体复杂结构设计模型的组成特点分析 |
3.2.2 航天弹箭体复杂结构标注和属性的组成特点分析 |
3.3 航天弹箭体结构领域本体模型构建 |
3.4 航天弹箭体结构领域本体模型 |
3.5 本章小结 |
4 基于本体的弹箭体复杂结构统一数字化描述 |
4.1 引言 |
4.2 基于本体的全弹箭体结构统一描述框架 |
4.3 航天弹箭体产品层结构的统一描述 |
4.4 航天弹箭体结构主模块层的统一描述 |
4.5 航天弹箭体结构部件/单机层的统一描述 |
4.6 航天弹箭体结构零件层的统一描述 |
4.7 航天弹箭体结构特征层的统一描述 |
4.8 航天弹箭体贮箱结构统一描述的本体表达实例 |
4.9 本章小结 |
5 基于统一描述方法的三维模型转化系统架构 |
5.1 引言 |
5.2 三维模型设计信息转化系统的方案设计 |
5.3 前置处理器模块设计 |
5.3.1 航天弹箭体产品结构表达机理 |
5.3.2 航天弹箭体结构产品设计信息自动提取方法设计 |
5.4 后置处理器模块设计 |
5.4.1 航天弹箭体产品结构三维复现表达机理 |
5.4.2 航天弹箭体产品结构三维复现方法设计 |
5.5 本章小结 |
6 基于统一描述方法的三维模型转化系统应用 |
6.1 引言 |
6.2 弹箭体复杂结构三维模型转化系统设计 |
6.3 弹箭体结构设计信息自动提取功能系统开发 |
6.3.1 航天弹箭体三维模型结构设计信息自动识别与提取功能开发原理 |
6.3.2 航天弹箭体三维模型结构设计信息自动提取实例 |
6.4 弹箭体产品结构三维自动复现功能的开发 |
6.4.1 航天弹箭体结构设计信息自动判读及三维复现功能的开发原理 |
6.4.2 航天弹箭体三维模型结构设计信息自动三维表达实例 |
6.5 本章小结 |
7 基于统一描述方法的航天弹箭典型设计应用研究 |
7.1 引言 |
7.2 航天弹箭体管路布局设计应用研究 |
7.2.1 运载火箭管路布局设计信息的统一描述 |
7.2.2 管路自动布局设计的算法研究 |
7.2.3 管路自动布局设计的算例验证 |
7.2.4 管路装配中考虑公差的统一描述应用研究 |
7.3 航天弹箭体电缆铺设设计应用研究 |
7.3.1 运载火箭电缆自动铺设设计信息的统一描述 |
7.3.2 电缆自动铺设算法研究 |
7.3.3 电缆自动布局系统的算例验证 |
7.4 本章小结 |
结论 |
参考文献 |
附录 A 论文术语表 |
攻读博士学位期间发表学术论文情况 |
致谢 |
(7)基于Web Service的政务云资源数据交换平台的设计与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外发展现状与研究趋势 |
1.2.1 国内外研究现状 |
1.2.2 Web服务发展趋势 |
1.3 本课题的研究内容和结构安排 |
第二章 政务系统信息化需求分析 |
2.1 政务云平台信息化发展问题和目标 |
2.2 系统功能性需求 |
2.2.1 项目管理共享数据建设需求 |
2.2.2 资源管理共享数据建设需求 |
2.2.3 资源维护建设需求 |
2.2.4 协同办公消息叶中心建设需求 |
2.3 系统非功能性需求 |
2.3.1 先进性和规范性需求 |
2.3.2 安全性和保密性需求 |
2.3.3 可靠性和可扩展性需求 |
2.3.4 性能指标要求 |
2.4 本章小结 |
第三章 数据交换平台系统方案和技术架构 |
3.1 数据交换方案比较 |
3.2 SOA技术体系 |
3.2.1 面向服务体系架构SOA |
3.2.2 SOA技术体系的核心 |
3.3 Web Service简介 |
3.3.1 什么是WebService |
3.3.2 Web Service特点 |
3.4 XML和JSON比较与分析 |
3.4.1 XML简介 |
3.4.2 JSON简介 |
3.4.3 XML与JSON比较 |
3.5 REST技术分析 |
3.5.1 REST相关理论 |
3.5.2 超文本传输协议HTTP |
3.5.3 REST相关和URI的关系 |
3.5.4 REST与SOAP的对比 |
3.6 系统总体架构升级 |
3.6.1 传统B/S架构政务系统面临的挑战 |
3.6.2 传统B/S架构到微服务架构 |
3.7 本章小结 |
第四章 数据交换平台的设计与实现 |
4.1 政务云资源数据交换平台的架构设计 |
4.2 数据交换平台服务端政务云资源的REST设计与实现 |
4.2.1 政务云资源REST资源表述 |
4.2.2 政务云资源数据交换关系E-R图 |
4.2.3 REST资源地址设计 |
4.2.4 REST服务实现 |
4.3 数据交换平台服务端基础支撑服务的设计与实现 |
4.3.1 服务注册中心 |
4.3.2 服务网关管理 |
4.3.3 权限审计与统一认证 |
4.3.4 统一消息模块 |
4.4 数据交换平台管理端的设计与实现 |
4.4.1 数据库连接池和性能监控 |
4.4.2 DAO数据层 |
4.4.3 日志模块 |
4.5 数据交换平台客户端设计与实现 |
4.5.1 RESTful Web Service客户端设计与实现 |
4.5.2 SOAP Web Service客户端设计与实现 |
4.6 本章小结 |
第五章 数据交换平台的测试 |
5.1 单元测试 |
5.2 接口测试 |
5.2.1 HTTP状态值 |
5.2.2 Postman接口测试 |
5.3 跨域资源共享CORS |
5.4 本章小结 |
第六章 总结与展望 |
参考文献 |
缩略语对照表 |
致谢 |
(8)基于区块链的智能交通数据交换隐私保护研究(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
1 引言 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.2.1 智能交通 |
1.2.2 智能交通的隐私保护 |
1.2.3 区块链 |
1.3 研究内容 |
1.4 本文组织结构 |
2 相关技术 |
2.1 密码学理论基础 |
2.1.1 椭圆曲线 |
2.1.2 质数阶双线性映射 |
2.1.3 可验证的随机函数 |
2.1.4 变色龙哈希函数 |
2.1.5 数字签名 |
2.2 区块链理论基础 |
2.2.1 区块链的基本原理 |
2.2.2 区块链的分类 |
2.2.3 Hyperledger Fabric |
2.2.4 区块链中的隐私保护技术 |
2.3 隐私保护相关模型 |
2.3.1 假名技术 |
2.3.2 K匿名模型 |
2.3.3 混合区模型 |
2.4 本章小结 |
3 面向智能交通场景的安全高效的联盟链Trans Chain |
3.1 Trans Chain的架构模型 |
3.2 背书节点的密码抽签算法 |
3.2.1 背书阶段的攻击方法 |
3.2.2 基于双线性对的可验证随机函数 |
3.2.3 背书节点密码抽签算法 |
3.3 即时性交易处理的共识方案 |
3.3.1 共识阶段的设计目标 |
3.3.2 Trans Chain的区块结构 |
3.3.3 即时性交易处理的共识方案 |
3.4 证书机制与交易流程 |
3.4.1 Trans Chain的证书机制 |
3.4.2 Trans Chain的交易流程 |
3.5 安全性与性能分析 |
3.5.1 背书方案的安全性与性能分析 |
3.5.2 共识方案的安全性与性能分析 |
3.5.3 Trans Chain的安全性分析 |
3.6 本章小结 |
4 智能交通场景下基于Trans Chain的条件隐私保护研究 |
4.1 攻击模型及假设 |
4.1.1 系统假设 |
4.1.2 攻击者类型 |
4.1.3 攻击模型 |
4.2 基于假名的条件隐私保护认证协议 |
4.2.1 基于变色龙哈希的非交互认证方案 |
4.2.2 基于假名的身份认证协议 |
4.2.3 基于身份ID的可批验证签名 |
4.2.4 安全性分析 |
4.3 基于混合区的非协作式假名更换激励方案 |
4.3.1 假名更换问题的形式化表示 |
4.3.2 基于敏感强度感染网络的细粒度区域敏感度计算 |
4.3.3 基于混合区的非协作式假名更换激励方案 |
4.3.4 安全性和性能分析 |
4.4 本章小结 |
5 基于Trans Chain的智能交通安全数据交换方案 |
5.1 基于Trans Chain的智能交通安全数据交换方案 |
5.1.1 整体架构 |
5.1.2 实体类型 |
5.1.3 数据交换流程 |
5.2 安全性分析 |
5.3 性能分析 |
5.3.1 计算开销 |
5.3.2 通信开销 |
5.3.3 存储开销 |
5.3.4 仿真实验 |
5.4 本章小结 |
6 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
作者简历及攻读硕士学位期间取得的研究成果 |
学位论文数据集 |
(9)面向大数据分析的跨平台流式数据迁移系统研究(论文提纲范文)
摘要 |
英文摘要 |
第一章 绪论 |
1.1 研究背景 |
1.2 现有相关工作及其不足 |
1.2.1 非流式数据迁移工作 |
1.2.2 流式数据迁移工作 |
1.2.3 现有工作用于数据迁移的不足 |
1.3 本文的研究内容 |
1.4 相关系统简介 |
1.4.1 HDFS简介 |
1.4.2 Pandas简介 |
1.4.3 Apache Spark简介 |
1.4.4 Apache Giraph简介 |
1.4.5 Apache Arrow简介 |
1.5 本文的组织结构 |
第二章 统一数据交换格式与跨平台流式数据迁移 |
2.1 统一数据交换格式 |
2.1.1 数据格式选择 |
2.1.2 类型映射 |
2.2 基于文件队列的流式数据迁移 |
2.2.1 性能分析 |
2.2.2 数据迁移原理 |
2.3 路由机制 |
2.3.1 流分割 |
2.3.2 流合并 |
2.4 负载均衡 |
2.4.1 all-to-all的 shuffle策略 |
2.4.2 part-to-part的 shuffle策略 |
2.4.3 非对称的shuffle策略 |
2.4.4 小结 |
2.5 Batch动态调整 |
2.6 本章小结 |
第三章 分布式流式数据迁移系统设计与实现 |
3.1 系统架构 |
3.1.1 Master |
3.1.2 Worker |
3.1.3 Client |
3.2 数据迁移作业定义与系统接口 |
3.2.1 数据迁移作业定义 |
3.2.2 迁移系统接口 |
3.3 数据迁移执行机制 |
3.3.1 数据迁移作业执行流程 |
3.3.2 传输流建立 |
3.3.3 通信信道复用 |
3.4 系统容错 |
3.5 本章小结 |
第四章 大数据计算平台与分布式数据迁移系统的集成 |
4.1 Spark与迁移系统的集成 |
4.1.1 Spark的 IO原理 |
4.1.2 Spark与迁移系统的集成实现 |
4.2 Giraph与迁移系统的集成 |
4.2.1 Giraph的 IO原理 |
4.2.2 Giraph与迁移系统的集成实现 |
4.3 Pandas与迁移系统的集成 |
4.4 本章小结 |
第五章 性能评估与分析 |
5.1 实验环境配置 |
5.2 迁移性能测试方法及指标 |
5.3 数据迁移实验与性能分析 |
5.3.1 Spark与 Pandas之间的数据迁移实验 |
5.3.2 Spark与 Giraph之间的数据迁移实验 |
5.3.3 性能分析 |
5.4 shuffle机制实验 |
5.4.1 导出流的数据量相同 |
5.4.2 导出流的数据量不同 |
5.5 Batch动态调整实验 |
5.6 数据迁移案例实验 |
5.7 本章小结 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 进一步工作 |
参考文献 |
致谢 |
附录 |
(10)基于AXIS的Clos结构高速交换网络的设计与实现(论文提纲范文)
摘要 |
abstract |
缩略词表 |
第一章 绪论 |
1.1 高速交换网络研究背景与意义 |
1.2 高速交换网络研究现状 |
1.2.1 单级交换网络研究现状 |
1.2.2 多级交换网络研究现状 |
1.3 论文内容与安排 |
第二章 交换结构和调度算法概述 |
2.1 单级交换结构模型 |
2.1.1 共享总线型结构 |
2.1.2 共享缓存型结构 |
2.1.3 Crossbar型结构 |
2.1.4 Crosspoint型结构 |
2.1.5 Ring型结构 |
2.1.6 Mesh型结构 |
2.2 多级交换结构模型 |
2.2.1 Banyan型结构 |
2.2.2 Clos型结构 |
2.3 交换结构缓存的设置 |
2.3.1 输入排队缓存 |
2.3.2 输出排队缓存 |
2.3.3 联合输入输出排队缓存 |
2.3.4 交叉节点排队缓存 |
2.4 经典的路由调度算法 |
2.4.1 单级调度算法 |
2.4.2 多级调度算法 |
2.4.3 调度算法小结 |
2.5 本章小结 |
第三章 MSM型 Clos交换架构设计 |
3.1 CLOS交换总体架构设计 |
3.1.1 交换网络需求分析 |
3.1.2 Clos交换实现方案设计 |
3.1.3 AXI4 系列协议介绍 |
3.1.3.1 AXI4 协议介绍 |
3.1.3.2 AXI4-Stream协议介绍 |
3.2 输入输出接口设计 |
3.2.1 MAC地址提取模块设计 |
3.2.2 端口映射管理模块设计 |
3.2.2.1 RAM表实现方案 |
3.2.2.2 CAM表实现方案 |
3.2.2.3 端口映射管理小结 |
3.3 输入输出级模块(IM/OM)设计 |
3.3.1 输入级模块(IM)设计 |
3.3.1.1 优先级VOQ设计 |
3.3.1.2 负载均衡调度器设计 |
3.3.1.3 IM子交换模块架构 |
3.3.2 输出级模块(OM)设计 |
3.4 中间级模块(CM)设计 |
3.5 CLOS仲裁调度器设计 |
3.5.1 仲裁调度机制简介 |
3.5.2 异步调度算法设计 |
3.6 本章小结 |
第四章 Clos交换结构的低功耗及容错性等优化设计 |
4.1 CLOS交换结构的低功耗设计 |
4.1.1 复用压缩编码设计 |
4.1.2 时钟门控管理设计 |
4.2 CLOS交换结构的容错设计 |
4.2.1 传统的容错设计 |
4.2.2 基于Clos结构的容错设计 |
4.3 CLOS交换结构仲裁调度的流水设计 |
4.4 本章小结 |
第五章 Clos交换结构核心模块的仿真与测试 |
5.1 仿真验证概述 |
5.2 基于仿真工具的时序功能仿真 |
5.2.1 MAC地址提取模块仿真与分析 |
5.2.2 端口映射管理模块仿真与分析 |
5.2.3 负载均衡仲裁调度器模块仿真与分析 |
5.2.4 综合评估结果 |
5.3 基于UVM方法学的功能验证仿真 |
5.3.1 UVM验证方法学概述 |
5.3.2 UVM组件设计 |
5.3.3 Modelsim测试结果 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 研究结论 |
6.2 研究展望 |
致谢 |
参考文献 |
四、一种数据交换方案的设计与实现(论文参考文献)
- [1]基于微服务的数据交换与共享平台的研究与实现[D]. 田晶晶. 北京邮电大学, 2021(01)
- [2]针对Vala语言的gRPC相关工具设计及实现[D]. 杨棋智. 电子科技大学, 2021(01)
- [3]隐私保护数据安全共享交换的应用研究[D]. 李冬. 西南大学, 2021(01)
- [4]数据共享交换平台安全关键技术研究与实现[D]. 林婧. 电子科技大学, 2021(01)
- [5]基于微服务架构的省社会保障信息管理系统设计与关键技术优化研究[D]. 李欢. 沈阳农业大学, 2020(05)
- [6]面向弹箭体复杂结构的统一数字化模型描述机理及应用技术研究[D]. 王腾. 中国运载火箭技术研究院, 2020(01)
- [7]基于Web Service的政务云资源数据交换平台的设计与实现[D]. 吴芳. 苏州大学, 2020(02)
- [8]基于区块链的智能交通数据交换隐私保护研究[D]. 赵曼莉. 北京交通大学, 2020(03)
- [9]面向大数据分析的跨平台流式数据迁移系统研究[D]. 陆乐. 南京大学, 2020(02)
- [10]基于AXIS的Clos结构高速交换网络的设计与实现[D]. 陶亮. 电子科技大学, 2020(07)