-
周敏奇
-
-
- 所属机构:华东师范大学
- 所在地区:上海市
- 研究方向:自动化与计算机技术
- 发文基金:国家自然科学基金
相关作者
- 周傲英
- 作品数：338被引量：4,349H指数：35
- 供职机构：华东师范大学
- 研究主题：数据库 XML 数据挖掘 XML文档 数据流
- 钱卫宁
- 作品数：106被引量：867H指数：12
- 供职机构：华东师范大学
- 研究主题：数据挖掘 数据库 聚类 数据流 文本
- 张磊
- 作品数：5被引量：7H指数：1
- 供职机构：华东师范大学软件学院
- 研究主题：内存 集群计算 数据库 硬件 RFID
- 张蓉
- 作品数：64被引量：173H指数：7
- 供职机构：华东师范大学
- 研究主题：事务 分布式系统 数据库 查询 架构
- 郭进伟
- 作品数：10被引量：23H指数：3
- 供职机构：华东师范大学
- 研究主题：MAPREDUCE 分布式数据库 高可用性 数据挖掘 SON
- OceanBase数据库监控系统被引量：1
- 2016年
- 针对目前Oceanbase数据库监控方面薄弱的问题,基于OceanBase的系统架构以及参考其集群部署,并借助其提供的系统接口,提出一套适用于OceanBase在系统监控、系统预警以及故障定位等方面的可执行方案,以此实现了OceanBase监控系统OBDMS。首先,调研OceanBase在系统架构及集群部署等方面的特点;其次,根据OceanBase提供的系统接口以及系统监控、预警和故障定位等目标,构建OBDMS的系统架构;最后,利用OBDMS的系统架构并结合分布式系统的原理,实现了OBDMS。通过分析对比、实验结果表明:只需在每个监控节点上部署监控代理,OBDMS就能自动收集各个节点上的监控信息,节省了运维时间;并且通过一个月的运行以及压力测试,OBDMS各模块均运行正常,具有较高的可靠性。因此,OBDMS具备部署简单、节省运维时间、可靠稳定等特点。
- 王雷钱招明郭进伟张蓉周敏奇高明钱卫宁
- 关键词：分布式数据库故障定位
- 集群资源统一管理和调度技术综述被引量：6
- 2014年
- 随着互联网的快速发展和大数据的来临,基于数据密集型应用的集群计算框架不断涌现,并且这些计算框架都只面向某一类特定领域的应用.基于这一特点,互联网公司往往需要部署和运行多个计算框架,从而为每个应用选择最优的计算框架.因此,资源统一管理和调度系统作为集群共享平台被提出来.集群资源统一管理和调度系统需要同时支持多种不同计算框架,如何管理集群计算资源和不同计算框架间的资源公平分配成为关键技术难点.不同计算框架的作业是异构的,如何在不同框架间进行作业调度,以充分利用集群资源和提高系统吞吐量,成为了新的挑战.本文针对现有的资源管理系统和应用需求特点,研究和分析了集群资源管理和调度的关键技术,并对现有的集群资源管理技术存在的问题和未来发展进行了探讨.
- 李永峰周敏奇胡华梁
- 关键词：资源管理系统资源共享作业调度
- 基于Raft一致性协议的高可用性实现被引量：9
- 2015年
- 随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.
- 张晨东郭进伟刘柏众储佳佳周敏奇钱卫宁
- 关键词：分布式数据库高可用性
- 轨迹大数据的比较算法研究被引量：2
- 2016年
- 为了对轨迹大数据比较算法进行深入了解和研究,介绍了各类轨迹比较算法,并结合轨迹大数据的研究发展和应用背景,对轨迹大数据比较算法进行较为全面和系统的综述。随着轨迹大数据应用问题的不断凸显,轨迹大数据的研究需要结合目标需求,深入研究轨迹数据比较算法的大数据计算、算法智能性以及算法的效率和有效性等问题。
- 曾万聃周敏奇刘云翔
- 关键词：大数据语义
- 计算广告:以数据为核心的Web综合应用被引量：60
- 2011年
- 计算广告是随着互联网应用发展起来的一个综合多学科的研究领域,这多学科包括数据管理、信息检索、数据挖掘、统计分析、机器学习、分布式系统等.由于其广泛的应用和巨大的市场价值,计算广告学已逐步发展成一个独立的研究方向.目前,计算广告学涵盖在线广告投放、移动终端广告投放、社会网络应用广告投放、用户信息分析等.文中主要介绍计算广告学的演化过程,包括计算广告投放模式的演化(由按合约投放演变为实时竞价投放)、计价模式的演化(由按展示计价演变为按点击计价、按交易计价等)、投放目标的演化(由品牌效果展示演变为直接市场营销);计算广告学的组成部分,包括计算广告产业链(如广告主、网络媒体、联盟网络、广告交换、需求方平台、销售方平台等)、计算广告的分类(如条幅展示广告、赞助商搜索、联盟广告等).此外,文中还重点讨论了广告检索、排序投放算法以及广告离线分析、实时投放平台等关键技术和平台.最后,还将讨论在移动计算环境下的移动终端的广告投放、基于位置信息的广告投放、基于社会网络的广告投放等新型应用模式对计算广告学发展的影响.
- 周傲英周敏奇宫学庆
- 按列存储环境下分布式系统中物化视图布局及其维护方法
- 本发明属数据库技术领域，具体提出了一种按列存储坏境下分布式系统中物化视图的布局和维护方法。本发明包括一种高可扩展的数据布局策略，和高效的维护视图一致性的方法。本发明使用面向列存储模型来存储关系数据表，并且引入一致性模型对...
- 周傲英徐辰夏帆陈峰祝海通周敏奇钱卫宁
- 文献传递
- 面向内存计算的连接算法被引量：6
- 2014年
- 内存和CPU技术的快速发展标志着内存计算时代的来临.本文系统地回顾了基于内存计算的连接算法,具体在嵌套循环连接、哈希连接、排序归并连接和单机环境、分布式环境两个分类的维度上分析了已有算法的优点与不足,展望了未来的研究方向,最后介绍了基于Claims原型系统关于分布式连接方面的研究工作.
- 张磊方祝和周敏奇黄岚
- 关键词：数据库
- 内存数据索引：以处理器为核心的性能优化技术被引量：1
- 2014年
- 随着单机内存容量的持续上升,内存数据库技术逐渐取代传统磁盘数据库为数据管理提供更快速的支持.本文分析了设计内存索引结构所需要考虑的基本要素;对目前的内存索引结构进行了分类总结,并分析各结构的优缺点;针对当前应用发展趋势,指出内存索引未来发展的机遇与挑战;最后介绍了我们正在研发的分布式集群感知内存数据库(CLAIMS)中的内存索引结构.
- 董绍婵周敏奇张蓉周傲英
- 关键词：分布式内存数据库索引压缩
- 大规模分布并行计算系统容错与恢复技术被引量：1
- 2014年
- 当前,拥有超级计算能力的计算机系统通常是大型商用系统形成计算机集群.与所有的分布式系统一样,这些系统通过独立的计算机硬件协同合作共同实现超级计算的能力.然而在拥有超级计算能力的同时,集群中的任何一个组件随时都可能失效,从而导致错的输出.为了提高集群在系统出现故障的情况下的鲁棒性,许多容错技术已经被设计和实现,用以处理各种类型的系统故障.本文对各种现有的容错技术进行了总结归纳,以便在此基础之上进行进一步的研究从而适应当前环境下的系统容错.
- 张新洲周敏奇
- 关键词：容错并行计算集群
- 内存集群计算:交互式数据分析被引量：4
- 2014年
- 本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.
- 黄岚孙珂陈晓竹周敏奇
