Tencent大数据技能架构(PDF 45页)
发布时间:2022-10-04 22:26:49 来源:贝博体育ballbet西甲

  资源调度Gaia – 8800台 分布式数据库TDSQL – 高一致性 分布式核算 – 规划化、实时化、多样化

  在规划为1万节点,1万作业,1200行列时, Yarn原生fair调度器均匀每秒只能调度20个container。

  自主知识产权,经过修正Linux内核完成,完成精准而弹性,高功率低损耗的入带宽阻隔。 • 专利96 依据令牌桶的数据传输流量调度办法及其体系 • 专利1.7 经过接纳端主机符号ECN进行网络入流量限速的办法 • 专利44 依据令牌桶的水位调整TCP布告窗口的网络入流量自动限速办法

  • 资源超发:进步资源使用率 • 依据优先级调度的cpu.share • 高优先级作业的服务质量得以确保

  高调度吞吐:毫秒级的下发功率(App并发3.5k,Container匹配时刻0.2ms) 弹性内存办理:hardlimitsoftlimit相结合充分利用整机资源 多维度资源办理:新增Network IO、Disk IO等资源办理维度,提升了阻隔性 丰厚的用户api:为事务供给更快捷的容灾、扩容、缩容和晋级等方法 树立“on Gaia”生态圈:支撑storm、spark、MR等各种使用

  •百亿级账户 •百亿级日买卖流水 •百亿级日稽核记载 •十万级每秒并发 •毫秒级买卖呼应 •一分不差银行级账务 •7*24不间断服务(99.999%)

  依据集中式装备的 jdbc datasource完成,首要解 决分库分表对使用通明和 异构DB间的数据仿制

  动态改变 支撑mysql和oracle数据库 依据jdbc标准,简单扩展 使用直连数据库 读写次数、并发度流程控

上一篇:大数据处理技能简介 下一篇:大数据技能的概念和特色

地址:北京市海淀区丰秀中路3号院12号楼 / 邮编:100094 / 电话:010-82695000 010-82883933 / 传真:010-82883858

版权所有:贝博体育ballbet西甲 京ICP备05008170号 京公网安备11010802029694号
© All rights reserved by 贝博体育ballbet西甲

扫一扫,关注贝博体育ballbet西甲