博亚体育 博亚体育官方网站博亚体育 博亚体育官方网站– 关系密切业务的project放在同一个集群 – 每个project对应一个默认集群，作业总是跑在默认集群上
– – – – – – – 支持海量数据的离线存储和计算 以RESTful API的方式提供服务 基于飞天分布式平台 支持跨集群（机房）数据共享 支持SQL、MapReduce、MPI、图计算编程框架 支持常用的矩阵运算和数据挖掘算法 支持多租户和基于ACL/Policy的权限控制
我们面对一座数据金矿，就看怎么能挖出更多的 金子，期待有志之士加入阿里数据平台
– PB级电商交易数据 – 阿里系各事业部、合作伙伴的数据交换和融合 – 第三方公司的数据处理需求
用户空间管理，Query语法语 义分析以及执行计划生成， 数据对象访问控制 分布式存储和计算
• 使用盘古分布式文件系统 • Master-Slave结构 • 基于Paxos的多Master，故障恢复小于一分钟 • 文件分块(Chunk)，每块存三份，分布在不同机架 • 表数据采用统一文件格式：CFile，基于列存储的压缩文件格式 • 提供数据上传和下载服务，支持PB/天的吞吐量
• 支持多种计算模式：SQL，MR，算法库，图计算（Pregel） • 采用伏羲作业，支持DAG，支持基于CPU/MEM的资源调度
• 常驻服务，预先申请好worker - 减少调度开销 • Shuffle数据不落地，直接写网络 • 假设作业规模m*r，要求r个reduce先起，接收map写的 数据 • 内存文件 • LLVM，减少编译时间
• 只维护一组运行实例，无状态（状态总是持久化） • 双ODPS服务 • 灰度发布，不停服务轮转升级，failover
• 使用阿里云OTS分布式存储系统，无需担心空间不够 • 统一名称空间，双服务和多飞天集群对用户透明
社交网络（来往，微博），物流信息（菜鸟物流） 电商关系：类目/商品/买家/卖家，交易/浏览
– 支持类似Pregel的Java编程接口，面向迭代类型的作业 – 磁盘IO→内存网络，换来更快的性能
– 阿里系各事业部 – 开始为部分第三方ISV和 科研机构开放数据存储和 分析能力
• • • • 方便应用集成，支持非linux平台 方便安全隔离，易于对公网开放 作业日志在后端，便于查错 客户端轻量，升级方便
• DDL请求，如创建表/删除表，在逻辑层响应完成 • DML请求，如SQL查询和MR作业，需提交计算作业到存储与计算层
• 金融建模/广告等场景有强烈的分布式算法需求 • ODPS分布式算法库
基于MPI，C实现 集团共建算法社区模式，集成常用基础性算法
• 跨集群（机房）数据共享 • 高效SQL引擎 • 矩阵运算和数据挖掘算法库 • 图计算框架 • 服务管理 • 结语
—— 按业务project进行划分 数据存储和计算如何划分 —— 引入数据版本 数据动态变化，需要保证数据读取正确性 跨机房带宽如何使用 —— 跨集群数据复制任务，流控 对用户透明 —— 数据存储本来就对用户透明 ODPS 服务（控制集群） Worker/Scheduler/Executor ODPS 服务 分布式 meta服务
• • • • • • 多租户共享集群 基于ACL和Policy的认证授权机制 基于project的业务划分 基于配额的管理 基于历史的优化 多种类型计算作业共享集群
• 业务project数据依赖做大量的分析统计，与业务方协 商集群划分方案 • 历史数据迁移，观察跨机房数据流量 • 开始逐步切换project的默认集群到新集群
• 拥有万级别的大规模集群，后期扩容不受限制 • 对用户透明，跨机房流量可控 • 业务方反映这是最轻松的一次业务迁移