库外计算-润乾软件-蒋步星-4X3

库外计算提升数据库应用品质 目 录 润乾集算器 存储过程、冗余中间表、多样性数据 执行路径、并行取数、跨库集群 库外计算引擎 减轻数据库负担 提高数据库性能 浅谈数据中心 润乾集算器 面向（半）结构化数据计算的程序设计语言 提供丰富的计算类库，支持多线程并行 数据库外的计算引擎 库外计算 计算是数据库的重要任务 数据库的封闭性 库外计算引擎 存储过程的 目 的 数据整理 报表 查询 存储过程的问题 应用内与应用间耦合 安全性与易管理 性 库外计算替代存储过程 存储过程 存储过程 应用程序 库外计算 中间表的由来 运算复杂或数据量大 再次计算的能力 中间表的问题 数量众多占用数据库资源 线性结构导致 管理 困难 库外计算将中间数据外置 计算不依赖于数据库，其它能力不需要 绑定应用、树状结构、易于管理 冗余中间表 中间表 应用程序 库外文件数据 库外计算 多样性数据普遍存在 txt,csv,xlsx nosql,hadoop json,xml 直接计算多样性数据 不需要建设专门的数据库及转入工作 结构简单、实时性 更好 多样性数据 数据库 计算引擎 TXT CSV XLSX nosql hadoop 缺乏库外计算能力扰乱 ETL过程 ETL？ ELT？ LET？ 加大数据库负担 库外计算实现合理的 ETL ETL辅助 数据库 外部文件 L ET ETL 复杂 SQL的执行路径难以 控制 库外计算优化 SQL执行 路径 自由控制执行步骤 部分运算移至库外进行 执行路径 JDBC性能 瓶颈 计算引擎多线程取数 A B C 1 fork 4 =connect(db) /分 4线程 2 =B1.query@x(“select * from T where part=?”,A1) /分别取每一段 3 =A1.conj() /合并结果 并行取数 异构数据库 集群 跨库集群 多数据库集群 集算器 线程 1 线程 2 线程 3 SQL 结果 SQL 结果 SQL 结果 汇总结果 T+0问题 交易一致性要求关系数据库 历史与当期同库，数据量太大 历史与当期异库，跨库计算困难 库外计算实现并行跨库计算 历史数据还可文件化 T+0查询报表 历史当期 定期转出 并行 计算引擎 数据中心的特征与要求 数据库群 多样性数据源 服务式接口 访问受控 数据脱敏 数据 中心 库外计算引擎实现数据库中心访问 层 计算 能力 编程能力 集成 能力 数据中心结构 数 据 存 储 访 问 控 制 层 应 用 程 序 RDB/DW Hadoop NoSQL … 集算器集算器数据 源 谢谢大家！ www.raqsoft.com.cn 创新技术 推动应用进步