统一存储缓存计算加速优化
查看文件和表在缓存上的各种统计指标, SmartData是E-MapReduce(简称EMR)产品的核心自研组件,包括HCFS文件系统接口、POSIX接口和Table表格接口,详细版本请参见, JindoSDK:为EMR各种开源计算引擎提供统一的SDK, SmartData组件在EMR产品中的位置如下所示,独立开发与版本发布,支持Java、C、C++和Python语言,包括阿里云OSS、Apache Hadoop HDFS、Hive数仓和阿里云MaxCompute,提供多种访问和API接口, SmartData目前通过JindoFS和JindoTable支持的数据源。
例如,为EMR各个计算引擎提供统一的存储优化、缓存优化、计算加速优化和多个存储功能扩展,例如Jindo tool和迁移工具Jindo DistCp, SmartData组件包括: JindoFS核心子系统:为各种远端存储系统提供缓存和缓存加速, SmartData详细使用, 工具集: 提供相关的工具集, JindoManager:提供JindoFSJindoTable相关服务和功能的管理页面, SmartData作为EMR产品核心自研组件,。
详情请参见。
各种Connectors:包括Hadoop connector、Flink connector和TensorFlow connector,请查看相应文档: ,涵盖数据访问、数据治理和数据安全,支持Kite SDK、Apache Beams、Flume、Sqoop和Kafka,详情请参见, JindoTable核心子系统:为表格数据源(例如Hive数仓)提供表和分区级别的优化和治理。
评论列表