Linkis分布式服务结构是一个打通了多个核算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外供给一致REST/WebSocket/JDBC接口,提交履行SQL、Pyspark、HiveQL、Scala等脚本的核算中间件。
Linkis分布式服务结构根据微服务架构,供给了金融级多租户阻隔、资源管控、权限阻隔等企业级特性,支撑一致变量、UDF、函数、用户资源文件办理,具有高并发、高性能、高可用的大数据作业/恳求全生命周期办理才能。
中心特色:
1、一致作业履行服务:一个分布式的REST/WebSocket服务,用于接纳用户提交的各种脚本恳求。
现在支撑的核算引擎有:Spark、Python、TiSpark、Hive和Shell等。
支撑的脚本语言有:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;
2、资源办理服务: 支撑实时管控每个体系和用户的资源运用状况,约束体系和用户的资源运用量和并发数,并供给实时的资源动态图表,便利检查和办理体系和用户的资源;
现在已支撑的资源类型:Yarn行列资源、服务器(CPU和内存)、用户并发个数等。
3、运用办理服务:办理一切体系的一切用户运用,包含离线批量运用、交互式查询运用和实时流式运用,为离线和交互式运用供给强壮的复用才能,并供给运用全生命周期办理,主动开释用户剩余的闲暇运用;
4、一致存储服务:通用的IO架构,能快速对接各种存储体系,供给一致调用进口,支撑一切常用格局数据,集成度高,简略易用;
5、一致上下文服务:一致用户和体系资源文件(JAR、ZIP、Properties等),用户、体系、核算引擎的参数和变量一致办理,一处设置,处处主动引证;
6、物料库:体系和用户级物料办理,可共享和流通,支撑全生命周期主动办理;
7、元数据服务:实时的库表结构和分区状况展现。
RoadMap
1. Linkis办理台
用户能够检查和办理自己的Job
用户能够检查和办理自己的引擎
用户能够检查Yarn的资源运用状况和用户资源运用排名
用户能够装备引擎的发动参数
用户能够设置变量
2. 支撑标签功用
支撑给EngineManager打标签
发动引擎时,支撑为引擎打标签
支撑经过标签拜访方针引擎
3. AppGovernance运用办理完成
体系级、用户级运用全生命周期办理,包含离线批量、交互式查询和实时流式运用
为离线和交互式运用供给复用才能和智能切换才能
智能限流、运用智能维护
4. 支撑Flink和Spark Structured Streaming
友情链接 | 关于我们 | 下载帮助(?) | 联系我们 | 投诉举报
CopyRight © 2010-2023 这里下载 heredown.com , All Rights Reserved 版权所有 蒙ICP备2023006002号-1 蒙公网安备15052402000135
声明: 本站所有软件和文章来自互联网 如有异议 请与本站联系
声明: