Linkis分布式服务框架 v1.0.2

Linkis分布式服务结构是一个打通了多个核算存储引擎如：Spark、TiSpark、Hive、Python和HBase等，对外供给一致REST/WebSocket/JDBC接口，提交履行SQL、Pyspark、HiveQL、Scala等脚本的核算中间件。

Linkis分布式服务结构根据微服务架构，供给了金融级多租户阻隔、资源管控、权限阻隔等企业级特性，支撑一致变量、UDF、函数、用户资源文件办理，具有高并发、高性能、高可用的大数据作业/恳求全生命周期办理才能。

中心特色：

1、一致作业履行服务：一个分布式的REST/WebSocket服务，用于接纳用户提交的各种脚本恳求。

现在支撑的核算引擎有：Spark、Python、TiSpark、Hive和Shell等。

支撑的脚本语言有：SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等；

2、资源办理服务： 支撑实时管控每个体系和用户的资源运用状况，约束体系和用户的资源运用量和并发数，并供给实时的资源动态图表，便利检查和办理体系和用户的资源；

现在已支撑的资源类型：Yarn行列资源、服务器（CPU和内存）、用户并发个数等。

3、运用办理服务：办理一切体系的一切用户运用，包含离线批量运用、交互式查询运用和实时流式运用，为离线和交互式运用供给强壮的复用才能，并供给运用全生命周期办理，主动开释用户剩余的闲暇运用；

4、一致存储服务：通用的IO架构，能快速对接各种存储体系，供给一致调用进口，支撑一切常用格局数据，集成度高，简略易用；

5、一致上下文服务：一致用户和体系资源文件（JAR、ZIP、Properties等），用户、体系、核算引擎的参数和变量一致办理，一处设置，处处主动引证；

6、物料库：体系和用户级物料办理，可共享和流通，支撑全生命周期主动办理；

7、元数据服务：实时的库表结构和分区状况展现。

RoadMap

1. Linkis办理台

用户能够检查和办理自己的Job

用户能够检查和办理自己的引擎

用户能够检查Yarn的资源运用状况和用户资源运用排名

用户能够装备引擎的发动参数

用户能够设置变量

2. 支撑标签功用

支撑给EngineManager打标签

发动引擎时，支撑为引擎打标签

支撑经过标签拜访方针引擎

3. AppGovernance运用办理完成

体系级、用户级运用全生命周期办理，包含离线批量、交互式查询和实时流式运用

为离线和交互式运用供给复用才能和智能切换才能

智能限流、运用智能维护

4. 支撑Flink和Spark Structured Streaming