Skip to content

🔥🔥 BigData 💥 大数据 💥大数据AllData平台,通过二开大数据BigData生态组件,以及大数据BigData采集、大数据BigData存储、大数据BigData计算、大数据BigData开发来建设开源社区大数据BigData平台。联系作者: https://docs.qq.com/doc/DVFVMYUp6cFhSRVJs

License

Notifications You must be signed in to change notification settings

coderwangbo/alldata

 
 

Repository files navigation

AllData 一站式大数据平台

Stargazers over time

Stargazers over time



体验版地址 | 账密 poc/123456

体验版


image


首页


image


数据集成


image



image



image



image



image



image



image



image



image



image


元数据管理


image



image


元数据拾取


image



image



image


应用分析


image



image


系统菜单管理


image


元数据管理


image


数据质量


image


数据市场


image


数据标准


image


BI报表


image


数据资产


image


流程编排


image


AllData AI Studio 社区版


image


AllData Studio 社区版


image


1、AllData输入

实时开发

Dlink

离线开发

FlinkX

数据治理

ElAdmin

湖仓一体

Dlink+CDC+Hudi

机器学习算法平台

cube-studio

数据集成

ElAdmin

数据中台

ElAdmin

大数据集群运维平台

Rancher

数据分析

Hive+Doris

实时同步

Dlink+FlinkCDC+Doris

任务调度

DolphinScheduler

运维中心

SREWorks

数仓建模

Doris

低代码引擎

lowcode-engine

墨刀产品原型

2、输出

MVP产品

设计文档

项目会议

3、补强

前端开发

产品设计

后端架构

云原生架构

大数据架构

UI设计

部署方式

数据库版本为 mysql5.7 及以上版本

1、eladmin数据库初始化

1.1 source install/eladmin/eladmin_alldatadc.sql

1.2 source install/eladmin/eladmin_dts.sql

1.3 source install/datax/eladmin_data_cloud.sql

1.4 source install/datax/eladmin_cloud_quartz.sql

1.5 source install/datax/eladmin_foodmart2.sql

1.6 source install/datax/eladmin_robot.sql

2、修改 datax-config 配置中心

config 文件夹下的配置文件,修改 redismysqlrabbitmq 的配置信息

3、安装aspose-words

cd install/datax

mvn install:install-file -DgroupId=com.aspose -DartifactId=aspose-words -Dversion=20.3 -Dpackaging=jar -Dfile=aspose-words-20.3.jar

4、项目根目录下执行 mvn install

获取安装包build/eladmin-release-2.6.tar.gz

上传服务器解压

5、部署微服务: 进入不同的目录启动相关服务

5.1 必须启动、并且顺序启动

eureka->config->gateway

5.2 按需启动cd install/16gmaster

譬如启动元数据管理

sh install/16gmaster/data-metadata-service.sh

tail -100f install/16gmaster/data-metadata-service.log

5.2 按需启动cd install/16gdata

按需启动相关服务

5.3 按需启动cd install/16gslave

按需启动相关服务

6、部署Eladmin:

6.1 启动sh install/16gmaster/eladmin-system.sh

6.2 部署Eladmin前端

source /etc/profile

cd $(dirname $0)

source /root/.bashrc && nvm use v10.15.3

nohup npm run dev &

6.3 访问Eladmin页面

curl http://localhost:8013

用户名:admin 密码:123456

Flink数据血缘初体验

1 结果预览


image


2 创建FlinkDDL

参考Resource/FlinkDDLSQL.sql

CREATE TABLE data_gen (

amount BIGINT

) WITH (

'connector' = 'datagen',

'rows-per-second' = '1',

'number-of-rows' = '3',

'fields.amount.kind' = 'random',

'fields.amount.min' = '10',

'fields.amount.max' = '11');

CREATE TABLE mysql_sink (

amount BIGINT,

PRIMARY KEY (amount) NOT ENFORCED

) WITH (

'connector' = 'jdbc',

'url' = 'jdbc:mysql://localhost:3306/test_db',

'table-name' = 'test_table',

'username' = 'root',

'password' = '123456',

'lookup.cache.max-rows' = '5000',

'lookup.cache.ttl' = '10min'

);

INSERT INTO mysql_sink SELECT amount as amount FROM data_gen;

3 执行com.platform.FlinkLineageBuild

获取结果

1、Flink血缘构建结果-表:

[LineageTable{id='4', name='data_gen', columns=[LineageColumn{name='amount', title='amount'}]},

LineageTable{id='6', name='mysql_sink', columns=[LineageColumn{name='amount', title='amount'}]}]

表ID: 4

表Namedata_gen

表ID: 4

表Namedata_gen

表-列LineageColumn{name='amount', title='amount'}

表ID: 6

表Namemysql_sink

表ID: 6

表Namemysql_sink

表-列LineageColumn{name='amount', title='amount'}

2、Flink血缘构建结果-边:

[LineageRelation{id='1', srcTableId='4', tgtTableId='6', srcTableColName='amount', tgtTableColName='amount'}]

表-边: LineageRelation{id='1', srcTableId='4', tgtTableId='6', srcTableColName='amount', tgtTableColName='amount'}

AllData Doris


image


AllData全新定制一站式场景化大数据中台


image


大数据组件管理DOCKER FOR DATA PLATFORM

1、配置主机服务HOST


image


2、启动大数据集群


image


3、YARN正常访问


image


4、HIVE正常使用


image


5、HDFS正常访问


image


6、ES健康检测


image


7、KIBANA UI访问


image


8、PRESTO UI访问


image


9、HBASE正常访问


image


10、FLIKN RUNTIME WEB 正常访问


image


使用Docker/K8S云原生方案-控制各种组件起停

1、BUSINESS FOR ALL DATA PLATFORM 商业项目

2、BUSINESS FOR ALL DATA PLATFORM 计算引擎

3、DEVOPS FOR ALL DATA PLATFORM 运维引擎

4、DATA GOVERN FOR ALL DATA PLATFORM 数据治理引擎

5、DATA Integrate FOR ALL DATA PLATFORM 数据集成引擎

6、AI FOR ALL DATA PLATFORM 人工智能引擎

7、DATA ODS FOR ALL DATA PLATFORM 数据采集引擎

8、OLAP FOR ALL DATA PLATFORM OLAP查询引擎

9、OPTIMIZE FOR ALL DATA PLATFORM 性能优化引擎

10、DATABASES FOR ALL DATA PLATFORM 分布式存储引擎

Flink Table Store && Lake Storage POC

2.1 SQL~Flink table store poc

set execution.checkpointing.interval=15sec;

CREATE CATALOG alldata_catalog WITH (

'type'='table-store',

'warehouse'='file:/tmp/table_store'

);

USE CATALOG alldata_catalog;

CREATE TABLE word_count (

word STRING PRIMARY KEY NOT ENFORCED,

cnt BIGINT

);

CREATE TEMPORARY TABLE word_table (

word STRING

) WITH (

'connector' = 'datagen',

'fields.word.length' = '1'

);

INSERT INTO word_count SELECT word, COUNT(*) FROM word_table GROUP BY word;

-- POC Test OLAP QUERY

SET sql-client.execution.result-mode = 'tableau';

RESET execution.checkpointing.interval;

SET execution.runtime-mode = 'batch';

SELECT * FROM word_count;

-- POC Test Stream QUERY

-- SET execution.runtime-mode = 'streaming';

-- SELECT interval, COUNT(*) AS interval_cnt FROM

-- (SELECT cnt / 10000 AS interval FROM word_count) GROUP BY interval;

2.2 Flink Runtime Web


image


2.3 Flink Batch


image


2.4 Flink Olap Read


image


2.5 Flink Stream Read


image


Dlink二开新增Flink1.16.0支持

1、Dlink配置Flink Table Store相关依赖


image


### 2、Dlink启动并运行成功

image


### 3、OLAP查询

image


4、Flink1.16.0 Dlink流式读

4.1 Stream Read 1


image


> 4.2 Stream Read 2

image


Architecture


image


image


Component Description Important Composition
ai-studio AI STUDIO FOR ALL DATA PLATFORM artificial intelligence engine 人工智能引擎
ai-tasks AI STUDIO TASKS FOR ALL DATA PLATFORM MLAPPS Engine 人工智能模型任务
assembly WHOLE PACKAGE BUILD FOR ALL DATA PLATFORM assembly engine 整包构建引擎
buried BURIED FOR ALL DATA PLATFORM data acquisition engine 埋点解决方案
buried-shop BURIED SHOP FOR ALL DATA PLATFORM commerce engine 多端商城
buried-trade BURIED TRADE FOR ALL DATA PLATFORM commerce engine 商业系统
crawler CRAWLER DATA TRADE FOR ALL DATA PLATFORM commerce engine 爬虫任务
crawlerlab CRAWLER PLATFORM FOR ALL DATA PLATFORM commerce engine 爬虫引擎系统
olap OLAP FOR ALL DATA PLATFORM OLAP query engine 混合OLAP查询引擎
alldata-dts DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine 数据集成引擎
cluster DATA SRE FOR ALL DATA PLATFORM OLAP query engine 智能大数据运维引擎
deploy DEPLOY FOR ALL DATA PLATFORM OLAP query engine 安装部署
documents DOCUMENT FOR ALL DATA PLATFORM OLAP query engine 官方文档
govern DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine 数据治理引擎
studio ONE HUB FOR ALL DATA PLATFORM ONE HUB Engine AllData总部前后端解决方案
lakehouse ONE LAKE FOR ALL DATA PLATFORM ONE LAKE engine 数据湖引擎
studio-tasks STUDIO TASKS FOR ALL DATA PLATFORM Data Task Engine 大数据流批计算任务
knowledge KNOWLEDGE GRAPH FOR ALL DATA PLATFORM Data Task Engine 知识图谱引擎
AllData AllData社区项目通过二开大数据生态组件,以及大数据采集、大数据存储、大数据计算、大数据开发来建设一站式大数据平台 Github一站式开源大数据平台AllData社区项目

AllData社区商业计划图

image


AllData社区项目业务流程图

image


AllData社区项目树状图

image


全站式AllData产品路线图


image


AllData社区项目时间旅行

image


实时推荐系统业务流程图

image


AllData总部前后端解决方案

包括AllData前后端解决方案、多租户运维平台前后端

基于eladmin + tenant 建设AllData前后端解决方案

1、AllData前端解决方案 studio/eladmin-web

2、AllData后端解决方案 studio/eladmin

3、多租户运维平台前端 studio/tenant

4、多租户运维平台前端 studio/tenantBack

image

Integration

Data Quality


image


image


image


image


image


image



Livy访问查看JOB


image


image


离线商城数仓展示


image

image

image

image

image

image

image


Community

近期进行社区修整,闭关期间,仅保留微信群

联系作者: https://docs.qq.com/doc/DVFVMYUp6cFhSRVJs

About

🔥🔥 BigData 💥 大数据 💥大数据AllData平台,通过二开大数据BigData生态组件,以及大数据BigData采集、大数据BigData存储、大数据BigData计算、大数据BigData开发来建设开源社区大数据BigData平台。联系作者: https://docs.qq.com/doc/DVFVMYUp6cFhSRVJs

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published