Skip to content

🔥🔥 BigData 💥 大数据 💥大数据AllData平台,通过二开大数据BigData生态组件,以及大数据BigData采集、大数据BigData存储、大数据BigData计算、大数据BigData开发来建设开源社区大数据BigData平台。

License

Notifications You must be signed in to change notification settings

cyxxxxxxxxxxxxxxx/alldata

 
 

Repository files navigation

AllData 一站式大数据平台

社区建设 && 社区捐赠

目前正在建设团队,将大力投入发展AllData项目,欢迎大家踊跃参与建设与讨论!

由于近期购买服务器需要,希望能得到社区的成员捐赠支持

捐赠方式:扫码支付作者50-200元,然后添加作者个人微信AllDataDC,邀请您进入内部研发微信群以及社区讨论微信群

1、您会获得收益,作者会分享从0到1建设Github开源一站式大数据平台AllData社区项目经验心得

2、您会获得内部最新总设文档,支付时请备注联系方式,支付后请联系作者微信AllDataDC

3、您将有机会获得商业版定制的机会,加作者微信好友,可以提供第一手安装部署资料

4、您将有机会成为AllData极客开发团队成员,获得成就感与价值输出愉悦感


image


image



中文 | English

Stargazers over time

Stargazers over time

Architecture


image


image


Component Description Important Composition
assembly WHOLE PACKAGE BUILD FOR ALL DATA PLATFORM assembly engine 整包构建引擎
commerce COMMERCE FOR ALL DATA PLATFORM commerce engine 商业业务引擎
dataAI AI FOR ALL DATA PLATFORM artificial intelligence engine 人工智能引擎
dataDevops DEVOPS FOR ALL DATA PLATFORM O&M Engine 运维引擎
dataGovern DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine 数据治理引擎
dataOds DATA ODS FOR ALL DATA PLATFORM data acquisition engine 数据源管理平台
dataOlap OLAP FOR ALL DATA PLATFORM OLAP query engine 混合OLAP查询引擎
dataStudio DEVELOP IDE FOR ALL DATA PLATFORM DEVELOP IDE ENGINE 批流一体开发IDE
dataSync DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine 数据集成引擎
dataTasks DATA Task FOR ALL DATA PLATFORM Data Task Engine 数据业务管理平台
docs Document 文档
mlApps MLAPPS FOR ALL DATA PLATFORM MLAPPS Engine 算法市场
oneData MICROSERVICE FOR ALL DATA PLATFORM distributed storage engine 微服务引擎
oneHub ONE HUB FOR ALL DATA PLATFORM ONE HUB Engine AllData总部前后端解决方案
oneLake ONE LAKE FOR ALL DATA PLATFORM ONE LAKE engine 数据湖引擎
oneShop BUSINESS FOR ALL DATA PLATFORM 商业项目
AllData AllData社区项目通过二开大数据生态组件,以及大数据采集、大数据存储、大数据计算、大数据开发来建设一站式大数据平台 Github一站式开源大数据平台AllData社区项目

AllData社区商业计划图

image


AllData社区项目业务流程图

image


AllData社区项目树状图

image


全站式AllData产品路线图


image


AllData社区项目时间旅行

image


实时推荐系统业务流程图

image


AllData总部前后端解决方案

包括AllData前后端解决方案、多租户运维平台前后端

基于eladmin + tenant 建设AllData前后端解决方案

1、AllData前端解决方案 oneHub/eladmin-web

2、AllData后端解决方案 oneHub/eladmin

3、多租户运维平台前端 oneHub/tenant

4、多租户运维平台前端 oneHub/tenantBack

image


image


image



image

image

image

image


Integration

Data Quality


image


image


image


image


image


image



Livy访问查看JOB


image


image


Flink1.16 OGG-JSON解析


image

image

image

S3 Hudi成功写入

image

image

1、数据平台

AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios. It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.

2、商城展示


image

image

image

image

image

image


image

image

image

image

image

image

image



image

image

image

image


3、数据来源

	商城前台:
		mall-shopping-app: 商城App
		mall-shopping-app-service: 商城App服务
		mall-shopping-wc: 商城小程序
		mall-shopping-mobile: 商城前台
		mall-shopping-pc: 商城pc端
		pcAdminService: 商城pc端服务
		mobileService: 商城前台服务(小程序和前台接入此接口)
	商城后台:
		mall-admin-web: 商城后台
		pcAdminService: 商城后台服务

4、数据收集

log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK,负责收集app客户端数据;
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发;

image

image

image


5、数据存储

分布式文件系统:hdfs
分布式数据库:hbase、mongodb、elasticsearch
分布式内存存储系统:redis

6、数据计算

compute-mr(离线计算): Hive、MR
compute-realtime(流计算): storm、flink
multi-dimension-analysis(多维度分析): kylin, spark

7、数据开发

task-schedular: 任务调度
task-ops: 任务运维

image

image

image


8、数据产品

data-face: 数据可视化
data-insight: 用户画像分析

9、数据应用

system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统,实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s,scala,playframework,docker打包平台。
job-schedule: 任务提交平台

image


Installation

10、启动配置教程

10.1 启动前,打包dubbo-servie项目,进入dubbo目录,

执行mvn clean package -DskipTests=TRUE打包,然后执行mvn install.

10.2 启动dubbo项目,配置tomcat端口为8091

image

10.3 启动商城项目的多个子系统

后台:访问http://localhost:8090

10.3.1、前端:启动mall-admin-web项目,进入项目目录,执行npm install,然后执行npm run dev;

10.3.2、后端:启动pcAdminService/mall-admin-search项目,

配置tomcat端口为8092,接着启动pcManage项目,tomcat端口配置为8093;

image

image

前台:小程序手机预览,移动端访问:http://localhost:6255

10.3.3、小程序和移动端

10.3.3.1、前端:商城小程序,启动mall-shopping-wc项目,

安装微信开发者工具,配置开发者key和secret,

使用微信开发者工具导入即可,然后点击编译,可以手机预览使用。

image

10.3.3.2、前端:商城移动端,启动mall-shopping-mobile,

进入项目目录,执行npm install和npm run dev;

10.3.3.3、后端:小程序和移动端用的是同一个后台服务,

启动mobileService项目,进入项目目录,配置tomcat端口8094

image

10.3.4、商城PC端 访问http://localhost:8099

10.3.4.1、前端:启动mall-shopping-pc项目,

进入项目目录,执行npm install和npm run dev;

10.3.4.2、后端:启动pcAdminService项目,配置tomcat端口为8095;

image

11、DevOPS

11.1 容器化部署system-deploy

image

image

11.2、自动化运维平台system-devops

image

11.3、使用Kong作为调用中心网关入口system-api-gateway

image

image

11.4、日志中心system-elk

image

11.5、告警平台system-alarm-platform

11.6 监控系统

image

11.7 数据采集

image

11.8 数据展示

image

11.9 监控中心system-apm

image

11.10 使用Apollo作为配置中心system-config

image

Community

12、社区共建

image


image


About

🔥🔥 BigData 💥 大数据 💥大数据AllData平台,通过二开大数据BigData生态组件,以及大数据BigData采集、大数据BigData存储、大数据BigData计算、大数据BigData开发来建设开源社区大数据BigData平台。

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Java 54.2%
  • C++ 16.2%
  • JavaScript 6.9%
  • PLpgSQL 3.9%
  • Python 3.3%
  • Go 2.6%
  • Other 12.9%