目前正在建设团队,将大力投入发展AllData项目,欢迎大家踊跃参与建设与讨论!
由于近期购买服务器需要,希望能得到社区的成员捐赠支持
捐赠方式:扫码支付作者50-200元,然后添加作者个人微信AllDataDC,邀请您进入内部研发微信群以及社区讨论微信群
1、您会获得收益,作者会分享从0到1建设Github开源一站式大数据平台AllData社区项目经验心得
2、您会获得内部最新总设文档,支付时请备注联系方式,支付后请联系作者微信AllDataDC
3、您将有机会获得商业版定制的机会,加作者微信好友,可以提供第一手安装部署资料
4、您将有机会成为AllData极客开发团队成员,获得成就感与价值输出愉悦感
中文 | English
Component | Description | Important Composition |
---|---|---|
assembly | WHOLE PACKAGE BUILD FOR ALL DATA PLATFORM assembly engine | 整包构建引擎 |
commerce | COMMERCE FOR ALL DATA PLATFORM commerce engine | 商业业务引擎 |
dataAI | AI FOR ALL DATA PLATFORM artificial intelligence engine | 人工智能引擎 |
dataDevops | DEVOPS FOR ALL DATA PLATFORM O&M Engine | 运维引擎 |
dataGovern | DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine | 数据治理引擎 |
dataOds | DATA ODS FOR ALL DATA PLATFORM data acquisition engine | 数据源管理平台 |
dataOlap | OLAP FOR ALL DATA PLATFORM OLAP query engine | 混合OLAP查询引擎 |
dataStudio | DEVELOP IDE FOR ALL DATA PLATFORM DEVELOP IDE ENGINE | 批流一体开发IDE |
dataSync | DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine | 数据集成引擎 |
dataTasks | DATA Task FOR ALL DATA PLATFORM Data Task Engine | 数据业务管理平台 |
docs | Document | 文档 |
mlApps | MLAPPS FOR ALL DATA PLATFORM MLAPPS Engine | 算法市场 |
oneData | MICROSERVICE FOR ALL DATA PLATFORM distributed storage engine | 微服务引擎 |
oneHub | ONE HUB FOR ALL DATA PLATFORM ONE HUB Engine | AllData总部前后端解决方案 |
oneLake | ONE LAKE FOR ALL DATA PLATFORM ONE LAKE engine | 数据湖引擎 |
oneShop | BUSINESS FOR ALL DATA PLATFORM | 商业项目 |
AllData | AllData社区项目通过二开大数据生态组件,以及大数据采集、大数据存储、大数据计算、大数据开发来建设一站式大数据平台 | Github一站式开源大数据平台AllData社区项目 |
1、AllData前端解决方案
oneHub/eladmin-web
2、AllData后端解决方案
oneHub/eladmin
3、多租户运维平台前端
oneHub/tenant
4、多租户运维平台前端
oneHub/tenantBack
S3 Hudi成功写入
AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios. It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.
商城前台:
mall-shopping-app: 商城App
mall-shopping-app-service: 商城App服务
mall-shopping-wc: 商城小程序
mall-shopping-mobile: 商城前台
mall-shopping-pc: 商城pc端
pcAdminService: 商城pc端服务
mobileService: 商城前台服务(小程序和前台接入此接口)
商城后台:
mall-admin-web: 商城后台
pcAdminService: 商城后台服务
log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK,负责收集app客户端数据;
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发;
分布式文件系统:hdfs
分布式数据库:hbase、mongodb、elasticsearch
分布式内存存储系统:redis
compute-mr(离线计算): Hive、MR
compute-realtime(流计算): storm、flink
multi-dimension-analysis(多维度分析): kylin, spark
task-schedular: 任务调度
task-ops: 任务运维
data-face: 数据可视化
data-insight: 用户画像分析
system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统,实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s,scala,playframework,docker打包平台。
job-schedule: 任务提交平台
10.1 启动前,打包dubbo-servie项目,进入dubbo目录,
执行mvn clean package -DskipTests=TRUE打包,然后执行mvn install.
10.2 启动dubbo项目,配置tomcat端口为8091
10.3 启动商城项目的多个子系统
10.3.1、前端:启动mall-admin-web项目,进入项目目录,执行npm install,然后执行npm run dev;
10.3.2、后端:启动pcAdminService/mall-admin-search项目,
配置tomcat端口为8092,接着启动pcManage项目,tomcat端口配置为8093;
前台:小程序手机预览,移动端访问:http://localhost:6255
10.3.3、小程序和移动端
10.3.3.1、前端:商城小程序,启动mall-shopping-wc项目,
安装微信开发者工具,配置开发者key和secret,
使用微信开发者工具导入即可,然后点击编译,可以手机预览使用。
10.3.3.2、前端:商城移动端,启动mall-shopping-mobile,
进入项目目录,执行npm install和npm run dev;
10.3.3.3、后端:小程序和移动端用的是同一个后台服务,
启动mobileService项目,进入项目目录,配置tomcat端口8094
10.3.4、商城PC端 访问http://localhost:8099
10.3.4.1、前端:启动mall-shopping-pc项目,
进入项目目录,执行npm install和npm run dev;
10.3.4.2、后端:启动pcAdminService项目,配置tomcat端口为8095;
11.1 容器化部署system-deploy
11.2、自动化运维平台system-devops
11.3、使用Kong作为调用中心网关入口system-api-gateway
11.4、日志中心system-elk
11.5、告警平台system-alarm-platform
11.6 监控系统
11.7 数据采集
11.8 数据展示
11.9 监控中心system-apm
11.10 使用Apollo作为配置中心system-config