Bigdata-zerotohero

从零开始学习大数据

关于本项目

大数据这个被写进国家重要战略规划的名词，在这些年已经深入人心。有很多人想要学习大数据技术，但是学习这项技术却有着很多天然的屏障：

• 需要很多台电脑组成集群，才能搭建大数据环境。
• 需要配置很多复杂的、不同的组建才能够搭建起来环境。
• 知识体系繁杂，要学的东西太多。
• 不太好直接操作起来，纸面知识过多，没有动手能力。

由于以上这些难点，导致很多对大数据有兴趣的人被挡在了这个非常有趣的领域之外。本项目就是希望，能够通过 docker 技术，给大家提供一个一站式的学习平台，让我们一起分享大数据时代的红利。

如果觉得能够帮助你，请帮忙点一颗星星，非常感谢🙏

(back to top)

使用技术

这个部分列举了在本项目中使用的技术和插件。

• Hadoop
• Spark
• Hive
• HBase
• Zookeeper
• Zeppelin
• Hue
• Tensorflow

(back to top)

快速开始

快速开始体验大数据环境。

git clone --recursive https://github.com/BSlience/bigdata-zerotohero.git
cd bigdata-environment/
docker network create bigdata-net
docker-compose up -d

步骤1，导入数据到 HDFS 中

docker cp dataset/ namenode:/hadoop-data/ 

docker exec -it namenode bash
hdfs dfs -mkdir /dataset
hdfs dfs -put /hadoop-data/dataset/* /dataset/
hdfs dfs -ls /dataset

步骤2，导入数据到 Hive 中

• 进入 zeppelin 导入 movielens 数据
• 使用 hive 探索 movielens 数据

步骤3, Hbase 的使用

• 进入 zeppelin 进入 hbase 教程

步骤4，spark 基础

• 进入 zeppelin 进入 spark 教程

(back to top)

开发地图

• Spark 编程文档更新

也可以查看 open issues 获取关于新特性的更多信息。

(back to top)

如何贡献

贡献可以让社区持续的成长，赋能给更多的人，让人和人、人和项目产生链接。如果你有好的想法，非常欢迎能够加入到开源的团队中。对此，我们非常感谢。

如果你有任何建议，能够使本项目变得更好，请 fork 本项目，并且创建一个 pull request。你也可以简单的打开一个 issue，并且打上 "enhancement" 的 tag。不要忘了给本项目一个 star， 再次感谢。

1. 克隆项目
2. 创建你的 Feature 分支 (git checkout -b feature/AmazingFeature)
3. 提交你的特性 (git commit -m 'Add some AmazingFeature')
4. 推送到分支上 (git push origin feature/AmazingFeature)
5. 开启一个 Pull Request

(back to top)

协议

MIT 协议. 查看 LICENSE.txt 获取更多信息。

(back to top)

联系

知乎 @张春阳 - [email protected]

Project Link: https://github.com/BSlience/bigdata-zerotohero/

(back to top)