来自 美高梅4858官方网站 2020-01-21 04:06 的文章
当前位置: 美高梅游戏平台网站 > 美高梅4858官方网站 > 正文

怎样搭建一个大数据分析平台?内附资料福利

        目前市面上的Hive可视化客户端工具,大都是C/S模式的,安装使用都不是太方便,目前有一款基于WEB的可视化工具TreeSoft,
通过浏览器就可以访问使用了,并且可以同时管理、维护、监控MySQL,Oracle等关系数据库,值得一用。

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤:

图片 1
1、配置数据库的连接参数,可以Hive,MySQL同时配置,方便查看原始数据,以及回写到MySQL的数据。

1、Linux系统安装

 

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础,在给硬盘做RAID和挂载数据存储节点的时,需要按情况配置。比如,可以选择给HDFS的namenode做RAID2以提高其稳定性,将数据存储与操作系统分别放置在不同硬盘上,以确保操作系统的正常运行。

图片 2

2、分布式计算平台/组件安装

2、切库换数据库,查看及维护数据,同时可以在线执行SQL,查询数据。可以从Hive同步数据到MySQL等。

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS,一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点:1)使用者众多,很多bug可以在网上找的答案(这往往是开发中最耗时的地方);2)开源组件一般免费,学习和维护相对方便;3)开源组件一般会持续更新;4)因为代码开源,如果出现bug可自由对源码作修改维护。

这里还是要推荐下小编的大数据学习群:532218147,不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2017最新的大数据资料和0基础入门教程,欢迎初学和进阶中的小伙伴。在不忙的时间我会给解答

图片 3

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询,Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务, Impala是对hive的一个补充,可以实现高效的SQL查询

3、数据导入

本文由美高梅游戏平台网站发布于美高梅4858官方网站,转载请注明出处:怎样搭建一个大数据分析平台?内附资料福利

关键词: