当前位置 : IT培训网 > IT培训 > 新闻资讯 > 学好大数据你将了解古今中外

学好大数据你将了解古今中外

时间:2021-03-20 21:00:32  来源:IT资讯网  作者:IT培训网  已有:名学员访问该课程
Google File System用来解决数据存储的问题,采用N多台廉价的电脑,使用冗余(也就是一份文件保存多份在不同的电脑之上)的方式,来取得读写速度与数据安全并存的结果。

一文详解大数据平台架构,让你快速了解大数据的发展情况!

公司的“大数据”

随着公司业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。比如:

1、业务系统现在平均每天存储20万张图片,磁盘空间每天消耗100G;

2、平均每天产生签约视频文件6000个,每个平均250M,磁盘空间每天消耗1T;

……

三国里的“大数据”

“草船借箭”和大数据有什么关系呢?对天象的观察是基于一种对风、云、温度、湿度、光照和所处节气的综合分析这些数据来源于多元化的“非结构”类型,并且数据量较大,只不过这些数据输入到的不是电脑,而是人脑并最终通过计算分析得出结论。

学好大数据你将了解古今中外_www.cnitedu.cn

Google分布式计算的三驾马车

Google File System用来解决数据存储的问题,采用N多台廉价的电脑,使用冗余(也就是一份文件保存多份在不同的电脑之上)的方式,来取得读写速度与数据安全并存的结果。

Map-Reduce说穿了就是函数式编程,把所有的操作都分成两类,map与reduce,map用来将数据分成多份,分开处理,reduce将处理后的结果进行归并,得到最终的结果。

BigTable是在分布式系统上存储结构化数据的一个解决方案,解决了巨大的Table的管理、负载均衡的问题。

Hadoop体系架构

学好大数据你将了解古今中外_www.cnitedu.cn

Hadoop核心设计

学好大数据你将了解古今中外_www.cnitedu.cn

HDFS介绍-文件读流程

学好大数据你将了解古今中外_www.cnitedu.cn

Client向NameNode发起文件读取的请求。

NameNode返回文件存储的DataNode的信息。

Client读取文件信息。

HDFS介绍-文件写流程

学好大数据你将了解古今中外_www.cnitedu.cn

Client向NameNode发起文件写入的请求。

NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

MapReduce——映射、化简编程模型

输入数据->Map分解任务->执行并返回结果->Reduce汇总结果->输出结果

学好大数据你将了解古今中外_www.cnitedu.cn

Hbase——分布式数据存储系统

学好大数据你将了解古今中外_www.cnitedu.cn

Client:使用HBase RPC机制与HMaster和HRegionServer进行通信

Zookeeper:协同服务管理,HMaster通过Zookeepe可以随时感知各个HRegionServer的健康状况

HMaster: 管理用户对表的增删改查操作

HRegionServer:HBase中最核心的模块,主要负责响应用户I/O请求,向HDFS文件系统中读写数据

HRegion:Hbase中分布式存储的最小单元,可以理解成一个Table

HStore:HBase存储的核心。由MemStore和StoreFile组成。

HLog:每次用户操作写入Memstore的同时,也会写一份数据到HLog文件

还有哪些NoSQL产品?

学好大数据你将了解古今中外_www.cnitedu.cn

为什么要使用NoSQL?

一个高并发网站的DB进化史

学好大数据你将了解古今中外_www.cnitedu.cn

关系模型>聚合数据模型的转换-基本变换

学好大数据你将了解古今中外_www.cnitedu.cn

关系模型>聚合数据模型的转换-内嵌变换

学好大数据你将了解古今中外_www.cnitedu.cn

关系模型>聚合数据模型的转换-分割变换

学好大数据你将了解古今中外_www.cnitedu.cn

关系模型>聚合数据模型的转换-内联变换

学好大数据你将了解古今中外_www.cnitedu.cn

Hadoop2.0

MapReduce:

JobTracker:协调作业的运行。

TaskTracker:运行作业划分后的任务。

学好大数据你将了解古今中外_www.cnitedu.cn

大数据的技术领域

学好大数据你将了解古今中外_www.cnitedu.cn

公司数据处理平台的基础架构

学好大数据你将了解古今中外_www.cnitedu.cn

公司大数据平台架构图

学好大数据你将了解古今中外_www.cnitedu.cn

应用一数据分析

学好大数据你将了解古今中外_www.cnitedu.cn

应用二视频存储

学好大数据你将了解古今中外_www.cnitedu.cn

应用三离线日志分析

学好大数据你将了解古今中外_www.cnitedu.cn

互联互通社区

互联互通社区专注于IT互联网交流与学习,旨在打造最具价值的IT互联网智库中心,关注公众号:互联互通社区,每日获取最新报告并附带专题内容辅助学习。

顶一下
(0)
0%
踩一下
(0)
0%

IT培训0元试听 每期开班座位有限.0元试听抢座开始! IT培训0元试听

  • 姓名 : *
  • 电话 : *
  • QQ : *
  • 留言 :
  • 验证码 : 看不清?点击更换请输入正确的验证码

在线咨询在线咨询

温馨提示 : 请保持手机畅通,咨询老师为您
提供专属一对一报名服务。

------分隔线----------------------------
------分隔线----------------------------

推荐内容