Spark 概述概述概念 一种基于内存的快速、通用、可扩展的大数据分析计算引擎 使用Scala开发,适合迭代计算和数据挖掘计算 基于MR框架,优化了计算过程,使用内存替换计算结果的传输 计算模型非常丰富 Spark和Hadoop的根本差异是多个作业之间的数据通信问题:Spark多个作业之间数据通信是基于内存,Hadoop基于磁盘 Spark运行环境环境 = Java环境(JVM) + 集群环境(YA 2023-08-29 大数据
Linux Debian全局环境变量配置配置位置 login shell /etc/profile /etc/profile/* non-login shell ~/.bashrc /etc/profile/* 123456789101112131415# 编辑/etc/profile.d/env.shvim 2023-08-29 其他
MyBatis MyBatis简介JDBC: SQL夹在Java代码块里,耦合度高导致硬编码内伤 维护不易且实际开发需求中sql是有变化,频繁修改的情况多见 Hibernate和JPA: 长难复杂SQL,对于Hibernate而言处理也不容易 内部自动生产的SQL,不容易做特殊优化 基于全映射的全自动框架,大量字段的POJO进行部分映射时比较困难导致数据库性能下降 对开发人员而言核心SQL还是需要自己优化 2023-08-29 后端
MySQL MySQL高级优化架构配置Windows:my.ini Lunix:/etc/my.cnf 修改字符集 create database 库名 character set utf8:创建数据库,顺便执行字符集为utf-8 show create database 库名:查看数据库的字符集 show variables like '%char%':查询所有跟字 2023-08-29 后端
Netty NIO概念 NIO:非阻塞IO Java Socket是全双工的:在任意时刻,线路上存在A到B和B到A的双向信号传输。即使是阻塞IO,读和写可以同时进行,只要分别采用读线程和写线程即可,读不会阻塞写、写也不会阻塞读 三大组件Channel&Buffer NIO系统的核心 Buffer是非线程安全的 channel类似于 stream,是读写数据的双向通道,可以从channel将数据读 2023-08-29 后端
Flume 概念概念概念 基于流式架构,高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统 架构基础架构graph LR 1(Web Server) --> 2(Source) subgraph Agent 2 --> 3(Channel) --> 4(Sink) end 4 --> 5(HDFS) Agent 一个JVM进程,以事件形式将数据从源头送至目的 Source 2023-08-29 大数据
HBase Hbase概述概述 一种分布式、可扩展、支持海量数据存储的NoSQL数据库 基本结构 Master Table:create,delete,alter RegionServer:分配Regions到每个RegionServer,监控RegionServer状态 RegionServer Data:get,put,delete Region:splitRegion,compactRegio 2023-08-29 大数据
Hadoop Hadoop3入门大数据概论 海量数据的采集存储和分析 特点(4v) 大量 高速 多样 低价值密度:快速对有价值数据提纯 应用场景:通过海量数据分析为各个行业领域提供更强的决策力和指导性 大数据的业务流程和部门分布 数仓组 实时组 Hadoop概论 分布式系统基础架构,主要解决海量数据的存储和分析计算 面试题 端口号 常用配置文件 HDFS文件块大小 HDFS读写流程 MapTask 2023-08-29 大数据
Hive 基础概念 基于Hadoop的数据仓库工具,将结构化的数据文件映射为一张表,提供类SQL查询功能 本质:将HQL转化成MapReduce程序 Hive处理的数据存储在HDFS Hive分析数据底层的实现是MapReduce/Sprak… 执行程序运行在Yarn上 优点 简单、容易上手 支持用户自定义函数 缺点 HQL表达能力有限:迭代式算法无法表达 效率比较低 官网地址:htt 2023-08-29 大数据
JDBC JDBC 第1章:JDBC概述1.1 数据的持久化 持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用。大多数情况下,特别是企业级应用,数据持久化意味着将内存中的数据保存到硬盘上加以”固化”,而持久化的实现过程大多通过各种关系数据库来完成。 持久化的主要应用是将内存中的数据存储在关系型数据库中,当然也可以存储在磁盘文件、XML数据文件中。 1.2 Java中的数据 2023-08-29 后端