项目实训第十一天 电信日志分析数据导出步骤 开启Hadooop 1start-all.sh 进入MySQL，在MySQL中建表 12345678# 建库create database telecom;# 使用这个库use telecom;# 需要在库下建立事实表create table F_HTTP_APP_HOST( reporttime datetime, appType bigint, appSubtype 2021-07-22 Program 实训 Hadoop Flume Hive HBase
项目实训第十天 电信日志分析数据采集概述 在实际过程中，流量日志并不是集中在一台服务器上而是放在了多台服务器上，此时需要考虑将数据先从多台服务器上收集过来其中到HDFS上 在收集日志的时候，可以考虑使用日志收集框架Flume、Scribe等 步骤 将三台虚拟机启动，将后两台虚拟机作为日志产生的服务器，第一台虚拟机作为日志进行汇聚的服务器 在第二台和第三台虚拟机上，上传日志文件 12345cd /optm 2021-07-22 Program 实训 Hadoop Flume Hive Sqoop
项目实训第九天 Hive窗口函数概述 窗口函数的作用是用于限制要处理的数据量的大小 语法 1分析函数 over(partition by 字段 order by 字段 rows between 起始范围 and 结束范围) 案例一 原始数据 1234567891011121314jack,2017-01-01,10tony,2017-01-02,15jack,2017-02-03,23tony,20 2021-07-21 Program 实训 Hadoop Hive
项目实训第八天 Hive函数基本案例 拼接 原始数据 1234baike baidu commail 163 commusic qq comnews baidu com 在Hive中建表来管理这些数据 1create table webs (app string, company string, kind string) row format delimited fields terminated by 2021-07-20 Program 实训 Hadoop Hive
字符编码Unicode和UTF8的关系 转载自[阮一峰的博客](字符编码笔记：ASCII，Unicode 和 UTF-8 - 阮一峰的网络日志)除了这个还可以看看这两篇： https://www.cnblogs.com/throwable/p/9188439.html https://www.cnblogs.com/baiqiantao/p/5862430.html 先总结一下： ASCII码被Unicode兼容，在127之前是一 2021-07-20 Program Java Java Program
项目实训第七天 Hive简介注意问题 在Hive中，每一个database在HDFS上都会对应一个目录 在Hive中，没有主键的概念，也就意味着在定义表的时候不需要定义主键 Hive在建表的时候就需要指定字段之间的间隔符号，建好表之后就无法修改 在插入数据的时候，insert into表示追加数据；insert overwrite表示将原来的数据清空之后再加入数据 基本操作 SQL 解释 show 2021-07-19 Program 实训 Hadoop Hive
Mac和Win对应的几个按键 Mac和Windows键盘对应关系： • ⌘ == Command —– win • ⇧ == Shift —– shift • ⌥ == Option —– Alt • ⌃ == Control —– Ctrl 2021-07-16 Hackintosh Hackintosh 黑苹果
Mac设置不挂在某个分区 双系统，windows分区就不用挂载了，以免出现问题，解决方法如下： 打开终端，取得权限，输入 sudo -s //输入你的密码。 输入 nano /etc/fstab 打开应用程序里的磁盘工具。选择你不想挂载的分区，点选左上的“显示简介”，得到你这个分区的UUID（通用唯一标识）。 终端里输入1vim /etc/fstab 写入：1UUID=刚才找到的UUID none ntfs 2021-07-16 Hackintosh Hackintosh 黑苹果
Mac设置终端代理 方法1:在终端中直接运行命令 export http_proxy=http://proxyAddress:port这个办法的好处是简单直接，并且影响面很小（只对当前终端有效）。 方法2:把代理服务器地址写入shell配置文件.bashrc或者.zshrc直接在.bashrc或者.zshrc添加下面内容 12export http_proxy="http://localhost:port 2021-07-16 Hackintosh Hackintosh 黑苹果
Mac更改默认文件打开方式 只在打开方式中勾选始终用某个软件打开只会对该文件生效 要想在同种类型的文件上生效，需要如下操作： 右键某个类型的文件 -> 显示简介 -> 打开方式 -> 选择打开方式并点击全部更改 2021-07-16 Hackintosh Hackintosh 黑苹果
