1.zookeeper 投票 答案在108页
1.启动节点1,会给自己投票,由于其他节点还有启动所以无法收到投票的反馈信息,投票数没有大于一半,因此节点1的状态是looking
2.启动节点2,会给自己投票,然后跟节点1交换信息,节点2的编号大于节点1,节点2胜出,节点1将会投票给节点2,此时投票数大于一半,所以节点2成为领导者状态,节点1为追随者状态。
3.节点3启动,给自己投票,与节点1和节点2交换信息,尽管节点3编号大,但是节点2已经胜出,所以节点3只能成为追随者状态。
2.zookeeper三个角色
Follower Leader Observer
3.hadoop生态系统主键:
HDFS,MapReduce,Yarn,Zookeeper,Hive,Flume,
4.HIVE
DATE INT FLOAT STRING VARCHAR BOOLEAN 答案:150-151页
5.172-173页
Flume运行机制:
Flume的核心是把数据从数据源 Web_server 通过数据采集器source收集过来,再将收集的数据通过缓冲通道Channel汇集到指定的接收器Sink。
Flume是系统中的核心角色是agent,agent本身是一个java进程,一般运行在日志收集节点
Flume 日志采集
source 采集源 将采集到的数据写入到channel中并流向Sink。
sink
channel 里面有个agent:内部数据传输通道
6 python的文件上传
截图
uploadflie.py 文件名
import pyhdfs
def uplocal_flie_to_hdfs(client,path_local,path_hdfs)
try :
client.copy_from_local(path_local,path_hdfs)
print('success')
execpt IOError:
print('Errot: 查找文件失败')
else:
print('write success')
1.启动节点1,会给自己投票,由于其他节点还有启动所以无法收到投票的反馈信息,投票数没有大于一半,因此节点1的状态是looking
2.启动节点2,会给自己投票,然后跟节点1交换信息,节点2的编号大于节点1,节点2胜出,节点1将会投票给节点2,此时投票数大于一半,所以节点2成为领导者状态,节点1为追随者状态。
3.节点3启动,给自己投票,与节点1和节点2交换信息,尽管节点3编号大,但是节点2已经胜出,所以节点3只能成为追随者状态。
2.zookeeper三个角色
Follower Leader Observer
3.hadoop生态系统主键:
HDFS,MapReduce,Yarn,Zookeeper,Hive,Flume,
4.HIVE
DATE INT FLOAT STRING VARCHAR BOOLEAN 答案:150-151页
5.172-173页
Flume运行机制:
Flume的核心是把数据从数据源 Web_server 通过数据采集器source收集过来,再将收集的数据通过缓冲通道Channel汇集到指定的接收器Sink。
Flume是系统中的核心角色是agent,agent本身是一个java进程,一般运行在日志收集节点
Flume 日志采集
source 采集源 将采集到的数据写入到channel中并流向Sink。
sink
channel 里面有个agent:内部数据传输通道
6 python的文件上传
截图
uploadflie.py 文件名
import pyhdfs
def uplocal_flie_to_hdfs(client,path_local,path_hdfs)
try :
client.copy_from_local(path_local,path_hdfs)
print('success')
execpt IOError:
print('Errot: 查找文件失败')
else:
print('write success')