在第一天对Hadoop有了基本的了解后，第二天我继续深入学习了Hadoop的核心概念和功能。以下是我今天的收获和心得。
首先，我进一步了解了HDFS（分布式文件系统）的工作原理和最佳实践。HDFS是Hadoop的核心组件之一，它提供了一个可扩展的分布式文件系统，适用于大规模数据存储和处理。
HDFS的基本概念包括：
- Block：文件被分成多个Block，每个Block存储在HDFS的一个DataNode上。
- NameNode：管理文件系统的元数据，保存文件和Block的映射关系。
- DataNode：存储实际的数据块，并定期向NameNode报告存储情况。
在使用HDFS时，需要注意以下几点：
- 默认情况下，一个文件被分成多个Block，存储在多个DataNode上。
- HDFS的写操作是先写入内存，然后再定期写入磁盘。可以通过配置参数控制写入的频率和内存缓存大小。
- HDFS支持多种文件类型，如普通文件、目录、符号链接等。
- HDFS提供了多种访问模式，包括命令行、API、Web界面等。
接着，我学习了MapReduce编程模型和实际应用。MapReduce是一种分布式计算模型，它将任务分解成多个小任务，并在集群中并行执行。Map阶段将输入数据转换成一系列的键值对，Reduce阶段对相同键的数据进行合并处理。
以下是一个简单的MapReduce程序的示例代码：
Mapper类：
java复制代码
public class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}Reducer类：
java复制代码
public class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}最后，我通过编写一个简单的MapReduce程序来实践了所学知识。该程序的功能是统计输入文本中每个单词的出现次数。具体步骤如下：
- 编写Mapper类，将输入文本拆分成单词，并为每个单词生成一个键值对（单词，1）。
- 编写Reducer类，将相同单词的计数相加，得到每个单词的总数。
- 在main函数中配置MapReduce作业的参数，包括输入输出路径、Mapper和Reducer类等。然后提交作业并等待执行完成。
