Forest Fire Prediction in Algeria Based on Decision Tree Algorithm in Spark MLlib

数据来源使用UCI机器学习库中提供的阿尔及利亚森林火灾数据集。数据集包括11个特征变量，包括日期、温度、相对湿度（RH）、风速（WS）、降雨量以及FWI系统中6个火险天气指数。由于2012年是2007年至2018年记录的火灾发生率最高的一年，因此使用2012年6月至2012年9月监测得到的4个气象因子和6个FWI系统的火险天气指数数据作为实验数据。

FWI系统与每日14时的温度、相对湿度、空旷地10 m高的风速和地方标准时中午测量的24 h的总降水量这四种气象因子关系密切。系统由6个部分组成，前3个指标分别代表森林凋落物中不同层的湿度，包括细小可燃物湿度码（FFMC）、粗腐殖质湿度码（DMC）和干旱码（DC）。每天的湿度码通过当天测量的气象数据值以及前一天的湿度码计算得到。森林可燃物的干燥速率对于不同类型是不同的，伴随着每天天气变化，可燃物湿度也发生变化。系统的后3个指标是火灾行为码，由3个湿度码和风速生成，分别表示森林中的可燃物的蔓延速度、有效可燃物的数量和代表火灾强度的火灾天气指标，即初始蔓延速度（IISI）、累积指数（BUI）和火险天气指数（FWI）^[6]。

该数据集包含244个实例，包括位于阿尔及利亚东北部的Bejaia地区和位于阿尔及利亚西北部的Sidi Bel-abbes地区，各122个实例。每个实例中又包含了日期、温度、相对湿度（RH）、风速（WS）降雨量以及FWI系统中6个火险天气指数，总共2 684个原始数据。阿勒颇松(Pinus halepensis Mill.)是地中海盆地干旱地区分布最广的针叶树，也是阿尔及利亚北部分布较多的植被，其物种对气候表现出可塑性生长反应，尤其对干旱十分敏感，也是阿尔及利亚北部地区较容易发生火灾的植被类型。根据以上并结合阿尔及利亚环境气候等因素，本次主要选择温度、相对湿度（RH）、风速（WS）、降雨量为气象因子进行数据挖掘及森林火灾分类预测。人为因素同样是对森林火灾发生产生影响的一大因素，但因为本文重点在于研究对已有数据进行数据挖掘以及数据特征之间的相关性分析，人为因素受当地政策及文化等主观因素影响较强，因此本次暂不考虑人为因素对预测的影响。

对于阿尔及利亚森林火灾数据集中的数据清洗过程包括缺失值处理和异常值处理：

（1）对于缺失的处理：缺失值处理的常用方法主要有删除记录、不处理和数据插补等，综合本次森林火灾数据集数据样本规模分析，删除记录和不处理显然会对最终分析结果的准确性和客观性产生影响^[9]。因此，本次采用数据插补法对缺失值进行处理。本实验中的数据插补方法选为拉格朗日插值法：

已知n-1次多项式过n个点：

从数据样本中n个点$ \left({x}_{1},{y}_{1}\right),\left({x}_{2},{y}_{2}\right)\cdots \left({x}_{n},{y}_{n}\right) $代入多项式：

求出拉格朗日多项式为：

将缺失值对应的$x$代入公式（2），就能得到缺失值的插补值$L(x)$。

（2）对于异常值的处理：在FWI系统指数中，出现指数值小于零的情况，视为异常情况，本文将该值视为缺失值。利用现有的FWI数据，采用拉格朗日插值法对其填补。

在相关性分析中，使用皮尔森相关系数（Pearson Correlation Coefficient）是当前主流的一种分析方法^[10-11]。皮尔森相关系数是一种线性相关系数，描述了两个变量之间线性相关的程度，在19世纪80年代由卡尔·皮尔逊总结前人的方法演变而来^[12]。样本相关系数(样本皮尔逊系数)，可通过估算样本中的协方差和标准差得到，常用$ r $代表，其定义的公式如下：

其中， $ \overline{X} $、$ \overline{Y} $表示样本平均值。

使用Spark MLlib库中的Statistics.corr()函数对数据集的11个属性两两进行相关性分析，得到相关性系数热图，如图1所示。相关性系数是区间分布在0.2269-0.994之间。其中DMC指数和DC指数的相关性系数为0.9610，DMC指数和BUI指数的相关性系数为0.9946，DMC指数和FWI指数相关性系数为0.9006，DC指数和BUI指数相关性系数为0.9826，DC指数和FWI指数相关性系数为0.8675，ISI指数和FWI指数相关性系数为0.9382，BUI指数和FWI指数相关性系数为0.8992。将以上相关性系数大于0.8的两个特征筛选出来。需要说明的是FFMC、DMC 、DC、ISI、BUI和 FWI是根据地方标准时中午测量的24小时的总降水量、空气相对湿度、风速和24小时降水量计算得出，FWI系统中的火险指数与温度、湿度等气象因子密切相关。因此在筛选出相关性系数大于0.8的特征后，根据FWI系统中火险天气指数的特点，我们剔除了BUI、DMC及FWI三个特征参数，它们之间有较强的相关性。

Figure 1.  Correlation analysis of different characteristic parameters

决策树（Decision Tree）是机器学习中分类和回归的常用方法。由于易于解释，处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征相互作用，因此决策树得到了广泛的使用^[13-15]。

对于本文使用数据集来说，分类结果是由发生火灾以及不发生火灾两种组成，因此选择二叉决策树。决策树的学习主要包括3个步骤：一是特征选择，二是决策树的生成，最后是剪枝。

（1）特征选择。为了提高决策树学习的效率，往往选取的训练数据都是具有分类能力的特征。特征选择的准则一般为信息增益(或信息增益比、基尼指数等)，衡量信息增益的熵越大，代表着随机变量的不确定性就越大，信息增益的描述可归纳为公式如下：

$ g(D,A) $为特征$ A $对训练数据集$ D $的信息增益，$ H\left(D\right) $与$ H\left(D|A\right) $分别为集合$ D $的经验熵和特征$ A $给定条件下$ D $的经验条件熵之差。

（a）真实火灾发生情况 (b) 预测火灾发生情况

信息增益比的描述可归纳为公式如下：

$ {g}_{R}(D,A) $为特征$ A $对训练数据集$ D $的信息增益比，$ {H}_{A}\left(D\right) $分别为集合$ D $的经验熵和特征$ A $给定条件下$ D $的经验条件熵之比。

其中，$H\left(D\right)=-\displaystyle\sum _{i=1}^{n}\dfrac{\left|{D}_{i}\right|}{\left|D\right|}{\mathit{log}}_{2}\dfrac{\left|{D}_{i}\right|}{D}$，$ \mathrm{n} $是特征$ A $取值的个数。

基尼指数可描述为：在分类问题中，假设有$ K $个类，样本点属于第$ K $类的概率为$ {p}_{k} $，如下公式：

在本实验中特征选择标准为基尼指数，由于只存在两类，因此$ K=2 $。

（2）决策树的生成。主要流程为：从根节点开始，对节点计算所有可能的特征的信息增益，选择信息最大的特征作为几点特征，由该特征的不同取值建立子节点，再对子节点递归地调用以上方法，构建决策树。直至所有特征信息增益均很小或无特征可选时终止。

（3）决策树的剪枝。对决策树进行剪枝，以防止对未知测试数据的分类出现过拟合的现象。剪枝往往由极小化决策树整体的损失函数进行实现。损失函数定义为：

$ T $为任意子树，$ C\left(T\right) $为对训练数据的预测误差，在训练，$ \left|T\right| $为子树的叶子节点个数，$ {C}_{a}\left(T\right) $为参数是$ a $时的子树$ T $的整体损失，参数$ a $权衡训练数据的拟合程度与模型的复杂度。

基于Spark MLlib的决策树分类模型首先对原始火山数据集进行数据清洗，对原始数据集中的缺失值及异常值进行数据处理，处理方法主要为拉格朗日插值和填补。使用case class类定义一个森林数据类forest，读取火灾数据集并创建一个forest模式的RDD并转换为DataFrame。创建决策树模型DecisionTreeClassifier,通过setter的方法来设置决策树的参数，下面简要介绍一下DecisionTreeClassifier模型对象中部分常用的参数含义。

（1）featurescol：用来设置特征列名的参数，默认值为“features”。

（2）impurity：用来设置信息增益标准的参数，支持信息增益“entropy”和基尼指数“gini”,默认值为“gini”。

（3）labelcol：用来设置标签列名的参数，默认值为“label”。

（4）maxdepth：设置树的最大深度，默认值为5。例如，将maxdepth值设置为0，表示只有一个叶子节点；将maxdepth值设置为1，表示有一个根节点和两个叶子节点。

（5）predictioncol：用来设置预测列名的参数，默认值为“prediction”。

（6）rawpredictioncol：用来设置原始预测值（置信度）的列名参数。

本次实验需要设置特征列（featurescol）和待预测列（labelcol），同时设置信息增益标准为Gini。

构建机器学习流水线，使用训练集调用fit方法对模型进行训练，得到训练模型后使用测试集调用transform方法对其进行预测。结合原始数据分类情况分析预测结果，并得到错误率。Spark MLlib的决策树分类模型流程图如图2所示。

Figure 2.  Process of constructing decision tree model

将数据集随机分成训练集和测试集，其中训练集占70%，测试集占30%，使用训练集对模型进行训练，得到决策树模型。使用测试集对模型进行测试，结果如图3所示。左侧甘特图显示了6月—9月之间阿尔及利亚火灾发生天数情况，右侧甘特图为预测6月—9月之间的火灾发生天数。总体上看，预测结果基本一致，个别天数出现了预测错误。如6月的第21天和7月的第13天都与真实数据的分类情况产生了差异。调用函数Evaluator()，计算测试数据预测准确率，并通过程序控制台打印输出，预测准确率为94.94%（精确小数点后两位）。其中测试样本数量为40，预测分类正确数量为38，有2天的预测分类结果与实际出现了不相符的情况。为了提高预测准确率，对数据集中不同特征参数的进行研究分析，去除相关性较高的特征参数，优化模型后，再进行预测。

Figure 3.  Comparison between original data classification and forecast classification

在原有模型的基础上，对处理数据集阶段做出优化。即对样本数据中相关性高的特征进行剔除。通过1.2.1节分析，本试验将累积指数(BUI)指数、FWI系统中的Duff湿度代码(DMC)指数及火灾天气指数(FWI)指数三个特征参数进行剔除。使用训练集对模型进行训练，得到决策树模型。使用测试集对模型进行测试，结果如图4所示。

Figure 4.  Comparison between improved prediction classification and real classification

左侧甘特图显示了6月—9月之间阿尔及利亚火灾发生天数情况，右侧甘特图为预测6月—9月之间的火灾发生天数。总体上看，预测结果基本一致，也出现极个别的预测错误。例如7月的第7天与真实数据的分类情况产生了差异。同样调用函数Evaluator()，计算测试数据预测准确率，并通过程序控制台打印输出，预测准确率为97.17%（精确小数点后两位）。其中测试样本数量为34，正确预测分类数量为33，出现了1天的预测结果与实际不符的情况。相比较剔除相关性高的特征数据前的预测，准确率提高了约3%。模型改进前后预测情况对比见表1。

通过以上结果可以得出，利用Spark MLlib计算特征参数相关性并过滤，对决策树分类预测模型起到了优化的作用。因此在使用Spark MLlib计算框架时，将多种数据挖掘算法进行组合，从而对森林火灾预测的准确性进行了提升。

本文选取阿尔及利亚森林火灾数据作为分析对象，经过数据清洗将数据处理成适合本文研究模型需要的数据。利用Spark大数据框架，结合原有数据集和森林火灾分类情况，提出基于Spark的决策树预测分类模型，并对森林火灾数据样本中的特征参数进行相关性分析，通过对比不同特征参数的相关性系数，以及考虑FWI系统中火险天气指数与气象因子之间的密切关系，剔除了相关性较高的一些特征参数，从而优化模型。模型优化前预测准确率达到94.94%，优化后，模型预测准确率达到97.17%，提高了近3%。

本文创新点在于利用大数据运算框架Spark MLlib对阿尔及利亚森林火灾数据进行数据挖掘以及分类预测。将大数据技术与森林火灾预测相结合，为森林火灾预测方向提供一个新的思路。本次实验也存在一些局限性，例如影响森林火灾发生的因素除温湿度等气象因素外，人为因素也是一重要影响因素。不同地区的人文文化差异、生产经营活动，都会对森林火灾的发生产生影响，需要具体问题具体分析。此外，季节也是影响森林火灾又一大因素，夏季森林火灾的发生次数明显高于冬季。在接下来的研究中，需要进一步研究分析特征参数相关性方法，进行降维，例如主成分分析（PCA）等，并考虑融合多种数据挖掘算法，将季节性因素的影响也融入研究，使预测结果更准确更全面。