数据挖掘工具——WEKA

WEKA是集数据预处理、学习算法（分类、回归、聚类、关联分析）和评估方法等为一体的综合性数据挖掘工具。本思维导图介绍了WEKA的使用方法，希望对大家有所帮助！

数据挖掘工具——WEKA

• WEKA简介
  • WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis）
  • WEKA也是新西兰的一种鸟名，是新西兰怀卡托大学WEKA小组用Java开发的机器学习/数据挖掘开源软件。
  • 其源代码获取
    • http://www.cs.waikato.ac.nz/ml/weka/
    • http://prdownloads.sourceforge.net/weka/weka-3-6-6jre.exe
  • 2005年8月，在第11届ACM SIGKDD国际会议上，怀卡托大学的WEKA小组荣获了数据挖掘和知识探索领域的最高服务奖， WEKA系统得到了广泛的认可，被誉为数据挖掘和机器学习历史上的里程碑，是现今最完备的数据挖掘工具之一。 WEKA的每月下载次数已超过万次。
  • 主要特点
    • 它是集数据预处理、学习算法（分类、回归、聚类、关联分析）和评估方法等为一体的综合性数据挖掘工具
    • 具有交互式可视化界面
    • 提供算法学习比较环境
    • 通过其接口，可实现自己的数据挖掘算法
  • Explorer环境
    • 区域1的几个选项卡是用来切换不同的挖掘任务面板。
      • Preprocess（数据预处理）：选择和修改要处理的数据。
      • Classify（分类）：训练和测试分类或回归模型。
      • Cluster（聚类）：从数据中聚类。
      • Associate（关联分析）：从数据中学习关联规则。
      • Select Attributes（选择属性）：选择数据中最相关的属性。
      • Visualize（可视化） ：查看数据的二维散布图。
    • 区域2是一些常用按钮。包括打开、编辑、保存数据及数据转换等功能。例如,我们可以把文件“bank-data.csv”另存为“bank-data.arff”。
    • 区域3中可以选择（Choose）某个筛选器（Filter），以实现筛选数据或者对数据进行某种变换。数据预处理主要就利用它来实现。
    • 区域4展示了数据集的关系名、属性数和实例数等基本情况。
    • 区域5中列出了数据集的所有属性。
      • 勾选一些属性并“Remove”就可以删除它们，删除后还可以利用区域2的“Undo”按钮找回。
      • 区域5上方的一排按钮是用来实现快速勾选的。
    • 区域6中显示在区域5中选中的当前某个属性的摘要。
      • 摘要包括属性名（Name）、属性类型（Type）、缺失值（Missing）数及比例、不同值（Distinct ）数、唯一值（Unique）数及比例
      • 对于数值属性和标称属性，摘要的方式是不一样的。图中显示的是对数值属性“income”的摘要。
        • 数值属性显示最小值（Minimum）、最大值（Maximum） 、均值（Mean）和标准差（StdDev）
        • 标称属性显示每个不同值的计数
    • 区域7是区域5中选中属性的直方图。
      • 若数据集的最后一个属性（这是分类或回归任务的默认目标变量）是类标变量（例如“pep” ），直方图中的每个长方形就会按照该变量的比例分成不同颜色的段。
      • 要想换个分段的依据，在区域7上方的下拉框中选个不同的分类属性就可以了。
      • 下拉框里选上“No Class”或者一个数值属性会变成黑白的直方图。
    • 区域8窗口的底部区域，包括状态栏、log按钮和Weka鸟。
      • 状态栏（Status）显示一些信息让你知道正在做什么。例如，如果 Explorer 正忙于装载一个文件，状态栏就会有通知。
      • 在状态栏中的任意位置右击鼠标将会出现一个小菜单。这个菜单给了你两个选项：
        • Memory Information--显示WEKA可用的内存量。
        • Run garbage collector--强制运行Java垃圾回收器，搜索不再需要的内存空间并将之释放，从而可为新任务分配更多的内存。
      • Log按钮可以查看以weka操作日志 。
      • 右边的weka鸟在动的话，说明WEKA正在执行挖掘任务。
  • KnowledgeFlow环境
• WEKA数据集
  • WEKA所处理的数据集是一个.arff文件的二维表
    • 表格里的一个横行称作一个实例（Instance），相当于统计学中的一个样本，或者数据库中的一条记录。
    • 竖行称作一个属性（Attribute），相当于统计学中的一个变量，或者数据库中的一个字段。
    • 这样一个表格，或者叫数据集，在WEKA看来，呈现了属性之间的一种关系(Relation)。
    • 上图中一共有14个实例，5个属性，关系名称为“weather”。
    • WEKA存储数据的格式是ARFF（Attribute-Relation File Format）文件，这是一种ASCII文本文件。
    • 上图所示的二维表格存储在如下的ARFF文件中。这也就是WEKA自带的“weather.arff”文件，在WEKA安装目录的“data”子目录下可以找到。
  • WEKA存储数据的格式是ARFF（Attribute-Relation File Format）文件
    • 这是一种ASCII文本文件（ ASCII ((American Standard Code for Information Interchange): 美国信息交换标准代码 ）
    • 文件的扩展名为.arff
    • 可以用写字板打开、编辑 ARFF文件
  • 文件中以“%”开始的行是注释，WEKA将忽略这些行。
  • 除去注释后，整个ARFF文件可以分为两个部分:
    • 第一部分给出了头信息（Head information），包括了对关系的声明和对属性的声明。
    • 第二部分给出了数据信息（Data information），即数据集中给出的数据。从“@data”标记开始，后面的就是数据信息了。
  • 关系声明
    • 关系名称在ARFF文件的第一个有效行来定义，格式为：@relation <关系名>
    • <关系名>是一个字符串。如果这个字符串包含空格，它必须加上引号（指英文标点的单引号或双引号）。
  • 属性声明
    • 属性声明用一列以“@attribute”开头的语句表示。
    • 数据集中的每一个属性都有对应的“@attribute”语句，来定义它的属性名称和数据类型（datatype）：@attribute <属性名> <数据类型>
      • 其中<属性名>必须以字母开头的字符串。和关系名称一样，如果这个字符串包含空格，它必须加上引号。
    • 属性声明语句的顺序很重要，它表明了该项属性在数据部分的位置。
      • 例如，“humidity”是第三个被声明的属性，这说明数据部分那些被逗号分开的列中，第2列（从第0列开始）数据 85 90 86 96 ... 是相应的“humidity”值。
      • 其次，最后一个声明的属性被称作class属性，在分类或回归任务中，它是默认的目标变量。
  • 数据类型
    • numeric 数值型
      • 数值型属性可以是整数或者实数，但WEKA把它们都当作实数看待。例如：@attribute temperature real
    • <nominal-specification> 标称（nominal）型
      • 标称属性由<nominal-specification>列出一系列可能的类别名称并放在花括号中：{<nominal-name1>, <nominal-name2>, <nominal-name3>, ...} 。
      • 数据集中该属性的值只能是其中一种类别。
      • 例如属性声明：@attribute outlook {sunny, overcast, rainy}说明“outlook”属性有三种类别：“sunny”，“ overcast”和“rainy”。而数据集中每个实例对应的“outlook”值必是这三者之一。
      • 如果类别名称带有空格，仍需要将之放入引号中。
    • string 字符串型
      • 字符串属性可以包含任意的文本。例如：@attribute LCC string
    • date [<date-format>] 日期和时间型
      • 日期和时间属性统一用“date”类型表示，它的格式是： @attribute <属性名> date [<date-format>]
      • 其中<date-format>是一个字符串，来规定该怎样解析和显示日期或时间的格式，默认的字符串是ISO-8601所给的日期时间组合格式：“yyyy-MM-dd HH:mm:ss”
      • 数据信息部分表达日期的字符串必须符合声明中规定的格式要求，例如：@ATTRIBUTE timestamp DATE "yyyy-MM-dd HH:mm:ss" @DATA "2011-05-03 12:59:55"
    • 注意
      • 还可以使用两个类型“integer”和“real”，但是WEKA把它们都当作“numeric”看待。
      • “integer”，“real”，“numeric”，“date”，“string”这些关键字是区分大小写的，而“relation”、“attribute ”和“data”则不区分。
  • 数据信息
    • 数据信息中“@data”标记独占一行，剩下的是各个实例的数据。
    • 每个实例占一行，实例的各属性值用逗号“,”隔开。
    • 如果某个属性的值是缺失值（missing value），用问号“?”表示，且这个问号不能省略。
  • 稀疏数据
    • 有的时候数据集中含有大量的0值，这个时候用稀疏格式的数据存储更加省空间。
    • 稀疏格式是针对数据信息中某个对象的表示而言，不需要修改ARFF文件的其它部分。
      • 例如数据：@data 0, X, 0, Y, "class A" 0, 0, W, 0, "class B"
      • 用稀疏格式表达的话就是 @data {1 X, 3 Y, 4 "class A"} {2 W, 4 "class B"}
    • 注意：ARFF数据集最左端的属性列为第0列，因此，1 X表示X为第1列属性值。
• 数据准备
  • 数据获取
    • 直接使用ARFF文件数据。
    • 从CSV，C4.5，binary等多种格式文件中导入。
    • 通过JDBC从SQL数据库中读取数据。
    • 从URL（Uniform Resource Locator）获取网络资源的数据。
  • 数据格式转换
    • ARFF格式是WEKA支持得最好的文件格式。
    • 使用WEKA作数据挖掘，面临的第一个问题往往是数据不是ARFF格式的。
    • WEKA还提供了对CSV文件的支持，而这种格式是被很多其他软件（比如Excel）所支持。
    • 可以利用WEKA将CSV文件格式转化成ARFF文件格式。
  • 数据资源
    • WEKA自带的数据集 C:\Program Files\Weka-3-6\data
    • 网络数据资源 http://archive.ics.uci.edu/ml/datasets.html
  • .XLS——> .CSV——> .ARFF
    • Excel的XLS文件可以让多个二维表格放到不同的工作表（Sheet）中，只能把每个工作表存成不同的CSV文件。
    • 打开一个XLS文件并切换到需要转换的工作表，另存为CSV类型，点“确定”、“是”忽略提示即可完成操作。
    • 在WEKA中打开一个CSV类型文件，再另存为ARFF类型文件即可。
• 数据预处理preprocess
  • 在WEKA中数据预处理工具称作筛选器（filters）
  • 可以定义筛选器来以各种方式对数据进行变换。
  • Filter 一栏用于对各种筛选器进行必要的设置。
  • Choose 按钮：点击这个按钮就可选择 WEKA 中的某个筛选器。
  • 选定一个筛选器后，它的名字和选项会显示在 Choose 按钮旁边的文本框中。
  • 载入数据
    • Explorer的预处理（ preprocess ）页区域2的前4个按钮用来把数据载入WEKA：
      • Open file.... 打开一个对话框，允许你浏览本地文件系统上的数据文件。
      • Open URL.... 请求一个存有数据的URL地址。
      • Open DB.... 从数据库中读取数据 。
      • Generate.... 从一些数据生成器（DataGenerators）中生成人造数据。
  • 去除无用属性
    • 通常对于数据挖掘任务来说，像ID这样的信息是无用的，可以将之删除。
    • 在区域5勾选属性“id”，并点击“Remove”。 将新的数据集保存，并重新打开
  • 数据离散化
    • 有些算法(如关联分析)，只能处理标称型属性，这时候就需要对数值型的属性进行离散化。
    • 对取值有限的数值型属性可通过修改.arff文件中该属性数据类型实现离散化。
      • 例如，在某数据集中的 “children”属性只有4个数值型取值：0，1，2，3。
      • 我们直接修改ARFF文件，把@attribute children numeric 改为@attribute children {0,1,2,3}就可以了
      • 在“Explorer”中重新打开“bank-data.arff”，看看选中“children”属性后，区域6那里显示的“Type” 变成“Nominal”了。
    • 对取值较多的数值型属性，离散化可借助WEKA中名为“Discretize”的Filter来完成。
      • 在区域2中点“Choose”，出现一棵“Filter树”，逐级找到“weka.filters.unsupervised.attribute.Discretize”，点击。
      • 现在“Choose”旁边的文本框应该显示“Discretize -B 10 -M -0.1 -R first-last”。
      • 点击这个文本框会弹出新窗口以修改离散化的参数。
• 分类Classify
  • WEKA把分类(Classification)和回归(Regression)都放在“Classify”选项卡中。
  • 在这两个数据挖掘任务中，都有一个目标属性（类别属性，输出变量）。
  • 我们希望根据一个WEKA实例的一组特征属性 （输入变量），对目标属性进行分类预测。
  • 为了实现这一目的，我们需要有一个训练数据集，这个数据集中每个实例的输入和输出都是已知的。观察训练集中的实例，可以建立起预测的分类/回归模型。
  • 有了这个模型，就可以对新的未知实例进行分类预测。
  • 衡量模型的好坏主要在于预测的准确程度。
  • WEKA中的典型分类算法
    • Bayes: 贝叶斯分类器
      • BayesNet: 贝叶斯信念网络
      • NaïveBayes: 朴素贝叶斯网络
      • xMultilayerPerceptron: 多层前馈人工神经网络
      • SMO: 支持向量机（采用顺序最优化学习方法）
    • Lazy: 基于实例的分类器
      • IB1: 1-最近邻分类器
      • IBk: k-最近邻分类器
  • 选择分类算法
    • Meta: 组合方法
      • AdaBoostM1: AdaBoost M1方法
      • Bagging: 袋装方法
    • Rules: 基于规则的分类器
      • JRip: 直接方法－Ripper算法
      • Part: 间接方法－从J48产生的决策树抽取规则
    • Trees: 决策树分类器
      • Id3: ID3决策树学习算法（不支持连续属性）
      • J48: C4.5决策树学习算法（第8版本）
      • REPTree: 使用降低错误剪枝的决策树学习算法
      • RandomTree: 基于决策树的组合方法
  • 选择模型评估方法（四种）
    • Using training set 使用训练集评估
    • Supplied test set 使用测试集评估
    • Cross-validation 交叉验证
      • 设置折数Folds
    • Percentage split 保持方法。使用一定比例的训练实例作评估
      • 设置训练实例的百分比
  • 点击More options 按钮可以设置更多的测试选项：
    • Output model. 输出基于整个训练集的分类模型，从而模型可以被查看，可视化等。该选项默认选中。
    • Output per-class stats. 输出每个class的准确度/反馈率（precision/recall）和正确/错误（true/false）的统计量。该选项默认选中。
    • Output evaluation measures. 输出熵估计度量。该选项默认没有选中。
    • Output confusion matrix. 输出分类器预测结果的混淆矩阵。该选项默认选中。
    • Store predictions for visualization. 记录分类器的预测结果使得它们能被可视化表示。
    • Output predictions. 输出测试数据的预测结果。注意在交叉验证时，实例的编号不代表它在数据集中的位置。
    • Cost-sensitive evaluation. 误差将根据一个价值矩阵来估计。Set… 按钮用来指定价值矩阵。
    • Random seed for xval / % Split. 指定一个随即种子，当出于评价的目的需要分割数据时，它用来随机化数据。
  • 文字结果分析
    • 单击start按钮，Classifier output窗口显示的文字结果信息：
      • Run information 运行信息
      • Classifier model (full training set) 使用全部训练数据构造的分类模型
      • Summary 针对训练/检验集的预测效果汇总。
      • Detailed Accuracy By Class 对每个类的预测准确度的详细描述。
      • Confusion Matrix 混淆矩阵，其中矩阵的行是实际的类，矩阵的列是预测得到的类，矩阵元素就是相应测试样本的个数。
    • 主要指标
      • Correctly Classified Instances 正确分类率
      • Incorrectly Classified Instances 错误分类率
      • Kappa statistic Kappa 统计数据
      • Mean absolute error 平均绝对误差
      • Root mean squared error 根均方差
      • Relative absolute error 相对绝对误差
      • Root relative squared error 相对平方根误差
      • TP Rate(bad/good) 正确肯定率
      • FP Rate(bad/good) 错误肯定率
      • Precision(bad/good) 精确率
      • Recall(bad/good) 反馈率
      • F-Measure(bad/good) F测量
      • Time taken to build model 建模花费的时间
  • 输出图形结果
    • View in main window(查看主窗口)。在主窗口中查看输出结果。
    • View in separate window(查看不同的窗口)。打开一个独立的新窗口来查看结果。
    • Save result buffer(保存结果的缓冲区)。弹出对话框来保存输出结果的文本文件。
    • Load model(下载模式)。从二进制文件中载入一个预训练模式对象。
    • Save model (保存模式)。将一个模式对象保存到二进制文件中，也就是保存在JAVA 的串行对象格式中。
    • Re-evaluate model on current test set(对当前测试集进行重新评估)。通过已建立的模式，并利用Supplied test set(提供的测试集) 选项下的Set..按钮来测试指定的数据集。
    • Visualize classifier errors(可视化分类器错误)。弹出一个可视化窗口来显示分类器的结果图。其中，正确分类的实例用叉表示，然而不正确分类的实例则是以小正方形来表示的。
      • 实际类与预测类的散布图。其中正确分类的结果用叉表示，分错的结果用方框表示。
    • Visualize tree(树的可视化)。如果可能的话，则弹出一个图形化的界面来描述分类器模型的结构(这只有一部分分类器才有的)。右键单击空白区域弹出一个菜单，在面板中拖动鼠标并单击，就可以看见每个节点对应的训练实例。
    • Visualize margin curve(边际曲线的可视化)。产生一个散点图来描述预测边际的情况。边际被定义为预测为真实值的概率和预测为真实值之外的其它某类的最高概率之差。例如加速算法通过增加训练数据集的边际来更好地完成测试数据集的任务。
      • 创建一个散点图来显示预测边际值。
        • 四个变量
          • Margin: 预测边际值
          • Instance_number: 检验实例的序号
          • Current: 具有当前预测边际值的实例个数
          • Cumulative: 小于或等于预测边际值的实例个数 （与Instance_number一致）
        • 单击8号检验实例，显示该点的边际值为0.5，有7个实例的边际值小于0.5。
    • Visualize threshold curve(阈曲线的可视化)。产生一个散点图来描述预测中的权衡问题，其中权衡是通过改变类之间阈值来获取的。例如，缺省阈值为0.5，一个实例预测为positive的概率必须要大于0.5，因为0.5时实例正好预测为positive。而且图表可以用来对精确率/反馈率权衡进行可视化，如ROC 曲线分析(正确的正比率和错误的正比率)和其它的曲线。
      • 阈值是将检验实例归为当前类的最小概率，使用点的颜色表示阈值
        • 曲线上的每个点通过改变阈值的大小生成
        • 可以进行ROC分析
          • X轴选假正率
          • Y轴选真正率
      • ROC曲线
        • ROC曲线（Receiver Operating Characteeristic Curve）是显示Classification模型真正率和假正率之间折中的一种图形化方法
        • 假设样本可分为正负两类，解读ROC图的一些概念定义:
          • 真正（True Positive , TP），被模型预测为正的正样本
          • 假负（False Negative , FN）被模型预测为负的正样本
          • 假正（False Positive , FP）被模型预测为正的负样本
          • 真负（True Negative , TN）被模型预测为负的负样本
          • 真正率（True Positive Rate , TPR）或灵敏度（sensitivity） TPR = TP /（TP + FN） 正样本预测结果数 / 正样本实际数
          • 假正率（False Positive Rate , FPR） FPR = FP /（FP + TN） 被预测为正的负样本结果数 /负样本实际数
        • ( TPR=1,FPR=0 ) 是理想模型
        • 一个好的分类模型应该尽可能靠近图形的左上角。
    • Visualize cost curve(成本曲线的可视化)。产生一个散点图，来确切描述期望成本，正如Drummond 和Holte 所描述的一样。
• 聚类Cluster
  • 聚类分析是把对象分配给各个簇，使同簇中的对象相似，而不同簇间的对象相异。
  • WEKA在“Explorer”界面的“Cluster”提供聚类分析工具
  • 主要算法包括：
    • SimpleKMeans — 支持分类属性的K均值算法
      • • displayStdDevs：是否显示数值属性标准差和分类属性个数
        • distanceFunction：选择比较实例的距离函数
          • (默认: weka.core.EuclideanDistance)
        • dontReplaceMissingValues：是否不使用均值/众数（mean/mode）替换缺失值。
        • maxIterations：最大迭代次数
        • numClusters：聚类的簇数
        • preserveInstancesOrder：是否预先排列实例的顺序
        • Seed：设定的随机种子值
    • DBScan — 支持分类属性的基于密度的算法
    • EM — 基于混合模型的聚类算法
    • FathestFirst — K中心点算法
    • OPTICS — 基于密度的另一个算法
    • Cobweb — 概念聚类算法
    • sIB — 基于信息论的聚类算法，不支持分类属性
    • XMeans — 能自动确定簇个数的扩展K均值算法，不支持分类属性
  • 聚类模式Cluster Mode
    • 使用训练集 (Use training set) — 报告训练对象的聚类结果和分组结果
    • • 使用训练集 (Use training set) — 报告训练对象的聚类结果和分组结果
      • 使用附加的检验集 (Supplied test set) — 报告训练对象的聚类结果和附加的检验对象的分组结果
      • 百分比划分 (Percentage split) — 报告全部对象的聚类结果、训练对象的聚类结果，以及检验对象的分组结果
      • 监督评估 (Classes to clusters evaluation) — 报告训练对象的聚类结果和分组结果、类/簇混淆矩阵和错误分组信息
  • 执行聚类算法
    • 点击“Start”按钮，执行聚类算法
  • 观察聚类结果
    • 观察右边“Clusterer output”给出的聚类结果。也可以在左下角“Result list”中这次产生的结果上点右键，“View in separate window”在新窗口中浏览结果。
    • • 注意：采用有监督聚类（即已知建模数据集的类标号）， 才会出现以上执行信息。
    • 文字分析
      • SimpleKMeans
        • 非监督模式：运行信息、KMeans结果（迭代次数、SSE、簇中心）、检验对象的分组信息
        • 监督模式：运行信息、KMeans结果（迭代次数、SSE、簇中心）、类/簇混淆矩阵、错误分组的对象个数和比例
        • 簇中心：对于数值属性为均值，对于分类属性为众数
      • DBScan
        • 非监督模式：运行信息、DBScan结果（迭代次数、各个训练对象的分组信息）、检验对象的分组信息
        • 监督模式：运行信息、 DBScan结果（迭代次数、各个训练对象的分组信息）、类/簇混淆矩阵、错误分组的对象个数和比例
    • 图形分析
      • 必须将store clusters for visualization勾上
      • 可视化簇指派 (Visualize cluster assignments)：2D散布图，能够可视化类/簇混淆矩阵
    • 重要的输出信息
      • “ Within cluster sum of squared errors ”评价聚类好坏的标准—SSE，即误差的平方和。SSE值越小说明聚类结果越好。
      • “Cluster centroids:”之后列出了各个簇中心的位置。对于数值型的属性，簇中心就是它的均值（Mean），分类型的就是它的众数（Mode）。
      • “Clustered Instances”是各个簇中实例的数目及百分比。
    • 观察可视化的聚类结果
      • 在左下方“Result list”列出的结果上右击，点“Visualize cluster assignments”。
      • 弹出的窗口给出了各实例的散点图。
        • 最上方的两个框是选择横坐标和纵坐标
        • 第二行的”color”是散点图着色的依据，默认是根据不同的簇“Cluster”给实例标上不同的颜色。
• 关联规则
  • WEKA关联规则学习能够发现属性组之间的依赖关系:
    • 例如，milk, butter  bread, eggs (置信度 0.9 and 支持数 2000)
  • 对于关联规则L->R
    • 支持度（support）—— 同时观察到前件和后件的概率 support = Pr(L,R)
    • 置信度（confidence）—— 出现前件时同时出现后件的概率 confidence = Pr(L,R)/Pr(L)
  • 关联规则挖掘的主要算法
    • WEKA数据挖掘平台上的关联规则挖掘的主要算法有：
      • Apriori--能够得出满足最小支持度和最小支持度的所有关联规则。
        • • car：如果设为真，则会挖掘类关联规则而不是全局关联规则。
          • classindex： 类属性索引。如果设置为-1，最后的属性被当做类属性。
          • delta： 以此数值为迭代递减单位。不断减小支持度直至达到最小支持度或产生了满足数量要求的规则。
          • lowerBoundMinSupport： 最小支持度下界。
          • metricType： 度量类型，设置对规则进行排序的度量依据。可以是：置信度（类关联规则只能用置信度挖掘），提升度(lift)，平衡度(leverage)，确信度(conviction)。
            • Weka中设置了几个类似置信度(confidence)的度量来衡量规则的关联程度，它们分别是：
              • Lift，提升度：置信度与后件支持度的比率 lift = Pr(L,R) / (Pr(L)Pr(R)) Lift=1时表示L和R独立。这个数越大(>1)，越表明L和B存在于一个购物篮中不是偶然现象,有较强的关联度。
              • Leverage，平衡度：在前件和后件统计独立的假设下，被前件和后件同时涵盖的超出期望值的那部分实例的比例。 leverage = Pr(L,R) - Pr(L)Pr(R) Leverage=0时L和R独立，Leverage越大L和R的关系越密切。
              • Conviction，可信度：也用来衡量前件和后件的独立性。 conviction = Pr(L)Pr(!R) / Pr(L,!R) （!R表示R没有发生） 从它和lift的关系（对R取反，代入Lift公式后求倒数）可以看出，这个值越大, L和R越关联。
          • minMtric ：度量的最小值。
          • numRules： 要发现的规则数。
          • outputItemSets： 如果设置为真，会在结果中输出项集。
          • removeAllMissingCols： 移除全部为缺失值的列。
          • significanceLevel ：重要程度。重要性测试（仅用于置信度）。
          • upperBoundMinSupport： 最小支持度上界。 从这个值开始迭代减小最小支持度。
          • verbose： 如果设置为真，则算法会以冗余模式运行。
      • PredictiveApriori--将置信度和支持度合并为预测精度而成为单一度测量法，找出经过预测精度排序的关联规则。
      • Terius--根据确认度来寻找规则，它与Apriori一样寻找其结论中含有多重条件的规则，但不同的是这些条件相互间是‘或’，而不是‘与’的关系。
    • 这三个算法均不支持数值型数据。
    • 事实上，绝大部分的关联规则算法均不支持数值型。所以必须将数据进行处理，将数据按区段进行划分，进行离散化分箱处理。
    • 关联规则挖掘算法运行信息
• 选择属性Select Attributes
  • 属性选择是搜索数据集中全部属性的所有可能组合，找出预测效果最好的那一组属性。
  • 为实现这一目标，必须设定属性评估器（evaluator）和搜索策略。
    • 评估器决定了怎样给一组属性安排一个表示它们好坏的值。
    • 搜索策略决定了要怎样进行搜索。
  • 选项
    • Attribute Selection Mode 一栏有两个选项。
      • Use full training set. 使用训练数据的全体决定一组属性的好坏。
      • Cross-validation. 一组属性的好坏通过一个交叉验证过程来决定。Fold 和 Seed 分别给出了交叉验证的折数和打乱数据时的随机种子。
    • 和 Classify 部分一样，有一个下拉框来指定class属性。
  • 执行选择
    • 点击Start按钮开始执行属性选择过程。它完成后，结果会输出到结果区域中，同时结果列表中会增加一个条目。
    • 在结果列表上右击，会给出若干选项。其中前面三个（View in main window，View in separate window 和 Save result buffe）和分类面板中是一样的。
    • 还可以可视化精简过的数据集（Visualize reduced data）
    • 能可视化变换过的数据集（Visualize transformed data）
    • 精简过/变换过的数据能够通过 Save reduced data... 或 Save transformed data... 选项来保存。
• 数据可视化Visualize
  • WEKA 的可视化页面可以对当前的关系作二维散点图式的可视化浏览。
  • 散点图矩阵
    • 选择了 Visualize 面板后，会为所有的属性给出一个散点图矩阵，它们会根据所选的class 属性来着色。
    • 在这里可以改变每个二维散点图的大小，改变各点的大小，以及随机地抖动（jitter）数据（使得被隐藏的点显示出来）。
    • 也可以改变用来着色的属性，可以只选择一组属性的子集放在散点图矩阵中，还可以取出数据的一个子样本。
    • 注意这些改变只有在点击了Update 了按钮之后才会生效。
  • 选择单独的二维散点图
    • 在散点图矩阵的一个元素上点击后，会弹出一个单独的窗口对所选的散点图进行可视化。
    • 数据点散布在窗口的主要区域里。上方是两个下拉框选择用来选择打点的坐标轴。左边是用作 x 轴的属性；右边是用作 y 轴的属性。
    • 在 x 轴选择器旁边是一个下拉框用来选择着色的方案。它可以根据所选的属性给点着色。
    • 在打点区域的下方，有图例来说明每种颜色代表的是什么值。如果这些值是离散的，可以通过点击它们所弹出的新窗口来修改颜色。
    • 打点区域的右边有一些水平横条。每一条代表着一个属性，其中的点代表了属性值的分布。这些点随机的在竖直方向散开，使得点的密集程度能被看出来。
    • 在这些横条上点击可以改变主图所用的坐标轴。左键点击改变 x 轴的属性；右键点击改变 y 轴的。横条旁边的“X”和“Y”代表了当前的轴用的那个属性（“B”则说明 x 轴和 y 轴都是它）。
    • 属性横条的上方是一个标着 Jitter 的游标。它能随机地使得散点图中各点的位置发生偏移，也就是抖动。把它拖动到右边可以增加抖动的幅度，这对识别点的密集程度很有用。
    • 如果不使用这样的抖动，几万个点放在一起和单独的一个点看起来会没有区别。
    • 在y轴选择按钮的下方是一个下拉按钮，它决定选取数据点的方法。
    • 可以通过以下四种方式选取数据点：
      • Select Instance. 点击各数据点会打开一个窗口列出它的属性值，如果点击处的点超过一个，则更多组的属性值也会列出来。
      • Rectangle. 通过拖动创建一个矩形，选取其中的点。
      • Polygon. 创建一个形式自由的多边形并选取其中的点。左键点击添加多边形的顶点，右键点击完成顶点设置。起始点和最终点会自动连接起来因此多边形总是闭合的。
      • Polyline. 可以创建一条折线把它两边的点区分开。左键添加折线顶点，右键结束设置。折线总是打开的（与闭合的多边形相反）。
      • 使用 Rectangle，Polygon 或 Polyline 选取了散点图的一个区域后，该区域会变成灰色。
      • 这时点击 Submit按钮会移除落在灰色区域之外的所有实例。
      • 点击Clear按钮会清除所选区域而不对图形产生任何影响。 如果所有的点都被从图中移除，则 Submit 按钮会变成 Reset 按钮。这个按钮能使前面所做的移除都被取消，图形回到所有点都在的初始状态。
      • 最后，点击Save按钮可把当前能看到的实例保存到一个新的 ARFF 文件中。
• 知识流界面KnowledgeFlow
  • KnowledgeFlow 为Weka 提供了一个图形化的“知识流”形式的界面。
  • 用户可以从一个工具栏中选择组件，把它们放置在面板上并按一定的顺序连接起来，这样组成一个“知识流”（KnowledgeFlow）来处理和分析数据。
  • 例如 :“数据源” -> “筛选” -> “分类” -> “评估”
  • Weka 分类器（classifier）、筛选器（Filter）、聚类器（clusterers）、载入器（loader）、保存器（saver），以及一些其他的功能可以在KnowledgeFlow 中使用。
  • 可以保存“知识流”布局，并重新加载。
  • KnowledgeFlow 的可用组件
    • 在KnowledgeFlow 窗口顶部有八个标签：
      • DataSources--数据载入器
      • DataSinks--数据保存器
      • Filters--筛选器
      • Classifiers--分类器
      • Clusterers--聚类器
      • Associations—关联器
      • Evaluation—评估器
        • TrainingSetMaker--使一个数据集成为训练集
        • TestSetMaker--使一个数据集成为测试集
        • CrossValidationFoldMaker--把任意数据集，训练集或测试集分割成若干折以供交叉验证使用
        • TrainTestSplitMaker--把任意数据集，训练集或测试集分割成一个训练集和一个测试集
        • ClassAssigner --把某一列作为任意数据集，训练集或测试集的class 属性
        • ClassValuePicker--选择某个类别作为“positive”的类。这在为ROC形式的曲线生成数据时会有用
        • ClassifierPerformanceEvaluator --评估批处理模式下训练过或测试过的分类器的表现
        • IncrementalClassi¯erEvaluator--评估增量模式下训练过的分类器的表现
        • ClustererPerformanceEvaluator--评估批处理模式下训练过或测试过的聚类器的表现
        • PredictionAppender--往测试集中添加分类器的预测值。对于离散的分类问题，可以添加预测的类标志或者概率分布
      • Visualization—可视化
        • DataVisualizer--该组件可弹出一个面板，使得可以在一个单独的较大的散点图中对数据进行可视化
        • ScatterPlotMatrix--该组件可弹出一个面板，其中有一个由一些小的散点图构成的矩阵（点击各小散点图会弹出一个大的散点图）
        • AttributeSummarizer --该组件可弹出一个面板，其中有一个直方图构成的矩阵，每个直方图对应输入数据里的一个属性
        • ModelPerformanceChart --该组件能弹出一个面板来对阈值曲线（例如ROC 曲线）进行可视化
        • TextViewer--该组件用来显示文本数据，可用来显示数据集以及衡量分类表现的统计量等
        • GraphViewer --该组件能弹出一个面板来对基于树的模型进行可视化
        • StripChart --该组件能弹出一个面板，其中显示滚动的数据散点图（用来即时观察增量分类器的表现）