CDA

CDA的思维导图，数据分析是用适当的分析方法和挖掘方法对收集来的数据进行研究总结，提取有用的信息，形成结论并支持决策的过程。

CDA

• 数据分析的基本概念
  • 1、数据分析：用适当的分析方法和挖掘方法对收集来的数据进行研究总结，提取有用的信息，形成结论并支持决策的过程。
  • 2、大数据（Big Data）：无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大量、高速、多样、低价值密度、真实性
  • 3、数据分析目的：利用数据理性思考和决策，解决业务需求
  • 4、数据分析意义：1、避免主观谬误 2、提高判断效率，易推广易迭代 3、有简明结论，方法/流程通用化（今后可快捷解决同类型问题）
  • 数据分析的分类
    • 商业决策 的数据分析
      • 数据分析
        • 以数据为分析对象，以探索数据内的有用信息为主要途径，以解决业务需求为最终目标。
        • 包含业务理解、数据采集、数据清洗、数据探索、数据可视化、数据建模、模型结果可视化、分析结果的业务应用等步骤在内的一整套分析流程。
      • 数据挖掘
        • 数据挖掘（ Data Mining) : 是一个跨学科的计算机科学分支， 它是用 人工智能 、机器学习 、统计学和数据库的交叉方法在相对较大型的数据 集中发现模式的计算过程。
        • 数据分析的工作内容涵盖数据挖掘的工作内容。
    • 企业中可分
      • 宏观分析
        • 站在企业经营和运营的视角，为决策层和管理层提供数据支持；
      • 微观分析
        • 站在客户的视角，进行客户洞察，挖掘客户需求和匹配产品与服务，落地自动触发策略；
    • 数据分析的分类
  • 数据分析的基本流程
    • 业务描述性分析流程
      • （1）业务理解：要求分析人员能够全面、准确地理解业务问题及业务需求，并结合业务需求制订完整的分析计划。 （2）数据获取：从多渠道全面地获取分析数据的步骤。我们将直接获取到的、未经加工的数据称为“原始数据（Raw Data）”。 （3）数据处理：是将原始数据进行清洗、加工，从而得到高质量的可用来进行分析的有效数据的过程。 （4）数据分析：是对处理过后的有效数据进行业务描述性分析的过程。 （5）结果展现：是将分析结果以业务分析报告或可视化分析报表（仪表盘、商业智能报表等）的形式呈现给业务决策者的过程。在结果展现环节要求内容准确、客观、全面、直观、易懂。
    • 数据挖掘流程
      • CRISP-DM方法论将数据挖掘项目的生命周期分为6个阶段，它们分别是业务理解、数据理解、数据准备、建模、模型评估、模型发布
      • 1）业务理解 该初始阶段需要数据分析师从商业角度理解项目的目标和要求，通过理论分析转化为数据挖掘可操作的问题，并据此制订实现目标的初步计划。 2）数据理解 数据理解阶段开始于原始数据的收集，然后是熟悉数据、标明数据质量问题、初步探索数据、发掘有趣的子集，以形成可供挖掘的数据关系的假设。 3）数据准备 在此阶段，从原始的、未加工的数据集中构造出数据挖掘所需的数据，获取所需的信息。通常需要对数据进行转换和清洗。例如，对数据的缺失值进行填补、对重复样本进行删除。数据准备工作可能被实施多次，而且没有任何规定的顺序。 4）建模 在此阶段，主要是选择和应用各种适合的建模技术，同时对它们的参数进行调整，以达到最优值。通常对同一个数据挖掘的问题类型，可以适用多种建模技术。一些技术对数据格式有特殊的要求，因此常常需要返回数据准备阶段重新处理数据。 5）模型评估 在此阶段，需要根据项目目标来评估模型效果。例如，评估模型对客户的分类是否足够准确、是否有助于提升销量 6）模型发布 模型完成后，由模型使用者根据当时背景和目标完成情况，决定如何在现场使用模型。例如，将模型内嵌在网页中以实现个性化新闻推送。
  • EDIT数字化模型
    • 数字化工作
      • 1. 业务运行探索（ E）：探索关注企业各项业务的运行状态 、各项指标是否合规以及各项业务的具体数据情况等等。
      • 2. 问题根原因诊断（ D）:当业务指标偏离正常值时，采用定性和定量相结合的方式，在中 、微观层面定位和分析问 题。
      • 3. 业务策略指导（ I）:在确定获客群体后 ，我们就需要考虑下如何制定业务策略指导。根据知识库 、策略库 、流 程模版可以便捷地制定优化策略。
      • 4. 智能算法工具（T）:算法架构是EDIT数字化模型的发动机，服务于价值经营 、客群运营 、全面质量管理 、全面 风险管理等各个方面。
• 职业道德行为准则
  • 职业道德操守
    • 将数据产权 、用户利益和机构利益置于个人利益之上，保护数据资产的安全性， 遵循数据的真实性 、可靠性， 禁止技术欺诈 、数据造假 、非法交易， 损害用户 和机构利益 。
    • 保持和加强自身职业道德操守以及同行的操守 。不参与任何违法行为， 包括但 不限于： 偷窃 、欺骗 、腐败 、挪用或贿赂； 不使用或滥用他人的产权， 包括数 据资产 、知识产权； 不参与诽谤和侮辱； 不宽恕或帮助他人参与违法行为 。
  • 行为准则
    • 如果说数据分析师的职业道德操守 告诉了我们什么不应该做， 什么 应该做 。
    • 专业 、审慎 、高效地完 成各项数据分析的业务流程：
      • 1、 全面了解业务背景 、痛点 、需求，做出分析建议， 与团队充分 沟通，确定合理的业务指标， 获取符合要求的源数据 。 2、 保持工具与算法的前沿性 、适用性 、高效性 。根据业务需要， 选择合理的工具 、平台 、系统及算法 。 3、 不断迭代并优化业务指标与数据模型 。 4、 撰写专业可视化报告， 逻辑清晰展示项目成果， 并做出具有商 业价值的建议 。 5、尊重契约， 按时按质完整交付工作成果， 并对相关数据 、代码 、 结果进行保密 6、履行后期义务与责任 。完整交付结果后， 对客户须进行后期解答 、 咨询 、维护等服务； 对机构业务须进行后期跟进 、优化 、指导建 议等工作 。
• 大数据立法、 安全、隐私
  • 隐私与安全
    • • 隐私是一种个人的权利， 即我的个人信息不被滥用， 不被他人知 道的权力 。 • 安全是一种机制， 即为了确保隐私权得到保护而设立的一种机制 。 • 首先明确个人权利， 然后设置机制去保护权利 。
  • 外国的相关法律
    • 欧盟的《通用数据保护 条例》 简称GDPR
      • 其核心目标是将个人数据保护深度嵌入组织运营， 真正将抽象的保护理 论转化为实实在在的行为实践 。
    • 企业在收集用户的个人 信息之前， 必须向用户说明
      • 用户享有的权利有： 一 、数据访问权 二 、被遗忘权 三 、限制处理权 四 、数据携带权
    • 我国的相关法律
      • 保护公民个人数据信息安全已写入刑法
      • 《中华人民共和国网络安全法》
        • • 网络运营者收集 、使用个人信息必须符合合法 、正当 、必要原则; • 网络运营商收集 、使用公民个人信息的目的明确原则和知情同意原则; • 公民个人信息的删除权和更正权制度 。
      • 《中华人民共和国数据安全法》 迎来初次审议 。
  • 答题原则： 问题存在，逐步推进解决。