社会调查第十一章

社会调查第十一章网络调查法思维导图，网络调查，又称为网上调查、在线调查，是指通过互联网及其调查系统把传统的调查、分析方法在线化、智能化，简言之就是借助互联网进行的问卷调查。其构成包括三个部分：用户、调查系统、参与人群。

第十一章 网络调查法

• 网络调查法概述
  • 概念
    • 网络调查，又称为网上调查、在线调查，是指通过互联网及其调查系统把传统的调查、分析方法在线化、智能化，简言之就是借助互联网进行的问卷调查。其构成包括三个部分：用户、调查系统、参与人群
  • 特点
    • 及时性和广泛性
    • 交互性和共享性
    • 超时空性和客观性
    • 低费用和便捷性
  • 目前
    • 网络调查在市场调查中应用广泛，社情民意调查也是网络调查的主要应用，专业的社会调查团队也逐渐使用网络问卷代替纸质问卷开展社会调查。
• 网络调查的方法与步骤
  • 网络调查的方法
    • 目前常用的网络调查方法有网上问卷调查法、网上讨论法、网上测验法和网上观察法等。
      • 网上问卷调查法
        • 网上问卷调查法就是调查者在网上发布问卷，调查对象在网上填答、提交问卷，调查者对调查信息进行分析研究后得出结论，并在网上公布调查结果的方法。
          • 根据采用技术的不同，网上问卷调查有两种具体做法
            • 网站法，即将问卷放置在网络站点或手机app上，由受访者自愿填写。目前，ＱＱ、微信、微博等社交媒体的分享和推送，大大提高了问卷分发的范围和效率。
            • 电子邮件法，即通过电子邮件发送问卷，受访者填答问卷后，再通过电子邮件向指定邮箱提交问卷。
      • 网上讨论法
        • 网上讨论法，就是调查者在网上提出问题，组织参与者在网上讨论，通过网上讨论收集信息和数据，经分析、研究后，在网上发布讨论结果的方法。网上讨论法是集体访谈法在网络上的应用。目前，网上讨论法一般通过BBS、News-group、ICQ、IRC、Netmeeting等交互平台实施。
      • 网上测验法
        • 网上测验法，就是调查者通过网络发出含有测验内容的问卷或信件，请受测者回答问卷或信件，然后，调查者对测验信息进行分析、研究，并做出测验结论的方法。测验内容非常广泛，可以是产品试销，可以是网络购物，可以是各种社会热点问题，也可以是受测者的主观素质、态度等方面的问题。
      • 网上观察法
        • 网上观察法，是调查者进入网络聊天室观察参与者的网络聊天情况，并按事先设计的观察项目和要求做记录，然后进行定量分析和对比研究，最后得出观察结论的方法。
          • 网上直接观察法
            • 网上参与观察
              • 是指观察者作为被观察者的一员参与聊天活动，在聊天过程中实施观察
            • 网上非参与观察
              • 是指观察者不参与被观察者的聊天活动，只作为旁观者进行观察和记录。
          • 网上间接观察法
            • 就是利用网络技术对网站访问情况或网民在网上的行为进行监测和观察
  • 网络调查（主要指问卷式网络调查）的步骤
    • 网络调查（主要指问卷式网络调查）的步骤
      • 设计调查问卷
        • 调查问卷的设计，对网络调查的成败往往具有决定性作用，必须高度重视。一般来说，网络调查问卷大体有三种方式
          • 简单方式
          • 组合方式
          • 完整方式
        • 调查结果呈现方式
          • 简单方式多采用页面直接呈现的方式公布，各答项人数和百分比一目了然。其优点是，回答者可即时看到调查结果，有利于吸引更多网民参与调查
          • 组合方式、完整方式的调查结果，要经过整理资料、统计分析等程序才能形成，因而一般要经过一段时间才能以调查报告、研究论文、统计公报等形式呈现。
    • 设计数据库和网页
      • 设计数据库，就是设计计算机存储、管理数据的软件系统。常用的计算机网络数据库系统软件有 MSAccess、MSSQL、系列、Sybase、Oracal、My SQL等。设计数据库的主要工作是问卷编码，问题结构及其答案设计，数据规则设计，数据视图、过程、触发器设计，数据接口设计，等等。
    • 设计网页，是指设计问卷在网页中以何种页面形式显示出来的计算机程序。
      • 客户端界面设计
      • 后台处理程序设计
    • 测试和试调查
      • 测试，是指对网页设计的客户端界面程序和后台处理程序进行检测、试验及修改、完善的过程，其目的是测试设计的功能是否完善，是否具有实用性和可操作性。
      • 试调查，是指对经过测试后的客户端界面程序和后台处理程序进行试验性调查。
    • 问卷的网络发布和开始调查
      • 问卷的网络发布，是指将设计的调查问卷程序系统放置到网络服务器上，以便网民参与调查。它一般包括三个步骤
        • 程序安装
        • 程序测试
        • 告知网民参与调查
        • 总
          • 在发布公告后，应在规定时间开始网络调查。调查前，要测试数据清空操作，并做好紧急情况处理预案。在从调查开始到调查截止的时期内，要安排专人对网络运行状况进行监测，以保证网络畅通，及时处理紧急情况，同时做好网络服务器的定时备份工作。
    • 数据收集和统计分析
      • 调查结束后，经后台处理程序录入、编码的调查数据，已被存储在数据库服务器上。然后根据研究需要对调查数据做统计分析
        • 一般数据库系统都有基本的统计分析功能，只要进行相应操作，就可完成简单的统计分析工作。
        • 如果要进行较复杂的统计分析，就必须使用数据库系统的数据导出功能将所需数据导出，然后运用专业统计分析软件（如ＳＰＳＳ等）进行统计分析。
        • 注
          • 应注意的问题是：及时对调查的原始数据库进行完整备份，数据提取应多用数据视图和不改变数据原貌的查询操作，不得改动调查的原始数据。
    • 撰写并提交调查报告
      • 撰写调查报告：在分析调查数据的基础上对调查结果所做的系统论述或说明。
      • 提交调查报告：根据调查的目标和任务，实事求是地把调查结果报告出来，反馈给网络调查的参与者、委托者或广大网民。如果仅反馈给网络调查的参与者，那么只需给网络调查参与者密码就行了。
  • 网络调查应该注意的问题
    • 问卷设计网络调查的问卷设计与一般调查的问卷设计基本相同，但应注意以下几个问题
      • 尽可能简短
      • 简明、易懂
      • 明示起止时间
      • 尽可能立即显示调查结果
    • 程序控制
      • 这是网络问卷调查不同于一般问卷调查所特有的问题，应着重解决以下几个问题：
        • 重复填答问题。应通过程序设计控制一址（IP）多票、重复填答现象，避免大量灌水票，以增强调查的真实性。
        • 程序控制问题。要设计必要的程序，对相关问题的转接，以及填答不完整的问卷、回答中有逻辑错误的问卷等，实施系统的检验和控制。
        • 多网站调查问题。为了扩大调查的覆盖面，同一调查问卷可以在多个网站同时进行调查。
    • 问卷发布
      • 这是网络问卷调查所特有的问题。
        • 利用自己的站点发布调查问卷
        • 借助别人的站点发布调查问卷
          • 慎重选择发布网站。网络调查问卷发布在不同网站，参与填答的人数往往有很大差异。
          • 科学选择发布版面。网络调查问卷发布在不同版面，参与填答的人数也会有较大差异。
    • 通过电子邮件发送问卷
• 大数据：概念、特点与类型
  • 大数据的概念
    • 大数据（big data或mega data），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理并整理成为人类所能解读的形式的信息。
    • 与传统数据不同，大数据不是通过抽样调查所获取的样本数据，而是人类活动的实时记录，并大都可以通过互联网存储、获取、交换和分析，可以克服抽样调查带来的许多随机和非随机误差。
    • 要确保抽样调查的随机性，需要建立总体的抽样框，然而在现实社会中绝大多数情况下很难建立抽样框，而大数据对于特定的群体所收集的数据一般就是该群体的总体数据。
  • 大数据的特点
    • 数据体量巨大（volume）
      • 传统数据处理的是以MB为基本单位的数据量，大数据则常常以GB，甚至是TB、PB为基本处理单位。
    • 数据种类繁多（variety）
      • 传统数据种类单一，且以结构化的数据为主，如问卷调查数据；而像人口普查这样的数据虽然数据量大，但可用变量少。大数据种类数以千计，这些数据又包括结构化、半结构化以及非结构化的数据。
    • 流动速度快（velocity）
      • 流动速度数据的获取、存储以及挖掘有效信息的速度，现在处理的数据以ＰＢ级代替了TＢ级，考虑到 “超大规模数据”和 “海量数据”也有规模大的特点，强调数据是快速动态变化的，形成流式数据是大数据的重要特征，数据流动的速度快到难以用传统的系统去处理。
    • 价值密度低（value）
      • 在数据量呈指数增长的同时，隐藏在海量数据中的有用信息却没有以相应比例增长，反而使我们获取有用信息的难度加大此外，对于大数据的分析将更加复杂、更追求速度、更注重实效。
  • 大数据的类型
    • 按数据来源分类
      • 交易数据
        • 大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅包括POS或电子商务购物数据，还包括行为交易数据。
    • 人为数据
      • 非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流中。
    • 移动数据
      • 移动数据库是能够支持移动式计算环境的数据库。
    • 机器和传感器数据
      • 机器和传感器数据包括功能设备创建或生成的数据，如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。
    • 按数据形式分类
      • 结构化数据
        • 通常是指用关系数据库方式记录的数据，数据按表和字段进行存储，字段之间相互独立。
      • 半结构化数据
        • 是指以自描述的文本方式记录的数据，由于自描述数据无须满足关系数据库中那种非常严格的结构和关系，在使用过程中非常方便。
      • 非结构化数据
        • 通常指语音、图片、视频等格式的数据。
• 大数据现象
  • 大数据现象产生的背景
    • 大数据并非新生事物。早在1981年,著名未来学家AlvinToffler就在《第三次浪潮》中将大数据赞颂为“第三次浪潮”(Toffler,1981)。
    • 但由于技术上的匮乏,大数据没有被重用。而随着物联网、云计算等技术的广泛应用,以及社交网络、网络社区等网络环境的建立,大数据开始真正展现他的市场价值。
    • 如今,无论是政府、学术界、企业界还是个人,对大数据时代的到来以及它将要掀起的一场革命产生了认识。
  • 大数据现象综述
    • 大数据产生的基础
      • 日益发展的科学技术使得一些原来不可能获取的数据变为可能。世界从来不缺少数据,只是人类缺乏获取数据的途径。
      • 数据收集技术的飞速发展,使安装在人们的手机、汽车、智能电表、平板电脑等物理设备中的网络传感器能够自动地感知、记录并传输超大规模的数据,而无需依靠人工的收集与输入。
      • 信息的数字化与网络的迅速发展改变了政府、企业的运作方式。在计算机还没有普及的上个世纪,企业依靠纸张记录交易数据。网络改变了世界的运作方式,并为政府企业的决策和管理提供了新的平台。
      • 电脑与网络生活改变了人们的生活方式。网络服务从沟通、工作、出行、娱乐等多个方面给人类的生活方式带来巨大的变化,它又以数字化的方式记录下人们生活中的一点一滴。
      • 数据处理的硬件技术的进步。一方面体积更小,存储量更大,价格更加便宜的数据存储硬件给了世界承载大数据的空间。另一方面处理速度更快,效率更高的处理器及内存等硬件的发展使得处理大数据变为可能
    • 数据的定义
      • 尽管现在存在着各种各样的定义方式,但是“对大数据定义”这一问题依旧没有一个定论
    • 大数据的价值
      • 获得大量有价值的数据。
      • 为商业分析和决策提供重要信息。
      • 带来公共服务和政府管理的变革。
  • 大数据分析案例
    • 健康保险公司VitalityHealth
      • 作为DiscoveryHoldings集团旗下的一家子公司
        • VitalityHealth希望成为第一家为人们的健康生活习惯提供奖励的全球保险服务供应商。
    • 智慧城市的构建
      • “我的南京”是一款备受南京市民青睐的APP。它可以给市民提供多种服务
        • 乘坐公交车出门可以通过一款APP进行实时公交查询,了解目标公交车的位置及上车站点的距离,决定出门时间
        • 自驾出门可以查询实时路况,决定走哪条路线以避开拥堵,同时提前了解目的地附近的空车位
        • 缴纳各种生活费用以及进行社保、公积金查询、预约挂号等。•所有这些与生活息息相关的事情,都可以通过这款APP来操作完成。
    • 大数据赋能,移动警务提升服务效率
      • 随着大数据、云计算、人脸识别等技术的广泛应用,以及新一代移动通信技术的进一步发展、公安网后台强大的应用支撑，移动化办公成为改善警务管理阶段的新方向,移动警务在公安信息网的交通指挥、刑侦破案、安全保卫、社区管理等工作中的应用日益广泛。
        • 警务智搜。海量数据最简单、最没有技术门槛的应用方式就是搜索。
        • 一键布控。根据警务智搜的分析研判结果,可以在警务通上实现一键布控。
        • 多维一体身份核验
    • 医保大数据的大价值
      • 通过建设医保大数据分析挖掘应用平台,可有效融合医保结算数据、诊疗数据、医疗救助数据、药品交易数据、商保数据等相关数据,利用大数据技术,进一步推进“三医联动”,真正发挥“大医保”的“大价值”。
        • 基于大数据的医保控费
        • 基于大数据的医疗定价
    • 腾讯位置服务大数据助力救灾黄金72小时
      • 2017年8月8日21时19分,四川阿坝州九寨沟县发生7.0级地震。随后,8月9日7时27分新疆博尔塔拉州精河县也发生了6.6级地震。
      • 地震发生后,中国地震应急搜救中心立刻通过腾讯公司启动了互联网+地震LBS大数据应用平台,争分夺秒地展开了救援行动,应战黄金救援72小时。
      • 通过互联网+LBS大数据,可以知晓现场通讯是否中断、灾区人员撤离情况和机场人员进出情况,帮助相关部门迅速做出决策,协助做好抗震救灾工作。大数据还在中国地震应急搜救中心在四川九寨沟和新疆某地震灾区的救援工作中。
    • 打破教育边界,“智慧校园”重新定义教育模式
      • 以物联网技术为基石,以一体化教学云为主体
      • 人工智能将是教育信息化的最高境界
      • 打破教育边界,实现个性化教学
      • 校园不再是“一心只读圣贤书”的信息孤岛,而是成为一个个信息节点,经由互联网技术的渗透,彼此互通,与外界互联
    • “中山指数”为中国城市网民性格画像
      • 2018年4月26日,《2018中国城市网民性格画像“中山指数”》在广州发布。
      • 该指数从互联网海量数据出发,研究中国城市网民性格特点,为构建更加清朗网络空间和推动社会和谐善治提供了基础支持。
      • 利用大数据对城市网民的网络参与和行为模式进行深入剖析,为互联网发展与社会治理提供有效参考。
    • “滴滴”AI智能全方位监控司机
      • 基于海量交通、驾驶数据,以及利用大数据预测,语音、图像识别等技术帮助,提供安全保障。
      • 以人脸检测和识别技术为例,滴滴已广泛将其用于司机真伪检测等场景。
      • 司机每天首次出车前、夜间每次出车前需通过人脸验真,接单间隙滴滴还会随机抽查人脸识别,对司机检测通过后才能继续接单。
• 大数据：获取与分析
  • 大数据获取
    • 在大数据时代，数据处理流程一般采用多处理阶段模型，具体包括
      • 原始数据（数据选择) → 任务数据（数据处理）→ 净化数据（数据转换） → 事务数据（挖掘提取）→ 模式（分析评估）→ 知识
    • 数据交易
      • 2015年4月15日，全国首家大数据交易所——贵阳大数据交易所正式挂牌运营并完成首批大数据交易。
      • 在数据交易的模式方面，API接口是目前数据交易的一个常见手段，接口商（即交易平台）通过各种方法（购买、合作、抓取等）拿到上游数据生产单位的数据资源进行融合、清洗（增值），然后形成数据接口提供给下游需求用户。另一种是数据包交易，数据主要以数据包的形态进行交易，就是对数据进行清洗、脱敏，最后像实体商品一样出售。
    • 数据采集
      • 目前常用的数据抓取软件包括Python、R语言（这两个软件均是开源、免费的编程语言）。缺乏数据抓取技术的人，可以使用八爪鱼、集搜客、火车采集器等网页数据抓取工具，这些数据抓取工具通过简单的操作就可以采集网络文本数据。
    • 数据开放
      • 数据开放意味着数据可以被任何人自由免费地访问、获取、利用和分享。
      • 2013年，在北爱尔兰召开的G8会议签署了《开放数据宪章》，该宪章将开放数据定义为具备必要的技术和法律特性，从而能被任何人在任何时间和任何地点进行自由利用、再利用和分发的电子数据。它要求发布的数据不是一般的数据，而是高价值的数据，不仅要有加工过的数据，还要有源数据。开放数据需要技术框架支持，包括开放数据管理、开放数据技术和开放数据门户
  • 大数据分析
    • 大数据分析是根据相关业务知识，应用相应技术，如统计学、数据挖掘的方法，分析出数据中的信息。大数据分析有五个基本方面。
      • 可视化分析
        • 对于数据分析专家和普通用户，数据可视化都是对数据分析工具最基本的要求。可视化可以直观地展示数据，让数据自己说话，让观众听到结果。
      • 数据挖掘
        • 大数据分析的理论核心就是数据挖掘算法。各种数据挖掘算法基于不同的数据类型和格式，才能更加科学地呈现出数据本身具备的特点，挖掘出公认的价值。通常的算法包括集群、分割、孤立点分析等。
      • 语义引擎
        • 语义引擎是利用自然语言处理技术，让计算机具备文字阅读能力，去分析提炼海量数据的工具系统。它能帮助人们从数据中智能地提取信息。
      • 数据质量和数据管理
        • 数据质量和数据管理是指依赖于标准化的流程和有效的工具对数据进行处理。大数据分析离不开数据质量和数据管理。无论是在学术研究领域还是在商业应用领域，只有高质量的数据和有效的数据管理，才能保证分析结果真实和有价值。
  • 数据挖掘和社会计算
    • 基于内容信息的数据挖掘和基于结构信息的社会计算，是目前网络大数据挖掘和社会计算领域的研究热点。
      • 基于内容信息的数据挖掘
        • 网络搜索技术与实体关联分析等主要研究内容。
        • 研究的热点从传统的海量数据抓取、索引结构优化和用户查询分析等转移到了排序学习算法，专注于提高检索质量。
        • 此外，社会媒体需要关注数据的短文本特征，对简短关键词表达进行深入理解和分析，掌握用户真实的查询意图。
      • 基于结构信息的社会计算
        • 社会网络是以社会媒体中的用户为节点、用户间的关系为连边而构建的网络
        • 社会网络具有关系的异质性、结构的多尺度性以及网络的动态演化性三方面特性。
        • 在社会网络中，个体因血缘关系或兴趣爱好等因素而形成了连接紧密的圈子，这种内部关系紧密而对外关系相对稀疏的结构被称为社区。社区结构的存在对于网络的高效搜索、网络演化、信息扩散等具有重要意义。
• 第三次工业革命
  • 智能化
    • 智能化包括生产、制造流程的智能化以及产品本身的智能化;
  • 定制化
    • 为了生存和发展,企业需要创造满足个人需要的定制化产品并为产品提供相应的增值服务。
  • 分散化
    • “分散生产、就地销售”,每个人都可以成为生产者,以更廉价、快捷的方式生产出独特产品。
  • 合作化
    • 取代销售者和购买者间对立关系的,是被供应者和使用者间的合作关系。