收集处理数据框架思路总结

收集处理数据框架思路总结，一张图带你完全了解相关内容，通过思维导图帮你提高效率，赶紧来试一试吧~

收集处理数据框架思路总结

• 收集数据
  • 由他人提供
    • 正确性检查
    • 上下文环境检查
  • 寻找数据源
    • 搜索引擎
      • Google
      • http://wolframalpha.com
    • 直接数据源
      • 求助于该领域的学者
        • 个人网站
        • 论文/报告
        • 邮件
    • 大学资源
      • DASL
        • http://lib.stat.cmu.edu/DASL/
        • 数据及故事图书馆
        • 有关数据文件以及讲述基础统计方法用法的在线图书馆
        • 卡内基梅隆大学
      • Berkeley Story Lab
        • http://sunsite3.berkeley.edu/wikis/datalab
        • 伯克利数据实验室
      • UCLA Statistics Data Sets
        • http://www.stat.ucla.edu/data
        • 加州大学洛杉矶分校统计数据库
    • 综合数据库应用
      • Freebase
        • http://www.freebase.com
        • 关于人物、地点和事件的数据的社区
      • Infochimps
        • http://www.infochimps.org
        • 数据市场
      • Numbrary
        • http://numbrary.com
        • 为网上的数据编目（主要为政府数据）
      • AggData
        • http://aggdata.com
        • 付费，多关注零售业
      • Amazon
        • http://aws.amazon.com/publicdatasets
        • 科研方面
      • wikipedia
        • http://wikipedia.org
    • 专题性数据
      • 地理
        • TIGER
          • http://www.census.gov/www/tiger
          • 美国人口统计局
          • 道路、铁路、河流及邮政区域
        • OpenStreetMap
          • http://www.openstreetmap.org
        • Geocommons
          • http://www.geocommons.com
        • Flickr Shapefiles
          • http://www.flickr.com/services/api
          • Flickr用户上传照片获得的地理数据
      • 体育
        • NBA
          • http://www.basketball-reference.com
        • 美职棒
          • http://baseball-databank.org
        • NFL
          • http://www.databasefootball.com
      • 全球
        • 全球卫生事实数据库
          • http://www.globalhealthfacts.org
        • UNdata
          • http://data.un.org
          • 众多全球数据的聚合
        • WHO
          • http://www.who.int/research/en
        • 经合组织统计
          • http://stats.oecd.org
        • 世界银行
          • http://data.worldbank.org
      • 政府与政治
        • 美国人口统计局
          • http://www.cencus.gov
        • Data.gov
          • http://data.gov
          • 为政府机构提供的数据进行编目
        • Data.gov.uk
          • http://data.gov.uk
          • 英国的Data.gov
        • DataSF
          • http://datasf.org
          • 旧金山数据
        • NYC DataMine
          • http://nyc.gov/data
          • 纽约数据
        • Follow the Money
          • http://www.followthemoney.org
          • 监督、调查美国政府开支
        • OpenSecrets
          • http://www.opensecrets.org
          • 竞选花销
  • 自动搜集数据
    • 代码外的工具
      • Needlebase
      • Able2Extract PDF
    • 实例：自动搜集一个网站
      • 天气
        • Weather Underground
        • http://wunderground.com
        • 有中国哟！
      • 编程
        • Python
        • BeautifulSoup
      • 代码
    • 案例归纳
      • 步骤
        • 找出规律
        • 循环
        • 存储数据
• 设置数据的格式
  • 数据格式
    • 带分隔符的文本
    • JSON
    • XML
  • 格式化工具
    • Google Refine
    • Mr. Data Converter
    • Mr. People
      • 主要用于分析姓名
    • 电子表格软件
  • 用代码来格式化
    • 实例：数据格式的切换
      • csv模块
    • 在循环中加入新的逻辑