计算机字符集

这是一篇关于计算机字符集的思维导图，介绍了计算机字符集的相关知识，包括查看文件字符集的方法以及主要字符集的特点和选择建议。

计算机字符集

• view.encoding()
• 主要字符集及其特点
  • 1. ASCII（美国信息交换标准代码）
    • 字符数量：128个字符（7位）
    • 范围：0-127
    • 特点：
      • 包含英文字母、数字、标点符号和控制字符
      • 只支持英语，无法表示其他语言字符
      • 是所有现代字符集的基础
  • 2. ISO-8859系列
    • 字符数量：256个字符（8位）
    • 常见版本：
      • ISO-8859-1（Latin-1）：西欧语言
      • ISO-8859-5：西里尔字母
      • ISO-8859-7：希腊语
    • 特点：
      • 扩展了ASCII，支持更多欧洲语言
      • 每个版本针对特定语言区域
  • 3. GB系列（中国国家标准）
    • GB2312：
      • 包含6763个汉字和682个其他字符
      • 兼容ASCII
    • GBK：
      • GB2312的扩展，包含21886个字符
      • 支持更多汉字和符号
    • GB18030：
      • 最新国家标准，支持所有Unicode字符
      • 变长编码（1、2、4字节）
  • 4. Big5（大五码）
    • 使用地区：台湾、香港、澳门
    • 字符数量：13060个繁体汉字
    • 特点：繁体中文标准
  • 5. Unicode系列
    • 设计目标：包含全世界所有字符
      • Unicode 15.0总汉字数量：97,058个汉字
    • 编码方式：
      • UTF-8：
        • 变长编码（1-4字节）
        • 兼容ASCII
        • 互联网最常用的编码
      • UTF-16：
        • 变长编码（2或4字节）
        • Java、Windows系统内部使用
      • UTF-32：
        • 固定4字节编码
        • 空间效率低，很少使用
  • 字符集选择建议
    • Web开发：推荐使用UTF-8
    • 中文环境：
      • 中国大陆：GBK或UTF-8
      • 港澳台：Big5或UTF-8
    • 跨平台：始终使用UTF-8
    • Java程序：注意平台默认编码，建议明确指定UTF-8
    • 记住，在处理文本文件时，正确识别字符集非常重要，否则可能导致乱码问题。
• 如何查看文件的字符集
  • 在Windows系统中：
    • 方法1：使用记事本
      • 用记事本打开文件
      • 点击"文件" → "另存为"
      • 在对话框底部查看"编码"选项
    • 方法2：使用命令行
      • # 使用file命令（需要安装Git Bash或Cygwin） file -i filename.txt # 使用chcp查看当前控制台编码 chcp
  • 在Linux/Mac系统中：
    • 方法1：使用file命令
      • file -i filename.txt # 输出示例：filename.txt: text/plain; charset=utf-8
    • 方法2：使用enca（需要安装）
      • # 安装enca sudo apt-get install enca # Ubuntu/Debian brew install enca # Mac # 检测文件编码 enca -L zh_CN filename.txt # 检测中文文件
  • 在编程中查看：
    • Java示例：
      • import java.io.*; import java.nio.charset.*; public class CharsetDetector { public static void detectCharset(String filename) { try { // 方法1：使用标准Charset Charset charset = Charset.defaultCharset(); System.out.println("系统默认字符集: " + charset.name()); // 方法2：读取文件并检测 File file = new File(filename); try (FileInputStream fis = new FileInputStream(file)) { byte[] buffer = new byte[(int) file.length()]; fis.read(buffer); // 简单检测UTF-8 BOM if (buffer.length >= 3 && buffer[0] == (byte) 0xEF && buffer[1] == (byte) 0xBB && buffer[2] == (byte) 0xBF) { System.out.println("检测到UTF-8 with BOM"); } } } catch (IOException e) { e.printStackTrace(); } } }
    • Python示例：
      • import chardet def detect_file_encoding(filename): with open(filename, 'rb') as file: raw_data = file.read() result = chardet.detect(raw_data) print(f"检测结果: {result}") return result['encoding'] # 使用示例 encoding = detect_file_encoding('your_file.txt') print(f"文件编码: {encoding}")
  • 常用工具：
    • Notepad++：
      • 打开文件后，查看右下角状态栏显示的编码
      • 可以通过"编码"菜单转换编码
    • VS Code：
      • 右下角状态栏显示文件编码
      • 点击可以更改编码或重新加载
    • Sublime Text：
      • 查看状态栏或通过View → Show Console输入：