文本去重Text Dedupe
一键去除重复行、单词或字段，支持按行 / 逗号 / 空格 / 分号四种分隔粒度，清洗名单、合并关键词、整理日志更快。数据全程不上传。
工具介绍
3 段详细说明文本去重是一键清理重复内容的文本处理工具，支持按行、按逗号、按空格、按分号四种分隔粒度去重。你可以直接把名单、关键词、日志、爬虫结果粘贴进来，一键得到只保留唯一值的结果。
所有计算都在浏览器内存中完成，文本不上传任何服务器。基于原生 Set 单遍去重，零依赖、零打包，10 万行以内几乎瞬时（< 100ms），并严格保持首次出现顺序。
内置三个实用开关：忽略大小写、去除首尾空白、跳过空行，应对 "Apple" 与 "apple"、" 苹果 " 与 "苹果" 这类隐性重复。支持 ⌘+↵ 快捷键执行、复制一键带走。
基础知识 · 去重原理
Set 哈希 · O(n) 单遍文本去重的本质是等价类合并：给定一个「比较规则」，把所有互相等价的条目只保留一份。理解以下 6 个核心概念，就能预判任何去重结果：
Set哈希去重Set 哈希集合实现，每条内容查询是否见过只需 O(1)，整体 O(n) 单遍完成。对比双重循环两两比较的 O(n²)，10 万行数据从分钟级降到毫秒级。stable order稳定顺序Set 保证插入顺序，去重时只保留每条内容的首次出现位置。输入 "A B A C" 输出 "A B C"，不会打乱原始排列。case大小写敏感性Apple 与 apple 是两条不同内容（逐字符比较）。开启「忽略大小写」后按 toLowerCase() 归一化比较，视为重复并保留首次出现的原始写法。trim空白差异" 苹果" ≠ "苹果"。「去首尾空白」按 trim() 清理前后空白后再比较，输出也使用清理后的干净值。separator分隔粒度\n）、逗号（, / ，）、空格（连续空白）、分号（; / ；）。同一份文本按行去重 0 重复，按空格切分可能找出大量重复单词。exact match精确匹配 · 无模糊seen = new Set() —— 已见比较键集合，has() 判重、add() 登记。for item of items —— 算键 → 查过没 → 没见过就收集，一遍完成。O(n) + 空间 O(n)，n 为条目数；1 MB 文本（约 3 万行）通常 < 50ms。使用说明
4 步快速入门使用场景
5 个真实案例活动报名名单、客户名单有重复条目，按行去重一键得到唯一名单，开启去首尾空白清理粘贴残留。
SEO 关键词、标签集合用逗号分隔，按逗号去重后仍以逗号输出，直接可用于投放后台。
爬取的 URL 列表、日志 ID 大量重复，按行去重快速提取唯一值，配合跳过空行清理空记录。
两份数据合并后去重，再配合文本排序工具，快速找出两份名单的差异与交集。
依赖列表、导入语句、环境变量名去重，开启忽略大小写统一处理大小写混写的标识符。
常见问题
10 个问答文本去重是什么？有什么用？
把重复的行、单词或字段去掉只留一份。常用于清洗名单、合并关键词、提取唯一 URL、整理日志等场景，省去在 Excel 里手动"删除重复项"的麻烦。
我的文本会上传到服务器吗？
不会。所有去重计算在浏览器内存中完成，输入内容不上传任何服务器。可断网使用、关闭网络后再打开仍能正常使用。
支持多大的文本？
建议 ≤ 10 MB。原生 Set 去重在 10 万行以内几乎瞬时（< 100ms），纯字符串操作无解析开销，比 JSON 解析更快。
"忽略大小写"是什么意思？
开启后 "Apple"、"APPLE"、"apple" 会被视为同一条，只保留首次出现的写法。适合清理大小写混写的英文关键词、邮箱、标识符。
"去首尾空白"和"跳过空行"分别做什么？
去首尾空白：清除每条内容前后的空格、制表符，让 " 苹果 " 与 "苹果" 视为重复；跳过空行：直接丢弃空条目，不进入去重结果。
去重后顺序会变吗？
不会。采用 Set 单遍去重，严格保持首次出现的顺序，先看到的一直排在前面，无需再手动排序。
按逗号去重时支持中文逗号吗？
支持。逗号模式同时按英文逗号 , 和中文逗号 ，切分，分号模式同理兼容 ; 和 ；。空格模式则按任意连续空白（空格 / Tab）切分。
与 Excel 的"删除重复项"有什么区别？
Excel 需要打开文件、导入数据、导出结果；本工具粘贴即用、秒级完成，且支持分隔符与大小写等细粒度控制，适合临时、轻量的文本清洗场景。
移动端能用吗？
支持。移动端输入/输出自动垂直堆叠，操作按钮自适应布局。手机上可粘贴微信 / 飞书里收到的名单，一键去重。
输出结果可以一键复制吗？
可以。点击「复制」按钮即可把去重结果复制到剪贴板，按行模式输出多行文本，其他模式以对应分隔符连接，可直接粘贴回 Excel、文档或代码。
相关工具
文本分类数据来源
隐私优先Set 哈希集合单遍去重，原生字符串方法切分与归一化，无任何第三方依赖、无 WASM、无 polyfill。