在线删除重复行
粘贴您的文本，并灵活选项立即删除所有重复行
去重功能
适用于任何文本清理任务的灵活选项
选择大小写敏感或大小写不敏感的比较，以匹配您的确切去重要求。
无论列表大小，重复项都会立即被删除。查看删除的行数和剩余的唯一行数。
所有处理都在您的浏览器中本地进行。您的文本从未发送到任何服务器或存储在任何服务器上。
关于重复行删除器
我们的免费重复行删除器非常适合清理电子邮件列表、关键词集、日志文件和任何需要消除重复条目的文本。通过大小写敏感和空白修剪选项，它几乎可以处理所有去重场景。
常见问题
重复行删除器最常见的用途是什么？
电子邮件列表清理是最常见的用途之一。营销数据库通常会从多个来源积累重复的电子邮件地址，在发送之前进行去重是至关重要的。
SEO关键词列表通常包含从多个研究工具收集的重复短语。在上传到活动工具之前删除重复项可以节省时间并防止出价冲突。
日志文件分析、数据迁移清理和去重抓取的网页数据是其他日常用例，在这些情况下，该工具可以节省数小时的手动工作。
我什么时候应该使用大小写敏感模式？
当您的条目的大小写对唯一性很重要时，请使用大小写敏感模式。例如，编程变量中的 MyClass 和 myclass 是不同的标识符。
Password lists, filenames on case-sensitive file systems like Linux, and configuration values are examples where case sensitivity matters.
For most everyday text cleaning tasks like email lists or keyword lists, case insensitive mode is appropriate because "INFO@EXAMPLE.COM" and "info@example.com" should be treated as the same address.
空白修剪选项如何工作？
当启用空白修剪时，该工具会在比较之前从每一行中删除任何前导空格、制表符或尾随空格。
当您的源数据具有不一致的缩进时，这非常有用。如果不进行修剪，" apple" 和 "apple" 将被视为不同的行，即使它们表示相同的值。
请注意，修剪只影响比较。输出保留修剪后的行版本，而不是带有额外空白的原始版本。
该工具是否保留行顺序？
是的。该工具保留行的原始顺序，并保留每个唯一行的第一次出现，删除后续的重复项。
这是大多数用例中最直观的行为。如果您需要不同的去重策略，例如保留最后一次出现，您需要先反转文本，去重，然后再反转一次。
顺序保留使输出可预测，并符合用户期望。
我可以处理非常大的文件吗？
可以。该工具在您的浏览器中完全处理文本，没有任何文件大小限制。现代浏览器可以高效处理数百万个字符。
对于像服务器日志这样包含数百万行的极大文件，浏览器性能可能会根据您的设备有所不同。在这种情况下，将文件拆分成块可能会有所帮助。
对于常规用例，例如包含数万个条目的电子邮件列表和关键词集，性能非常出色。
空行会发生什么？
默认情况下，空行被视为任何其他行。如果存在多个空行，则删除所有重复的空行，保留第一个。
启用删除空行选项可以完全去除所有空白行，这在您希望列表紧凑且条目之间没有间隙时非常有用。
将删除空行与修剪空白结合使用可以处理看似空白但包含不可见空白字符的行。
我如何计算删除了多少个重复项？
工具下方的状态消息准确显示删除了多少个重复行，以及输出中剩余多少个唯一行。
这让您可以立即检查数据的质量。高数量的重复项可能表明您的数据收集或合并过程存在问题。
每次点击“删除重复项”时，计数会重新计算，因此您可以尝试不同的选项组合。
使用此工具时我的数据安全吗？
是的。一切都在您的浏览器中进行。处理过程中没有数据传输到我们的服务器。该工具仅使用客户端 JavaScript。
这意味着您可以安全地去重敏感数据，例如客户名单、内部文件和专有数据集，而无需担心隐私问题。
我们不会为此工具设置 cookies，也不会收集任何超出标准匿名分析的使用数据。