無料重複行削除ツール - テキストの重複行をオンラインで削除

A はい、ただし注意点があります。複数の列があるCSVを貼り付けると、各行を1つのまとまりとして扱います。つまり、全列のデータが完全に一致する行だけが削除されます。単一列のCSVなら問題なく使えます。複数列の場合は、先に該当する列だけを抽出してください。コツ：スプレッドシートでその列だけをコピーしてから貼り付けると簡単です。

A はい、ページが完全に読み込まれた後なら、インターネットを切っても動作します。重複行の削除ロジックはすべてブラウザ内のJavaScriptで動作し、初回訪問時にキャッシュされます。私自身、機内モードで50,000行のファイルをテストしました。オフライン中にページをリロードしないでください。キャッシュが消えます。

A 多くの場合、目に見えない違いが原因です。末尾のスペース、タブ、改行コードの違い（CRLFとLF）があると、見た目は同じでもツールには別の行と認識されます。「空白を削除」オプションをオンにして前後のスペースを取り除いてください。MacとWindowsのファイルを比較するなら、先に行末を統一しましょう。実際、見逃しの約30%は目に見えないタブ1文字が原因でした。

A 変更したい場合のみ変わります。デフォルトでは元の順序を保持し、重複行をスキップするだけです。ただし「アルファベット順に並べ替え」オプションを有効にすると並び替えが発生します。時系列が重要な顧客リストなど、順序の維持が必要な場合はそのチェックを外したままにしてください。貼り付けて重複を除去し、エクスポートするだけで順序は完全に維持されます。

A 厳密な制限はありませんが、ブラウザのメモリが限界を決めます。標準的なノートパソコンで20万行を処理できました。スマートフォンでは5万行を超えると動作が重くなる可能性があります。フリーズしたらデータを小さく分割して、各ブロックを個別に処理してください。

A 設定次第です。初期状態では「Error」と「error」は別物として扱われます。比較は大文字小文字を区別するからです。「大文字小文字を無視」オプションをオンにすると、両方が1つのエントリに統合されます。複数のソースからリストを統合するとき、誰かがCaps Lockを多用していた場合には救世主です。まずは小さなサンプルでテストするのがおすすめ。都道府県コードの「JP」と「jp」を誤って統合したくないでしょうからね。

A プレビューを確認しない場合だけです。ツールは結果をコピーする前に、削除される行を正確に表示します。典型的な落とし穴は「Apple」と「apple 」のように見た目が違う行でも、「大文字小文字を無視」と「空白をトリム」の両方がオンだと1つに統合される点です。通常は望ましい挙動ですが、そうでないケースもあります。不安なら最初に小さなサンプルで試してください。10,000行のファイルでもプレビューは1秒未満で読み込まれるので、スキップする理由はありません。

A Excelの標準機能は列単位で動くので、ログ出力やJSON配列、プレーンテキストのリストには向いていません。Excelは行をセルに分解しようとして、データ構造を壊してしまうことがよくあります。当ツールは各行を単一の単位として扱い、それ以上のことはしません。5,000行貼り付けてボタンを押せば、1秒もかからず完了します。区切り文字の設定も数式も不要。テキストエディタで日々作業する開発者やデータ担当者のために作られています。

A デフォルト設定のままであれば、元のデータ構造や並び順は完全に保持されます。たとえば「東京」「大阪」「東京」「福岡」というリストを入力した場合、出力は「東京」「大阪」「福岡」となり、最初の登場順が守られます。並び替えチェックボックスをオフにしておけば、データの位置が勝手に変わる心配はありません。

A 入力されたテキストが外部のサーバーに送信されることは一切ありません。すべての処理はローカルのJavaScriptを使用してブラウザ内で実行されます。内部IPアドレスや資格情報を含むログファイルも、プライバシーのリスクなしに貼り付け可能です。ネットワーク監視ツールを使用すると、クリーンアップ中に外部へのリクエストがゼロであることが確認できます。