問題編
仮想マシン上に組み込みLinuxのクロスコンパイル環境を整えていた頃、カーネルモジュールをビルドするためにカーネルのソースを展開するにあたり、仮想HDDが膨れ上がるのを避けるためにWindowsの共有フォルダを使おうと試みたことがあった。残念なことに、カーネルソースの一部に「同じディレクトリに同じ名前のファイル(ただし大文字・小文字の違いあり)が存在する」という部分があり、共有フォルダ上に正しく展開できなかった。
ファイルシステムやOSにより、ファイル名の大文字・小文字を区別したりしなかったりする。FAT16、FAT32、HFS+は大文字と小文字を区別しない。NTFSは区別するが、Windows自体が互換性保持のために大文字と小文字を区別しないかのように振る舞う。macOSでは、HFS+ではなくHFSXを使えば大文字と小文字を区別するし、APFSではフォーマット時に大文字と小文字を区別するか否かを指定できるのだが、大文字と小文字を区別する環境では一部アプリケーションが正常に動作しない*1。Linuxや*BSDで既定のファイルシステムを使う分には大文字と小文字を区別してくれるはずだ。
大文字と小文字を区別する環境から区別しない環境にファイルを移動する際に、ファイル名の衝突が発覚する。この問題を事前に回避するために、大文字と小文字を同一視した時に同名となるファイルを検出したい。
解答編
簡単だと思っていたが、思わぬところに窪みがあった。
基本的には「全ファイル名をパス込みで列挙→重複行を取り出す」という作業となる。典型的な手段は「sort(1)してuniq(1)のオプション-dで重複行のみを取り出す」だ。この時、sort(1)もuniq(1)も大文字と小文字を区別せずに扱うことが可能ならば、目的を達成できるはずだ。
sort(1)はオプション-fにて大文字と小文字を区別せずにソートする。uniq(1)もオプション-iで大文字と小文字を区別せずに処理する。例えば、カレントディレクトリ以下の全ファイルについて対象のファイルを探したいなら、次のようにすればよい。
find . | sort -f | uniq -d -i
ちょっと残念なことに、このコードには移植性の問題がある。sort(1)のオプション-fはPOSIXに含まれているし、少なくともmacOS・Linux・*BSDにて使用可能だ。一方でuniq(1)のオプション-iはPOSIXには含まれていないし、NetBSDでは使用できない可能性がある(manに書かれていないため)。
sort(1)ないしuniq(1)に大文字と小文字を同一視するオプションが無い環境では、例えば次のような感じで対応すればよいだろう。
find . | tr '[A-Z]' '[a-z]' | sort | uniq -d
ここまでの例ではfind(1)でファイルを列挙していたが、現実には、最初に触れたように圧縮ファイルの展開時に問題が発覚するケースも多い。その場合はfind(1)ではなく、例えばtar(1)のオプション-tで圧縮ファイルの中身を列挙することになる。
つまり、ファイルの列挙元はケースバイケースだ。そこで「列挙されたファイル名をチェックする」部分をスクリプト化することにした。
#!/bin/sh # -*- coding: utf-8-unix -*- # vim:fileencoding=utf-8:ff=unix exec sort -f "$@" | uniq -d -i
#!/bin/sh # -*- coding: utf-8-unix -*- # vim:fileencoding=utf-8:ff=unix exec cat "$@" | tr '[A-Z]' '[a-z]' | sort | uniq -d
終わりに
最終的には、こんな感じになった。
https://github.com/eel3/eel3-scripts/blob/develop/bin/cidup
元々、異なるプラットフォーム間でファイルを移動する際に問題があるか否かを調べることが目的のツールだ。この場合、予め問題を最小化するために「ファイル名にはASCIIコードの範囲の英数記号文字だけを用いる」という運用をしていることが多いので、sort(1)の高速化を狙って「LANG=C」としても大抵は支障はないと思う。
あと「ファイル一覧」がテキストファイル化されているならば:
exec sort -f "$@" | tr '[A-Z]' '[a-z]' | uniq -d
――のように先頭にsort(1)を持ってくることで「sort(1)がマルチスレッドで動作する」ことによる高速化を期待できるかもしれない。しかし今回の問題に関しては、実際の運用ではfind(1)などの出力をパイプ経由でsort(1)に流し込むことが圧倒的に多く、その場合にsort(1)はマルチスレッドでは動作しない。なので、初手がcat(1)な実装でも実質的に何も問題はないように思う。
*1:HFS+/HFSXの時代には、HFSXにはAdobe製品がインストールできないことで知られていた。