ファイルが暗号化や圧縮されている場合

単に UPX で圧縮されるだけで文字列抽出や検索が影響を受けますが、メモリ上のデータやスワップされたデータに対して文字列抽出を行ってみるのも面白そうですね。
いずれにせよ、既知ファイルでないものは抽出が簡単ですから、ファイルの中身が可読不可能であったとしても不審ファイルとしては検出されることになりますね。