行政機関は口頭でした行為は行政指導と言う認識で、行政指導であれば法律は関係なく相手は任意で応じているだけなので問題ない事になってる。
行政指導は応じなくても罰則はないし応じなかった事について不利益な扱いもしてはならない事になっている。

これを書面でしようとすると行政指導であれば少なくとも行政指導である事を記述する事は必須で、
対応する事は任意で拒否も出来ることを記述しなければならないのでほぼ対応は期待できない。
また、税務調査として行う事であるならば質問検査権の権限において行う事を記述しなければならず、
その記述の中に質問検査権外の行為を記述すれば（帳簿等法定文書以外の書面を見せろだとか、
家の中を見せろとか）違法であり、それが書面として相手の手のうちに残る事になり後々問題になるから書面に出来ない。

基本的に質問検査権は帳簿等法定文書を観覧し“それについて質問する”だけの権利なので相当制限されている。

元々不正を見つけたりするための権限ではない。
でもなんとか不正を見つけたいから、口頭で行政指導として行為を行い、“それを知らない”相手に“任意で”応じさせると言う手法をとる（家の中を見せろ等最たる例）。

こちらからの質問やして欲しい事は、相当の期限を設定して書面で返答する事、そうしなかった場合こちらとしてはどう判断するかを内容証明郵便で送る。
そうすると対応しなかった場合、審査請求や裁判の段階でこちらに有利な証拠が出来る。

役所にはある程度のテンプレはあるがそれから外れる対応を書面にするのは相当ハードルが高い。
なので書面攻撃は非常に有効。