小さい頃からお風呂に入れていて慣れさせてるつもりだったのに、…

慣れるかどうかは猫の性格次第です。
何度やっても一切慣れる気配がないのであれば、逆に何故嫌がるのかネコの立場で考えてあげましょう。
基本的に人間以外の動物は大きな音に恐怖心を感じます。
ドライヤーを嫌がっているのではなく、音を爆発音のように感じて怖がっているのかもしれません。
タオルで乾かせる範囲に収めてあげる等、恐怖心を感じないように変えてあげるのも一つの手です。