表現しているデータに対して正しいデータ型を使用する必要があります。疑わしい理論上のパフォーマンスの向上は、データ変換を処理する必要があるというオーバーヘッドの二次的なものです。
それが質問に基づいていることを言うことは本当に不可能ですが、ほとんどの場合はかなり明白です。それらが明確でないのは、数字のセットで表されるが、数字としては扱わないデータ要素（たとえば、電話番号）がある場合です。
この状況に対処している手がかりは次のとおりです。
- 保存する必要のある先行ゼロ
- 要素に対して算術演算は実行されません。
- 文字列操作が実行されます。 「最後の4文字を取る」
その場合は、「番号」をvarcharとして保存することをお勧めします。