私の推測では、応答はbase64でエンコードされていない（まだバッファ）プレーンバイナリとして出力されているか、最初に解凍する必要がある圧縮（gzip）応答です。
ただし、コードを見ずに問題を特定するのは困難です。
更新：
適切な応答ヘッダーが欠落しているようです。
downloadStream.pipe(res)の前にこれらのヘッダーを設定してみてください ：
res.setHeader('Content-disposition', 'attachment; filename=test.pdf');
res.set('Content-Type', 'application/pdf');