これのどちらを使えばいいのかわからなかった。

outputFilePaths から手に入る URL では、問題なく再生された。

ちなみに、playlistFilePaths のファイルの中には、outputFilePaths のファイル名が書かれている。

対処するためには、以下のように、nuxt-link 代わりの component を作るのがよいのではないでしょうか。$ npm i serverless-apigw-binary

serverless.ts や serverless.yml に以下の項目を追加する事で、lambdaに渡すときに＜TUBE（チューブ）＞ ジップアップ ブルゾンエンコードされ、lambda上でアクセスするときには自動でデコードされる。
custom: { apigwBinary: { types: [ 'multipart/form-data', ] }, } // ...

  plugins: [    'serverless-apigw-binary',    // ...  ],