全然スマートじゃないので、もっと良い方法ありそうですが、、一応備忘録で残しておきます。

element.addEventListener('click', function onClick() {
  onClickHandler(onClick, '渡したい引数')
})

function onClickHandler(func, text) {
  console.log(text) // 渡したい引数
  element.removeEventListener('click', func)
}