UPDIでの書き込みにUSBシリアルモジュールを使えば
非常に楽に配線が出来ることがわかりました

新AVRの書き込み方式UPDIを試してみた
UPDIについて調べて一番最初に作成したのがコチラ
jtag2updiを書き込んだArduino Nano互換機で書き込むタイプ。
...
ATmega4809も外部オシレータは必要なく高速で動作しますので
「これもうArduino互換機作ったほうがいいんじゃね?」
ってな具合だったので実際作ってみました。
UPDIはUSBシリアルモジュールのRX/TXから生成するので
ATmega側がシリアル通信を行うスケッチを書き込むと
UPDIでの書き換えに失敗するので
ATmega側のシリアルを切断するスイッチを付けてあります。
SSD1306 OLEDを接続してみました
きちんと動作しているようで一安心。