I can’t read Japanese, let alone write.
「私は日本語を、書くことは言うまでもなく、読めない」
このように let alone —– は「～はもちろん、まして～なんて」
のように解釈しますね？
では
なぜなのでしょう？
考えたこともない？
それは。。。
Leave me alone.（一人にしておいて、私にかまわないで）
の別の言い方に
Let me alone. という表現があります
つまり let alone —– は「ほっとけ」「相手にするな」です
そこから
「話にならない」→「～は言うまでもなく」
のような解釈になります
*****************************