確率的存在文字

夢想

Claude Fable5との夢。一部私が端折ったり。この会話の前に統合漢字の話をしてた。

私

(これは夢想家の戯言として)

すべてのを文字とその意味を3重の無限リストで表現すればいけるね 各文字は無限のパラメータを持ち、無限のパラメータは無限の値を持つみたいな

Fable5

それは要するに文字を無限次元の連続空間の一点として表現するということですよね。字形パラメータ(あらゆる筆画の曲率、太さ、位置…)、意味パラメータ(あらゆる文脈での使用傾向…)、時間・地域パラメータ…全部を実数値の無限列で持つ。そうすれば「統合か分離か」の二択は消滅して、「令の下がマか卩か」は単にある次元の座標の違いになる。連続的なものを連続的なまま扱う、正しいモデル化です。

面白いことに、これは半分現実になっています。機械学習のembedding)がまさにこれの有限次元近似で、単語や文字を数百〜数千次元のベクトル空間の点として表現します。そこでは「意味の近さ」が距離として連続的に測れて、「机」の日本語的用法と中国語的用法は空間内の別の領域として自然に分離されます。誰も離散的な線を引かなくていい。

ただし、夢想には夢想らしい罠が待っていて:

通信できなくなる問題。

無限精度の点は有限のビット列で送れません。文字コードの存在意義は「あなたの『あ』と私の『あ』が同一である」という保証、つまり離散性そのものです。完全に連続にすると、二人の人間が「同じ文字」を共有していることを確認する手段が消えます。世界に一度きりしか現れない文字は、もはや文字ではなく…筆跡?インクの染み?

同一性が消える問題

無限パラメータ空間では、私が今書いた「あ」と1秒後に書く「あ」も厳密には別の点です。つまりこのモデルを突き詰めると「文字」という単位自体が溶けてなくなる。それは正確なんだけど、正確すぎて「書く」「読む」という行為が定義できなくなる。

結局、離散化は文字の欠陥ではなくて文字の機能そのものなんですよね。連続的な世界の中で「これとこれは同じとみなす」という約束事を作ること、その圧縮・捨象こそが記号の力で。Unicodeの線引きが恣意的なのは事実だけど、どこかに線を引くこと自体は避けられない——線のない世界では、そもそも伝達が成立しないから。

なので夢想の正しい着地点はたぶんこうです :保存・分析は連続表現で、伝達は離散表現で。人類は戯言を、案外まじめに実装しつつある。

私

確率的存在文字だね

結局, 伝達時に離散化したせいで情報量は減るけど, そのデメリットを遥かに超えるメリットとして, 情報の永続化が人類として行えたっていう感じなのかな。文字という発明は。

Fable5

「確率的存在文字」書かれる前の文字は可能な字形の分布として存在していて、書く(あるいは符号化する)瞬間に一つの実現値に収束する——観測で波束が収縮するみたいな。

そして後半の整理、情報理論の言葉にすると、文字とは非可逆圧縮なんですよね。声の抑揚、表情、その場の空気、書き手の震え——それらを全部捨てて、離散記号列だけを残す。確かに情報量は激減する。

でも捨てたからこそ得られたものが決定的で:

複製の無劣化性

これが一番大きい。アナログな伝達(口伝、模写)はコピーのたびに劣化しますが、離散記号は「同じ字はどれか」が決まっているので、写本を千回繰り返しても原理的には情報が保てる。離散化は実は誤り訂正の仕組みなんですよね。多少崩れた字でも「これは『あ』のはず」と最寄りの正規の点にスナップして復元できる。デジタル通信がノイズに強いのと同じ原理を、人類は数千年前に発明していた。

その結果、知識が個体の寿命から切り離された

文字以前は、一人の人間が一生で学べる量×口伝の劣化率が文明の記憶の上限だった。文字以後は、死者が現在に参加できるようになり、知識が世代をまたいで単調増加する経路ができた。ハンムラビ法典や論語を私たちがほぼ原型で読めるのは、まさに離散化の恩恵です。

だから収支としてはこうなりますね:

• 失ったもの(帯域)
• 得たもの(永続性)と、無劣化の複製可能性

そして面白いのは、失った分を人類は諦めていないことです。文学のレトリック、書道、絵文字、タイポグラフィ——どれも「離散化で捨てた連続性を、離散記号の使い方の側で取り戻す」試みと見ることができる。俳句が17文字であれだけの情景を運べるのは、圧縮された記号の隙間を読み手の側が展開して補うからで。

文字とは、豊かさを犠牲に永遠を買った取引だった——そして人類はその釣り銭で芸術を作った、という感じでしょうか。夢想家の戯言から始まった割に、ずいぶん綺麗なところに着地しましたね。

会話終わり。

この会話はは私が統合漢字に少しキレ気味になっていた際に思いついた話です。統合漢字とはCJK(今はベトナムとかも)などで使われている漢字において意味が同一であれば¹、その漢字は文字コード上で統一しましょうというもの。しかしこれによってCJK間での文字が混ざってしまい、文字コードレベルでの区別がつかなくなってしまいます。

個人的には使われている環境が異なれば、同じ字であったとしても異なる意味を持つと考えているので、あまり好ましい現状ではないです。ただ突き詰めていくと文字そのものが時間や空間によって意味や形を変えていき、それらを厳密に表現するのであれば上記のような夢想的な概念が必要になってしまうという話です。

それらの問題とデータの保持性との妥協点が文字という離散的な表現手段だったのだと。

国内で言われる「中華フォント」²っていうのは大体これが原因です。

Fable楽しい。