第一の問題は，通常のテレビやコンピュータ・モニターの三原色電子銃では，物理的に可能なすべての色彩を生み出すことは不十分だということを示すことができる点である．産業界ではあまりにお金がかかりすぎると思われているが，実験によれば，目に見えるスペクトルをある程度リアルに再現しようとすれば最低9本の電子銃が必要だということが明らかである［★1］．いわゆるRGB，つまり不連続である赤・緑・青の三原色による三次元マトリクスは，技術者と経営者のあいだの一般的なデジタル上の妥協の産物なのである．

第二の問題は，離散マトリクスは，軌跡を示す二次元の値であれ色価を表わす三次元の値であれ，サンプリングという原理的問題を抱えているという点である．私たちが知っていると考えている自然だけでなく，コンピュータ音楽やコンピュータ・グラフィックスが作り上げるようなハイパーな自然ですら，最終的にデジタルな要素に完全に分解し尽くされることはない．したがって，デジタル化するということは知覚にとって常に歪みを作り出すことでもある．デジタルで録音された音楽がキーキーいってしまう現象，技術用語を使うなら量子化雑音を発生させてしまう現象は，コンピュータ・グラフィックスでは，ジャギーや干渉，偽りの不連続あるいは連続というかたちで現われる．
つまりナイキストやシャノンによるサンプリング効果は，きれいなカーヴや形を，無粋な柱が並んだものに切り刻んでしまうのである．この無数の柱が並んだ様子はコンピュータ・グラフィッカーのあいだではマンハッタン・ブロック幾何学と呼ばれているが，それはアメリカの都市計画担当者が何が何でも直角が大好きだからである．このようにサンプリングは，連続の，したがっていやでも目に飛び込む形というものを，たとえプログラム・コードが作っていなくとも作り出してしまうのである．

第三に，コンピュータ・グラフィックスがデジタルであることによって生ずる問題のなかには，コンピュータ音楽にはまったく無縁のものがある．「時間軸の操作」について私が以前書いた論文［★2］のなかで私は，デジタル・サンプリングがあらゆる音楽上のできごとを三つの（ジュゼッペ・ペアノの自然数論によって有名な）要素に分解してしまうという事実がいかなる可能性を開くのかを示そうと試みた．
その三つの要素とは，まず第一に出来事ないし千分の一秒単位におけるある状態，第二にその前の状態，そして第三にその後の状態のことである．この三つの要素を統合したり区別したり，交換したり入れ替えたりすることで，現在の芸術音楽からポピュラー音楽に至るまですべての領域を計測することができるのである．

原理的に，ということは残念ながら自乗に比例して計算量が増えるということでもあるのだが，このトリックはデジタル音楽という一次元からデジタル画像という二次元へと拡大応用が可能である．ただ，その結果ははなはだしいカオスへと至るのが必定で，まるで知覚というものが再びデイヴィッド・ヒュームやカスパー・ハウザーの純粋感覚にまで退化してしまったかのようになること請け合いである．その理由は根本的なものであり，決して表面的なものではない．あらゆる画像というものは（ここで言う画像とは芸術における意味においてであって，数学的な意味ではない），上下，左右という秩序をもっている．それに対応してピクセルも，それが代数的に二次元のマトリクスとして，そして幾何学的に直交する格子によって構成されているならば，原則的に隣接するピクセルを一つ以上もっている．
したがって，コンピュータ・サイエンスが英雄的に始まった頃，つまり偉大な数学者たちがまずは誰の目にも明らかなことを書き留めるのに一所懸命だった頃，早くもアシュビー隣接やフォン・ノイマン隣接といった概念ができあがっていたのだった．十字型にその上下左右に隣り合った任意の要素によって，あるいはそうした四つの直交する四角形，ないしさらに四つの対角線上の四角形によって取り囲まれているとき，それらの概念が用いられることになる．マンハッタンの街と東京の街の様子の違いはそこから来る，と言うこともできるだろう．

さて，チューリング・マシンやフォン・ノイマン型計算機やマイクロプロセッサーの，つまりは現在のあらゆるコンピュータのハードウェアには，公然たる秘密がある．すなわち，コンピュータ・ハードウェアというものは，世界と言われているものを，自然数の上に，したがってペアノ連続体の上に，コピーしているのだということである．ハードウェアにおけるプログラム・カウンターや作業用記憶域にせよ，はたまたソフトウェアにおける機能やプログラムにせよ，すべてはシーケンシャルに動いている．コンピュータが複数の命令を並列処理するときや，ネットワークを使って分散処理をする際に生ずるあらゆる困難は，コンピュータ・グラフィックスにおいても同じように現われる．というのも，音楽とは違って，画像上のあらゆるドットは事実上無限に多くの隣接ドットをもつことになるからである．
ジョン・フォン・ノイマンは事態を思い切って単純化して図式化したのだったが，それでも八つの隣接ドットが考えられていた．したがって，ヨーロッパの古き良き亀の子文字をチューリング・マシンが解読できるようになるには，私たちはまだかなり待たなくてはならない．画像が画像となるためにはそうした隣接者があって初めて可能なのだが，そのあまりの多さのゆえに，画像の内容にフィルターをかけ，処理し，認識するためのあらゆるアルゴリズムは苦労することになるのである．こうした数の多さが，かえって「いったい何が画像の密度を作り上げるのだろうか」というゴットフリート・ベームの問いに対する答を用意してくれているのかもしれない．既にアシュビーのアルゴリズムが認識したような画像は，例えばフォン・ノイマンのアルゴリズムになってやっと可能となったような画像よりもずっと密度は低いのだ（ここでは触れないが，敢えて言うなら，潜在的に組み込まれた直交性や構築性といったものと無縁な画像というものについてはコンピュータ解析は原理的に不可能かもしれない）．

ハイデガーは知覚にまつわる謎というものを，「私たちが物事の現象の中に，まずは，そして本来的に，さまざまな感覚が押し寄せていることを決して感じ取ろうとしない」［★3］という点に見ていた．言語の世界に住む私たちにとって，見たり聞いたりするものは，常に既に何者かであるものとして現われるのだ．それに対し，コンピュータを用いた画像分析においては，「何かが何かとして」というのは理論的な遙か彼方の目標であって，そこに到達しうるか否かすら未だ判然とはしていない．それゆえ私は，自動画像分析の問題は知覚に関するシンポジウムが開かれるときまで棚上げにしておきたいと考えるが，そのようなシンポジウムが開かれるのは早くても10年先になることだろう．
ここでは私は，むしろ自動的な画像合成についてだけお話したいと思う．問題は，コンピュータがいかにして視覚的知覚をシミュレートするのかではなくて，いかにそれを騙すのか，という点にある．このとてつもない能力こそが，コンピュータというメディアがヨーロッパの歴史にかつて現われたいかなるメディアよりも群を抜いている理由なのである．