コンピューターは、データを保存するハードディスクなどのストレージ（外部記憶装置）、計算するためにデータを一時的に記録するメモリー（主記憶装置）、計算を行うCPU（中央演算処理装置）から構成されています。この基本的な仕組みはスパコンも同じです。
では通常のコンピューターと何が違うのでしょうか。スパコンの高速演算を実現する技術要素はさまざまですが、CPUやメモリーなどの装置自体が高性能であること、そして装置の接続の仕方を工夫していることの大きく2つの要素により高速化を実現しています。
一般にCPUは、汎用性の高い「スカラー型」と高性能計算に特化した「ベクトル型」に大別できます。スカラー型のCPUは、データを一つずつメモリーから取り出して計算します。比較的さまざまな種類の計算に対応できるため、パソコンのほか携帯電話など各種の電子機器に使われています。ただし、CPUとメモリーの間でデータをひんぱんにやり取りするため、データの呼び出しにかかる待ち時間が発生し、動作が遅くなる欠点があります。
これに対しベクトル型のCPUは、一度に複数のデータをメモリーから取り出してまとめて計算できます。CPUとメモリーのデータのやり取りが少なくなるため、より高速な計算が可能です。初期のスパコンでは、このベクトル型のCPUが主流でした。02年～04年のスパコン性能ランキング（後述）で世界一になった日本の「地球シミュレータ」もベクトル型を採用しています。
ただし近年では、激しい開発競争の中でスカラー型の計算速度が急速に向上し低価格化も進んだため、スカラー型を用いたスパコンも増えており、スカラー型とベクトル型のどちらのスパコンの性能が高いと単純には言えなくなっています。
装置の接続の仕方もスパコン高速化の重要な要素です。具体的には「並列コンピューティング」という工夫がなされています。多くのパソコンではCPUは1個しか搭載されていませんが、スパコンではCPUを数千個から数万個並べ、それらを同時に動かして計算処理して高速化を実現しています。このように一つの作業を複数のCPUが同時に行うのが並列コンピューティングです。日本の「京（けい）」の場合、CPUを8万個以上もつないでいます。
もちろん、CPUの数を増やすだけで高速になるわけではありません。一部のCPUの計算が遅れたり、計算結果をやり取りする際に時間がかかってしまえば、全体の計算速度も遅くなってしまいます。並列コンピューティングの性能を最大限に発揮するためには、各CPUに計算処理を適切に割り振ったり、それぞれの計算結果を瞬時に集めるなど、すべてのCPUを効率よく動作させる高度なプログラミングやネットワーク技術などが不可欠です。
