AI 研究者は、Zoom オーディオ上のキーストロークの検出精度が 93% であると主張しています

ケビン・パーディ - 2023年8月7日午後6時17分（協定世界時）

キーストロークを記録し、深層学習モデルをトレーニングすることにより、3 人の研究者は、個々のキーの音プロファイルに基づいて、リモートのキーストロークを解釈する際に 90% 以上の精度を達成したと主張しています。

英国の研究者ジョシュア・ハリソン氏、イーサン・トレイニ氏、マルヒャム・メエルネザド氏は論文「キーボードに対する実践的な深層学習ベースの音響サイドチャネル攻撃」（全PDF）の中で、ユビキタスな機械学習、マイク、ビデオ通話の3つが「より大きな脅威をもたらす」と主張している。これまで以上にキーボードに。」 特にラップトップは、コーヒーショップ、図書館、オフィスなどの静かな公共の場所でキーボードの音が記録される可能性が高くなります。 また、ほとんどのラップトップには、モデル間で同様の音響プロファイルを備えた均一な非モジュール式キーボードが搭載されています。

対象者に物理的にアクセスせずに VoIP 通話をキーロギングするこれまでの試みでは、2017 年には Skype に対してトップ 5 の精度が 91.7 パーセント、2018 年には VoIP 通話の精度が 74.3 パーセントを達成しました。キーストロークの解釈の出力を「隠れマルコフ モデル」と組み合わせることで、 HMM) は、より可能性の高い次の文字の結果を推測し、「hrllo」を「hello」に修正することができますが、以前の 1 つのサイドチャネル研究では、精度が 72 パーセントから 95 パーセントに上昇しました。ただし、これはドットマトリックス プリンタに対する攻撃でした。 コーネル大学の研究者らは、自分たちの論文がセルフアテンション層を含むニューラルネットワーク技術における最近の大きな変化を利用して、オーディオサイドチャネル攻撃を伝播させた最初のものであると考えている。

研究者らは、コンセプトをテストするために 2021 MacBook Pro を使用しました。このノートパソコンは「過去 2 年間のモデルと将来のモデルと同じスイッチ設計を備えている」もので、モデルをトレーニングするために 36 個のキーを 25 回ずつタイプしました。各キーに関連付けられた波形を表示します。 最初のテストでは、17 cm 離れた iPhone 13 mini を使用してキーボードの音声を録音しました。 2 番目のテストでは、MacBook の内蔵マイクを使用し、Zoom のノイズ抑制を最低レベルに設定して、Zoom 上でラップトップのキーを録音しました。 どちらのテストでも、93 パーセントを超える精度を達成することができ、電話で録音された音声は 95 ～ 96 パーセントに近づきました。

研究者らは、キーの位置がオーディオプロファイルを決定する上で重要な役割を果たしているようだと指摘した。 彼らは、ほとんどの誤った分類は、わずか 1 つまたは 2 つのキーの距離にある傾向があると書いています。 このため、大規模な言語コーパスとキーストロークのおおよその位置を考慮すると、第 2 の機械強化システムが誤ったキーを修正する可能性が高いと思われます。

この種の攻撃を軽減するにはどうすればよいでしょうか? この論文では、いくつかの防御策を提案しています。

私個人としては、これはさまざまなスイッチ タイプを備えたメカニカル キーボードのコレクションを維持したいという私の衝動の正当性を証明するものであると受け止めていますが、研究者はその戦略について特に発言しませんでした。

コンピューターの機密データに対するサウンドベースのサイドチャネル攻撃は研究で時々見られますが、侵害が明らかにされることはほとんどありません。 科学者は、コンピューターの音を使用して PGP キーを読み取り、機械学習とウェブカメラのマイクを使用してリモート画面を「見る」ことができました。 ただし、サイドチャネル攻撃自体は本当の脅威です。 米国が欧州の同盟国をスパイした2013年の「ドロップマイヤー」スキャンダルには、有線、無線周波数、音声などを通じた何らかのサイドチャネル攻撃が関与した可能性が高い。