ミサイロビッチ社

8/29/2023 9:00:00 AM マイケル・オボイル

イリノイ州CSAのササ・ミサイロビッチ教授は、自然言語処理を専門的なソフトウェア開発に適用し、開発者がソフトウェアが予期せぬまたは望ましくない動作を示す可能性があるケースを正確に特定できるようにしたいと考えています。

マイケル・オボイル著

自然言語処理は、最近のチャットボット技術のブームを支えているコンピューターサイエンスの分野であり、人間の言語をコンピューターで処理し、計算結果を人間が理解できる形で表現できるようにします。 社会のほぼすべての分野でのその潜在的な用途が頻繁に議論されていますが、イリノイ州コンピュータサイエンス教授ササ・ミサイロビッチは、それを専門的なソフトウェア開発に応用したいと考えています。

特に、開発者がソフトウェアが予期せぬ動作や望ましくない動作を示す可能性があるケースを正確に特定できるようにするテスト コードの開発に興味を持っています。 ミサイロビッチ氏は、テキサス大学オースティン校の共同研究者らとともに、開発者からの指示を処理し、すぐに使用できるテストコードを返すことができる自然言語モデルを開発しています。 彼らは自分たちのアプローチを「NLP4Test」と呼んでいます。

「私たちはソフトウェア開発とテストの実践を改善することを目指しています」とミサイロビッチ氏は語った。 「私たちは、自然言語処理が時間のかかる手動のソフトウェア テスト業務を置き換え、開発者が他の作業に集中できるようにする方法を模索しています。」

この賞金 120 万ドルは、国立科学財団のソフトウェアおよびハードウェア財団プログラムを通じて提供され、4 年間にわたって分配されます。 ミサイロビッチは共同主任捜査官である。

ソフトウェア開発者は、コードがどのように誤動作するか、誤った答えを返すかを想像し、実際の開発から時間を奪って、そのような状態を作り出すテスト ケースを作成することによって自分の作業を評価します。 開発者は、コードが意図したとおりに動作するにもかかわらず、テスト ケースが失敗する場合もあります。 これらのいわゆる「不安定な」テストでは、開発者はさらに多くの時間を費やし、有効な作業に疑問を投げかけることになる可能性があります。

研究者らは、人間の言語プロンプトやコメントをテストコードに変換できる自然言語処理の使用を研究しています。 Missailovic は、機械学習ソフトウェアのバグを明らかにし、「脆弱性」を回避するためにテスト コードを変更するテストを生成するためのモデルの開発に興味を持っています。 彼は、来年コーネル大学でコンピューターサイエンスの助教授として着任する予定の元大学院生、サイカット・ダッタとともに始めた研究をさらに発展させていくことになる。

「例えば、不安定さはプログラムコードだけから確実に予測できるものではないため、プログラムの実行中に生成されるデータは自然言語処理を強力に補足することができます」とミサイロビッチ氏は述べた。 「追加の実行データが NPL4Test に組み込まれれば、開発者は『これは私が書いたコードで、失敗したテストはこれだ』といった質問をすることができるでしょう。 失敗の原因はバグですか、それとも不安定ですか? 「この問題のデバッグを開始する最良の方法は何ですか?」

これらの問題を研究することで、研究者らは、機械学習ソフトウェアの信頼性を向上させ、脆弱性を評価する方法をより深く理解するためのテストコードを生成する一連の手法を取得できるようになります。

UTオースティン校のミサイロビッチ氏の共同研究者であるコンピューターサイエンス教授のミロス・グリゴリック氏、言語学の教授ジェシー・リー氏とカイル・マホワルド氏は、これまでに自然言語処理とソフトウェア工学の応用を研究してきた。 彼らは現在、ソフトウェア テストのすべての段階で自然言語処理の最近の開発を取り入れています。

この記事は 2023 年 8 月 29 日に公開されました。