体験を伝える―『ガジェット通信』の考え方

面白いものを探しにいこう 本物を体験し体感しよう 会いたい人に会いに行こう 見たことのないものを見に行こう そしてそれをやわらかくみんなに伝えよう [→ガジェ通についてもっと詳しく] [→ガジェット通信フロアについて]

試験時間が90分から60分以内に!採用シーンで導入しやすいCODE.SCOREから新サービスが登場

ITエンジニアの「実務スキル」を可視化するアセスメントサービス「CODE.SCORE」。2015年4月にリリースされて以降、先進的な企業に導入され、エンジニアの育成、採用シーンで効果を発揮してきた。だが、唯一欠点があるとすると、その試験時間だ。

スキルを正確に分析するために、用意している問題数は1試験で約60問。これにすべて解答するには約90分かかる。「ある程度の精度は保ちつつ、もう少し解答にかかる時間を短くしてほしい」。そんな企業の声に応えた新サービスが1月中にも登場する。

f:id:pinq4387:20160125095553j:plain

精度を落とさず、試験問題数を減らすテスト理論

「極力試験精度を落とさず、試験問題数を減らし、試験時間を短縮するにはどのような方法があるか」。まず考えたのが「適応型テストでした」とリクルートキャリアの畑中哲生さんは振り返る。適応型テストとは、その人の解答状況に合わせて問題をカスタマイズするテスト。例えばスキルの高いエンジニアには難しい問題を5~10問出し、正答率が高ければハイクラスのエンジニアと判断される。

f:id:pinq4387:20160125101906j:plain▲株式会社リクルートキャリア CODE.SCOREチーム 畑中哲生さん

この適応型テストを実現する上で標準的に使われているのが、項目反応理論というテスト理論である。

「しかしこの理論を適用するには事前に用意する問題数が多く、時間とコストがかかります。しかも試験の種類もどんどん増やしていくことを予定していますし、既存試験についても最新技術に対応するため、半年ごとにアップデートしていかなければなりません。これらのことを考慮すると、項目反応理論を使うことは現実的ではありませんでした」と畑中さんは語る。

そこで相談したのが、国立研究開発法人産業技術総合研究所(産総研)の兼村厚範さんだ。

f:id:pinq4387:20160125101928j:plain▲国立研究開発法人産業技術総合研究所 人間情報研究部門情報数理研究グループ 兼 人工知能研究センター機械学習研究チーム 兼村厚範さん

「少ない問題数でも、機械学習手法を用いることで時間の削減できるのではないか」と兼村さんからの提案があり、2015年6月から共同研究がはじまった。

機械学習のテクノロジーを応用し、30%削減しても精度を確保

問題を削減しても精度が下がらないようするために採用したのが、機械学習手法の1つである「非負行列分解」という方法である。

「機械学習は見えているモノから直接見えないモノを推定・可視化する技術です。そして、その推定を元に、まだ見えていないモノ、つまり今後を予測できます。そんな技術のなかで、とくに非負行列分解という手法が適しているという発想が最初にご相談を受けたときに浮かんで、その後、実際にうまく動作するという検証を一緒に進めてくることができました」と兼村さんは説明する。

f:id:pinq4387:20160125101942j:plain

「機械学習ではどの問題とどの問題が相関関係にあるかをデータから自動的に発見し、利用していきます。自動的に発見した相関構造を「成分」と言います。例えばある成分を持っている最初の問題に正解したとします。同じ成分を持つ次の問題、さらに次の問題にも正解したとします。そうすると、その成分を持つ問題には正解するはずだという予測ができるので、次はまだ予測に充分な情報が集まっていない別の成分を持つ問題を出していく。これを自動的に行う仕組みをつくるために、「非負行列分解」という機械学習のテクノロジーを応用しました。こうすることで、出題数を減らしても精度を確保できるんです」(兼村さん)

1 2次のページ
carrariaの記事一覧をみる
  • 誤字を発見した方はこちらからご連絡ください。
  • ガジェット通信編集部への情報提供はこちらから
  • 記事内の筆者見解は明示のない限りガジェット通信を代表するものではありません。