ガジェット通信

見たことのないものを見に行こう

試験時間が90分から60分以内に!採用シーンで導入しやすいCODE.SCOREから新サービスが登場

DATE:
  • ガジェット通信を≫

ITエンジニアの「実務スキル」を可視化するアセスメントサービス「CODE.SCORE」。2015年4月にリリースされて以降、先進的な企業に導入され、エンジニアの育成、採用シーンで効果を発揮してきた。だが、唯一欠点があるとすると、その試験時間だ。

スキルを正確に分析するために、用意している問題数は1試験で約60問。これにすべて解答するには約90分かかる。「ある程度の精度は保ちつつ、もう少し解答にかかる時間を短くしてほしい」。そんな企業の声に応えた新サービスが1月中にも登場する。


精度を落とさず、試験問題数を減らすテスト理論

「極力試験精度を落とさず、試験問題数を減らし、試験時間を短縮するにはどのような方法があるか」。まず考えたのが「適応型テストでした」とリクルートキャリアの畑中哲生さんは振り返る。適応型テストとは、その人の解答状況に合わせて問題をカスタマイズするテスト。例えばスキルの高いエンジニアには難しい問題を5~10問出し、正答率が高ければハイクラスのエンジニアと判断される。

▲株式会社リクルートキャリア CODE.SCOREチーム 畑中哲生さん

この適応型テストを実現する上で標準的に使われているのが、項目反応理論というテスト理論である。

「しかしこの理論を適用するには事前に用意する問題数が多く、時間とコストがかかります。しかも試験の種類もどんどん増やしていくことを予定していますし、既存試験についても最新技術に対応するため、半年ごとにアップデートしていかなければなりません。これらのことを考慮すると、項目反応理論を使うことは現実的ではありませんでした」と畑中さんは語る。

そこで相談したのが、国立研究開発法人産業技術総合研究所(産総研)の兼村厚範さんだ。

▲国立研究開発法人産業技術総合研究所 人間情報研究部門情報数理研究グループ 兼 人工知能研究センター機械学習研究チーム 兼村厚範さん

「少ない問題数でも、機械学習手法を用いることで時間の削減できるのではないか」と兼村さんからの提案があり、2015年6月から共同研究がはじまった。

機械学習のテクノロジーを応用し、30%削減しても精度を確保

問題を削減しても精度が下がらないようするために採用したのが、機械学習手法の1つである「非負行列分解」という方法である。

「機械学習は見えているモノから直接見えないモノを推定・可視化する技術です。そして、その推定を元に、まだ見えていないモノ、つまり今後を予測できます。そんな技術のなかで、とくに非負行列分解という手法が適しているという発想が最初にご相談を受けたときに浮かんで、その後、実際にうまく動作するという検証を一緒に進めてくることができました」と兼村さんは説明する。

「機械学習ではどの問題とどの問題が相関関係にあるかをデータから自動的に発見し、利用していきます。自動的に発見した相関構造を「成分」と言います。例えばある成分を持っている最初の問題に正解したとします。同じ成分を持つ次の問題、さらに次の問題にも正解したとします。そうすると、その成分を持つ問題には正解するはずだという予測ができるので、次はまだ予測に充分な情報が集まっていない別の成分を持つ問題を出していく。これを自動的に行う仕組みをつくるために、「非負行列分解」という機械学習のテクノロジーを応用しました。こうすることで、出題数を減らしても精度を確保できるんです」(兼村さん)

10%問題を減らしたとしてもその誤差は1点程度。30%削減しても2~3点の誤差で推定できる。つまり30%削減してもほぼ同程度の精度を保証できるというわけだ。この非負行列分解を応用した適応型テストの新理論は、現在特許出願準備中である。

ただ従来のCODE.SCOREとは異なり、適応型テストでは人によって解答数が変化する。

「最大でも40問までにする予定です。20問は減るので、確実に試験時間も3分の2に以下に短縮できます」と畑中さんは語る。

精度は落ちないとはいえ、あくまでも結果はコンピュータの推定、予測に基づいたもの。人によってはかなりの誤差は出ることがある。例えば「やる気のない人に対する予測は大きく外れることがある」と兼村さんも言う。

従って適応型テストの適用には、「どこまで誤差を許容できるか」という問題が残る。CODE.SCOREが適応型テストの適用分野として推奨しているのが、採用シーンである。

「採用シーンだと、やる気のない人はいないはずなので、ほぼ同程度の精度でスキル分析ができるはずです。仮にいたとしても低い点数にしか予測されません。」と兼村さん。もう少し精度を下げて良いと言うのであれば、「さらに問題数を少なくすることもできる」と畑中さんも言う。

採用シーンで短い時間でスキル測定をしたいと考えているのであれば、ぜひ、今回の新サービスを検討してみてはいかがだろう。

▲CODE.SCOREプロジェクトチーム。左から、畑中さん・兼村さん・橋本さん・大成さん・鹿内さん

カテゴリー : 生活・趣味 タグ :
carrariaの記事一覧をみる ▶
  • 誤字を発見した方はこちらからご連絡ください。
  • ガジェット通信編集部への情報提供はこちらから
  • 記事内の筆者見解は明示のない限りガジェット通信を代表するものではありません。

TOP