SantaのAIがしてくれることとできないこと!信頼できる精度か

AD/PR

今回ですが,「SantaのAI機能」について深堀りしてみることにしました。

確かに周りを見渡せば,今や多種多様な生成AIを利用できますが,SantaのAIは,例えばTOEFLの採点基準を学習していて,他のものよりも正確にスコアを予想してくれますし,機械には難しいとされる添削まで行ってくれます。

追加料金なしかつ質問回数は無限で,機械相手なだけあって大変に使いやすそうです。

一方で,その精度が実用に耐え得るものなのかについては疑問が残ります。

以下では,実際に使ってみた上での感想を素直に述べていくことにしましょう!

生成AIは人間を凌駕している

添削やコーチングなどはこれまでに人がするものとされていて,機械化に成功していたのは採点作業くらいでした(日本では,1969年に立教大学がマークシート方式を初めて導入しました)。

最近だと,添削も手書きからデジタル入力に変わるなどの大規模な変化がみられましたが,それでも担当しているのは今も昔も人間のスタッフです。

AIが人の仕事を奪うという話があっても,ホワイトカラーの仕事は機械に取って代わられることはないとされ,個別指導を行うスクールは我関せずの顔をしていましたが,2022年の11月末にChatGPTが公開されてからは,大きく世の中の流れが変わっています。

AIに用語説明を求めたことのある方はもちろん(最近は検索結果の上にAIの回答が出てきます),もっと個別具体的な進路や学習法の相談をした経験がある方も,AIの知識の豊富さに圧倒されたことでしょう。

司法試験の短答式を解かせてみると,生成AIの成績は人間のそれを圧倒していますし,受験で最難関の一つとされる東大理科三類への合格も可能になっています(参考)。

調べ方によってイラストや図を使って説明してくれないなどはありますが,回答の的確さはもはや塾の実力派講師陣の解説を凌駕していて,オンライン英会話を行ってみれば,面と向かい合うプレッシャーを感じずに済むわけで,むしろ頭を使う職種の方が仕事を失っているのが現状なわけです。

重大なトラブルを起こす可能性も低くなっています。

実際,塾の倒産件数は近年最多記録を更新しており(参考),ある程度の数が淘汰されるまでこの傾向は続くでしょう。

もちろん,背景に物価の高騰もあるのでしょうが,少しずつ,

あれ,わざわざ塾に行かなくてもAIに聞けば何とかなるんじゃない?

と気づき始めた人が増えてきていることの表れだと思います。

総合的なマネジメント能力が必要なコーチングも生成AIに取って代わられ始め,提供側は人材の確保に困りませんし,利用者側は人間相手の時よりずっと安価に,同等またはそれ以上のサービスを得られるようになってきたわけです。

そして,SantaのAIもその例に漏れず,

  • 高品質な採点
  • 柔軟な対応を含む添削
  • 質問への対応
  • 適切な問題を提示

が可能となっています。

以下で一つずつみていきましょう!

 

 

SantaのAIは高品質な採点ができる

TOEFL版のSantaの採点ですが,冒頭で述べたようにETSの基準に則っています。

実際,TOEFLの公式パートナーとなっており,ローンチ時にはお知らせ欄にて大々的に宣伝されていました。

採点の品質の違いは,実際に他のAIに同じ答案を採点させてみれば一目瞭然です。

例えば,新形式のTOEFLのWritingタスク2用に作った答案をGeminiに採点させてみたところ,次の回答が得られました↓

Gemini's answer

まず,新形式のTOEFLは6点満点のところがすでに違いますし,その後,間違いを指摘した後も,3.0点の評価でした。

しかし,同じものをSantaが採点すると4.0点となり,両者の間には実に2段階の隔たり(TOEFLは0.5点刻みです)があることになります。

解説内容に関しては他の生成AIもさすがと思うところがあったものの,評価の信頼性はSantaの圧勝です。

続いて,TOEIC版のSantaアルクについてみていきますが,最初に解くことになるレベルテストの精度はかなり高くなっています↓

Santaアルクのレベル判定テストの結果

わずか数分で終わるテストのために,実に3億件以上の学習データが活用されており,単に正解数をカウントするだけでなく,解答するのにかかった時間や問題ごとの正答率(難易度)も考慮に入れて算出されているわけです。

このときのAIには「Socraスコア予測AIモデル」というものが用いられており,その精度の確からしさは95%だと言われています(会話部分を担当するのは「Santa Lumi」になります)。

管理人
管理人
Socraというのは開発・提供元の会社で,本社は韓国にありますが世界規模の企業となっていて,先に述べた億単位のデータを集められるのはそのためです。

普段の学習においては,これまでの学習時間や苦手分野なども参考に(指標の数は全5個です),スコアが随時更新されることになるので期待しましょう!

もちろん,結果次第でスコアが下がることもあります。

予測スコアは,それを基に最適な学習コンテンツをおすすめすることになるわけですから,正確であることが極めて重要です。

例えば,赤ちゃんに大人用の食事を与えたところで育たないでしょう。

 

 

SantaのAIは柔軟な添削も可能

Santaによる柔軟な添削例

こちらはSantaのTOEFL版に限っての話となりますが,AIが添削を行ってくれます。

添削をする必要があるということは,SpeakingやWritingに対応していることを意味し,TOEICのS&Wを受ける予定がある方も使うことができるでしょう(SantaアルクはL&Rテストのみの対応です)。

添削作業にかかる時間は30秒以内ということで,こんなに早く回答が得られるサービスはSantaのAIを除いて他にほとんどありません

当然,何回質問したところで断られたり別料金がかかったりしませんし,変な質問をしていないかなどと気に病んだりすることもないわけです。

作文の内容を全く違うものにしても,何一つ嫌な顔をせずに対応してくれるので,自由度の高い添削ほど生成AIの恩恵を得やすいと言えるでしょう。

 

 

SantaのAIに色々質問してみよう

SantaのAIは想像以上に色々な質問に対応してくれ,

きっとこの質問には答えられないだろうな…

と半ば諦めているものであっても,適切な回答が得られて驚かされることがしばしばあります。

例えば,全4問ある解答の一部箇所を指定して尋ねても以下のような回答が得られるわけです↓

賢くかつユーモアのあるSantaのAI

特に忖度することはなく,率直な物言いで無駄のない返答ですが,適宜絵文字も使用して茶目っ気を披露してくれることやさらなる質問を促してくることもあります。

TOEIC版ではAI成果伴走サービスも利用可能で,いつまでに目標を取りたいかを教えると,そのための最短ルートを設計してくれる他,適宜,継続を促してくれたり軌道修正も行ってくれたりするので便利です。

管理人
管理人
とはいえ,勉強に関係ない話題(例えば,明日の朝ご飯をどうするべきか)や全文を翻訳してほしいなどの要望に関しては「できません」と言われます。

 

 

SantaのAIは適切な問題を提示してくれる

Santaの学習ページの上部には,今日やるべき課題が表示されています↓

Santa×toeflの今日の学習タスク

1日に何問解くかだったり,どの曜日に何分学ぶのかだったりを自由に変更できますが,この時に解く問題が何になるかはAI次第です。

これまでに解いたことのない問題を基本に,タスクの種類も偏らないようにバランスも考慮していることが伝わってくるでしょう。

上の画像はTOEFL版ですが,4技能すべてに毎日触れられる設定になっています。

一方,TOEIC版の日課は,今日の単語・文法ノート・例文練習・AIおすすめ問題のようになっていて,最後のものなどはまさにおまかせといった内容です。

もっとも,絶えず新規の問題を解くことにはなりません。

Santaには「復習」のページも用意されていて,これまでに学習したものの中から,適切な問題を解き直しすることもできるわけです↓

Santaアルクの復習ページ

これは復習用に取っておきたいなどといちいち考えずに済むので,自動でやってもらえるのが一番でしょう。

そして,解いた問題数が増えるほど,復習すべき内容はブラッシュアップされていくので,毎日のノルマが終わって時間が余っているときや,週末を完全に復習用に使ってみてください。

できないところをできるようにするのがスコアアップに最も有効な手段ですので,より適切な問題を復習できるのが一番効率の良い勉強法となります。

 

 

TOEFL版とTOEIC版の生成AIの違い

以上では,TOEFL版(Santa×toefl)とTOEIC版(Santaアルク)をごちゃまぜに書いてしまっているところもあり,わかりにくかったところがあったはずです。

実際,両方を一度に契約して学ぶ方はいないでしょうから,最後に比較表の形で,それぞれに搭載されている機能をまとめてみたいと思います↓

TOEFL版 TOEIC版
AIレコメンドおすすめ学習
復習機能
AI成果伴走サービス
AI添削
AI採点

ところで,両者の試験の特徴は方やアカデミックで,もう片方はビジネス英語のように異なっているものの,根本を支える英語力には大差なく,同等のものが求められることを忘れないようにしましょう。

アカデミックな英語を高いレベルで扱える人は,ビジネス英語であっても苦手とすることはないわけで,もちろん,対応しているもので学ぶ方が無駄を多く避けられるでしょうが,TOEFLの勉強をすることでTOEICのスコアが上がることは結構あります。

なので,使いたい機能がある場合はそちらを試してみることも検討してみてください↓

TOEFL版Santablank

Santaアルク

blank特に,TOEICのSantaアルクは無料体験を利用できるので,始めの一歩としておすすめです(ご自身の学習環境との相性チェックができる他,現時点での実力を把握する目的で利用することも可能です)。

最後までお読みいただきありがとうございました。

  • この記事を書いた人
学校の教室

スタディサイトの管理人

通信教育の添削や採点業務に加え,塾や家庭教師を含めた指導歴は20年以上になります。東大で修士号を取得したのは遥か昔のことですが,教授から,数年に一度の秀才と評してもらったことは今でも心の支えです。小学生から高校生まで通じる勉強法を考案しつつ,お気に入りのスタディサプリのユーザー歴は8年を超えました。オンラインでのやり取りにはなりますが,少しでもみなさまのお役に立てれば幸いです。

-Santa