ka*

評価基準問題⭐︎データ収集で講師探しの精度/効率を上げれば、もっと良くなる。Why not??

22/08/12 (金) 00:15

カテゴリご意見・ご要望

背景:低評価の影響過大で講師困窮。5以外を付けづらい。食べログ方式希望だが不採用の謎。
詳細は過去のトピックを「評価」「基準」等で検索して御覧下さい。
散見される評価基準問題トピック。つまり判断基準が定まらず手探り。
よくわからないものの平均点が判断材料になっている。

そこで所謂ジャストアイデア。
基本は今まで通り5段階。5を選択すれば今までどおり。次レッスンへサクサク。
4以下を選択したら、細かい選択肢を20項目表示させる。
各項目は5点満点で採点。

細分化の理由は生徒側の判断基準があいまい。
あいまいなものにすがるというのは何とも危ういです。
細かい選択肢の案は以下。まずたたき台に。
例えば、「文法」だけでは何がだめなのか
生徒側の解釈の余地が出るので、余地の入らないよう特定する。

大項目①全般
 1 通信環境(偶発的なものと区別付きませんがこれも講師の投資次第のところが)
 2 騒音環境 支障を感じるなら減点
 3 講師が要望に記載のリクエストに応じてくれたか
 4 最低ライン以下(カメラの前にいない・レッスンに集中してない・不機嫌・寝ちゃうw)
 5 生徒の発話を講師が優先できてるか(生徒7割・講師3割が業界では常識とか)
 6 文法的・発音。説明の誤りが目に余るか
 7 最低限の意思疎通ができるか(生徒側の話力は常識の範囲で勘案して)
 8 テキストの進行(進行がままならない先生がたまにいるようで)
 9 質問に答えようとしたか

大項目②カラン (カランは特段環境等を選ぶようなので)
 10 カラン目線での通信環境
 11 カラン目線での騒音環境 支障を感じるなら減点
 12 講師が発話速度の調整に柔軟に応じてくれたか
 13 噛まないか
 14 linking
 15 カランなのに楽しいか(大項目③)

大項目③どうしても厳しく採点したい生徒さん向け。
 16 発音が美しい
 17 発音解説が上手
 18 文法解説が上手
 19 会話がなぜだか面白い
 20 なぜだかまた受けたくなる

=
既存の総合スコアとは別に任意で各項目を表示・フィルターできるようにする。
そうすることで、ニーズにあった先生を見つけられる。
なんとなく4の結果の4.95より精度の上がった総合スコア。
例えば既存の4相当には20点分の減点が必要で結果総合スコア妥当性up

  • 2

  • 23件のコメント

    0コイン

ka*

No.0023

22/08/15 (月) 18:31

自分の中のまとめのコメントしておきます。
アルゴリズムできっちりやるとコストがかかるでしょうから、
単純な平均点で講師のレベルを上げてるのであれば、ローテクだけど秀悦。
NCを続けていると、どうも問題点が多そうというのが見えてきます。
過去トピックを見てもわかるように。
なので、当然他社のようにアルゴリズムでやってほしいですが、
コストを考えると実現できそうな折衷案が本トピック本文でした。
そのブラッシュアップ版がNo.0016。

  • 1

Ch*****

No.0022

22/08/15 (月) 17:47

そんなに評価を気にしてるんですね。驚き。
私は先生のこなしているレッスン数と、デモ画面のスピーキング力と対応できる項目が多い先生なら、適当に空いてる先生をバンバン受けてます。

  • 1

ka*

No.0021

22/08/15 (月) 03:43

キャンペーン1W目も終わりましたので、
本トピックの背景となる問題を切り抜いておきました。お手数ですがコメントはそちらへ。

https://nativecamp.net/message-board/detail/60312

#そろそろ消される予感がしてきたので、引っ込もうかと思います。

  • 1

ka*

No.0020

22/08/14 (日) 13:15

No.0021さん、ヒントありがとうございます。
いくつか問題があつて。
評価低く付けたい方はコメントも書きたくないのでは。
あと平均だから平等で万能という訳でなく、
極端な評価の影響が強く反映されてしまう。
皆付けれる星の数が同じだから平等も正しそうで違う。
普通は統計処理をアルゴリズムでして、整えて、そういう弊害を取り除く。
単純な足し算で良さそうに見えて良くないから処理が必要。
人間社会は算数では割り切れない。
少なくとも社会心理学とか。要は他社を見習えばいい。
どうも単純平均の自然淘汰に幻想を抱いてるように見える。
ある意味正確だけど、弊害が大き過ぎて。
あとサドンなんて早いもの勝ちだから、コメントどころか、
写真インプレッション勝負になってませんか。
講師も生徒も千差万別なのに、結果出たとこ勝負。
例えばデータ収集して生徒自身が需要に応じた講師を選べるように近づける。
誤解を恐れず言うなら、マッチングアプリ的要素が必要。商売とはそういうもの。
受け放題に続いて、マッチングでも業界破壊を!

  • 2

Yu**

No.0019

22/08/14 (日) 04:26

No.0019さんの二択にする案、シンプルでいいですね^^

メルカリのシステムは存じ上げませんが、NCの通信状況やテキスト評価と同様にgoodボタン👍かbadボタン👎を選んで、Bad👎だったらコメント必須。
わかりやすいです!

私も評価するときは5しか付けませんし、スコアよりもみなさまのコメントを参考にしながら講師を選んでいるので☆よりもコメント記載してもらった方が有難いです^^
評価に4以下が付いているのに結構な割合でそのコメントがなくて「なんで4以下を付けたんだろう?」と思うことがあります....^^;

あと、評価を強制と書いておられる方がいらっしゃいますが、評価って強制ではなく任意ですよね??
私、評価し忘れたまま24時間経っちゃったりして評価しないことたまにあるんですけど ^^;

  • 1

ka*

No.0018

22/08/13 (土) 22:52

No.0019さん、
二択は楽でいいですね。事実上それに近いしみたいな。
内情知ってる人は、ほぼ一択。知らない人・構わずの人が影響大。
現状その結果のスコアがなんとなく成立してるように見えてると。

余談で書いて頂いたようなことが、本トピックの背景になります。
核心に迫るナイスアシスト、ありがとうございます!
1+5x5で4.33、1が一人+5が19人でようやく、4.8。
幸い待機時間を確保されて、奮闘されたんでしょうね。
おかげさまで、他の生徒さんがいい先生に出会えたと。
心痛むばかりで。生徒側に気を使わせちゃうのって。。

トピック自体からは、背景が全然伝わらないようですみませんが。

  • 3

ka*

No.0017

22/08/13 (土) 01:08

No.0017さん
紛らわしいようですみません。
自分も基本的に感謝ばかりです。
5ばかりです。

先生方から内情を聞くにつれ、
過去トピックを読むにつれ、
厳しい自然淘汰だなと。
かたや大多数の生徒さんがそういう事情を知らず。

この方式は、講師に厳しくではなく、優しくなります。
少なくともワンクリックの影響力が1/20になるので。
さらに減点理由明示で講師も改善しやすくなります。

  • 2

Ko**

No.0016

22/08/12 (金) 22:16

すごいですね。
あまり考えずに評価をしてきました。
ただただ、現在は、こんな私に丁寧に付き合ってくださりありがとうございますの気持ちです。

レベルが上がっていくと、要求度も上がっていくのでしょうか?
現在のところは、通信状況は不満に思うことがありますが、
他の点については、特に気になりません。

講師評価まで気にすることができるようになったら、もう一度考えてみたいと思います。

  • 1

ka*

No.0015

22/08/12 (金) 17:02

ご意見踏まえて、以下でいかがでしょうか。
デフォルトで☆5からの減点法にすることで手間を削減。

「レッスンにご満足頂けましたでしょうか?」
Yes=5
No→「ご不便をおかけ申し訳ありません。サービス向上のために詳細をお聞かせ下さい。」

   →No→ここで終了。理由明示なきは評価不可

   →Yes→20項目の星選択肢(デフォルトで☆5からの減点法)→コメント任意or必須

---
No.0015さん
デフォルトで☆5からの減点法にすることで手間を削減。
もちろん、他のシステムのように、アルゴリズムできっちりやってくれるのがベストです。
区別付いてるように見えてる現状のスコアの信頼性は。本当に区別ついてますか。
既に5以外付けにくいシステム、極端な評価が影響し過ぎるシステムの結果なので。

No.0014さん
>あまり講師を追い詰めないでください。
伝わりづらくて申し訳ありません。
むしろ逆の意図です。減点理由の明確化、極端な評価の影響力を弱める。
現状は低評価の意味もわからず、改善不能。
講師が追い詰められてると伺っての問題提起でした。
---

不快にさせているようでしたら申し訳ありません。
ベストの解を示せてるとは思っておりません。
現状の仕組みは議論の必要があるという問題認識が第一歩だと思ってます。

  • 3

Hi**

No.0014

22/08/12 (金) 13:25

勘弁して下さい。面倒臭すぎて全員星5つを与えることになり、余計に良い先生とそうではない先生の区別がつかなくなります。レッスンを多くこなしている生徒に対して地獄のような仕打ちです。


そもそも、レッスン終了後に毎回評価を強制していることが問題だと思っています。問題なければ星5つ、少しでも改善点があれば星4つなど、日本の悪い文化であるマイナス方向の評価だからです。中央値を2、そこから+と-に出来れば十分なんです。

そして毎回強制評価は不要なのです。他のレビューシステムから学んでほしい。

  • 3

投稿が制限されています

申し訳ございませんが、
ネイティブキャンプ広場利用ルール 第2条の禁止事項に該当する
投稿が行われたため、当掲示板への投稿が制限されています。