今月の14日に、OpenAIはGPT-4を発表しました。またこの翌日、GPT-4を使用したフェルミ推定の実践などがTwitterで取り上げられ、オンラインでのケース面接の是非についてのツイートが散見されています。
筆者はこの直前である12日に、OpenAIが提供する前バージョンのGPT-3を使用して、フェルミ推定の壁打ちを試みました。コンサルティングファームからの内定が貰えなかったレベルではありますが、その経過を是非ご覧頂ければと思います。
1.ケース面接について尋ねる
まずはGPT-3(以下GPTと表記します)自体がケース面接を知っているかどうかについて確認しました。これに対してGPTは肯定し、形式と求められる能力や技能についての概要を説明しました。
そして、以下のように壁打ちにも対応出来ると返答します。
早速お題を用意してもらおうと思ったのですが…
2.GPTが推定を披露し出す
GPTが止まりません。このあと3枚続きます。
止まったところで、筆者はようやく上から解説を読み始めました。
この時点での感想としては｢本当に使えるのかしら？｣と怪しんでいました。言葉の定義確認が飛ばされ(人の種類については言及がありましたが)、定量化の経過が粗く(｢多い｣という表記から謎の1万人という数値が出てきている)、さらには渋谷区という人口密集地帯で驚きの5000/10000人以上という推定結果を出してきたのです。
取り敢えず言葉の意味が分からなかったり、論点が掴めないなど、要領が掴めないところが何点かあったので、質問してみます。
まずは｢渋谷駅前ってどこ？｣という質問です。
これに対してGPTは｢渋谷駅周辺、すなわち渋谷区｣と答えています。字面的にも、印象的にもよく分かりません。筆者はハチ公前のスクランブル交差点を思い浮かべていたので、そこの事を言うか、あるいは｢人が集まる駅前｣という返事がされると思っていました。
また、渋谷駅全体での人の数と言われただけならイメージが掴めるのですが、GPTは渋谷駅周辺と不明瞭な範囲を述べ、更には渋谷区と同義のものとして定義付けしました。筆者は自分が持つ渋谷区のイメージから抜け出せず、2、3度読み直しました。
次に｢その人の数は瞬間的なものか、あるいは一程度姿を見せた人の数か｣という質問をしたかったのですが、思考力の問題で上手く言葉にできません。
ここら辺でキリがないと思ったので、切り上げることにしました。
続いてお題を投げてもらいます。