ChatGPT-3でフェルミ推定をやってみた

今月の14日に、OpenAIはGPT-4を発表しました。またこの翌日、GPT-4を使用したフェルミ推定の実践などがTwitterで取り上げられ、オンラインでのケース面接の是非についてのツイートが散見されています。

筆者はこの直前である12日に、OpenAIが提供する前バージョンのGPT-3を使用して、フェルミ推定の壁打ちを試みました。コンサルティングファームからの内定が貰えなかったレベルではありますが、その経過を是非ご覧頂ければと思います。

1.ケース面接について尋ねる

まずはGPT-3(以下GPTと表記します)自体がケース面接を知っているかどうかについて確認しました。これに対してGPTは肯定し、形式と求められる能力や技能についての概要を説明しました。

そして、以下のように壁打ちにも対応出来ると返答します。

早速お題を用意してもらおうと思ったのですが…

2.GPTが推定を披露し出す

回答例、のところから「おお?」となっていた

GPTが止まりません。このあと3枚続きます。

ここで1回止まる。GPTを触りだして4回目の会話だったので、「エラーかな?」と1分ほど画面を見つめ続けていた。

止まったところで、筆者はようやく上から解説を読み始めました。

この時点での感想としては「本当に使えるのかしら?」と怪しんでいました。言葉の定義確認が飛ばされ(人の種類については言及がありましたが)、定量化の経過が粗く(「多い」という表記から謎の1万人という数値が出てきている)、さらには渋谷区という人口密集地帯で驚きの5000/10000人以上という推定結果を出してきたのです。

取り敢えず言葉の意味が分からなかったり、論点が掴めないなど、要領が掴めないところが何点かあったので、質問してみます。

まずは「渋谷駅前ってどこ?」という質問です。

これに対してGPTは「渋谷駅周辺、すなわち渋谷区」と答えています。字面的にも、印象的にもよく分かりません。筆者はハチ公前のスクランブル交差点を思い浮かべていたので、そこの事を言うか、あるいは「人が集まる駅前」という返事がされると思っていました。

また、渋谷駅全体での人の数と言われただけならイメージが掴めるのですが、GPTは渋谷駅周辺と不明瞭な範囲を述べ、更には渋谷区と同義のものとして定義付けしました。筆者は自分が持つ渋谷区のイメージから抜け出せず、2、3度読み直しました。

次に「その人の数は瞬間的なものか、あるいは一程度姿を見せた人の数か」という質問をしたかったのですが、思考力の問題で上手く言葉にできません。

思考が纏まっていない状態で話してはいけない

ここら辺でキリがないと思ったので、切り上げることにしました。

続いてお題を投げてもらいます。

コメント

タイトルとURLをコピーしました