【写生大会 第1回】画像を「読む」〜AIに写真を見せて聞く〜

【写生大会 第1回】画像を「読む」〜AIに写真を見せて聞く〜
  • URLをコピーしました!

こんにちは、理事長のマッチャカです。

4年生の授業とクラブ活動、本当にお疲れさまでした。文字情報を使ったAIの操作には、もうすっかり慣れた頃ではないでしょうか。

今日は教室を飛び出して、みんなで「写生大会」に向かいます。これまでのAIは「文字」でやり取りをするだけの存在でした。しかし今回のテーマは、AIに「目」を持たせることです。

スマホで撮った写真や手書きのメモをAIに見せて、「これについて教えて」「文字に起こして」とお願いする魔法を体験しましょう。今回から、写生大会の専任講師である「アート先生」が登場しますよ。

それではまずナビ先生の外来語コーナーからどうぞ!

目次

📖 今日の外来語コーナー(ナビちゃん担当)

知ってるワードは飛ばしてOKです!

ナビちゃん

こんにちは、ナビです!今日は教室を離れて写生大会ですね。アート先輩の授業の前に、今日使う言葉を3つマスターしておきましょう!

外来語 No.081

画像認識(Image Recognition) :「AIが画像を見て、そこに何が写っているか、どんな状況かを理解する技術」のことです! 人間が目で見て判断するのと同じように、AIも写真を読み解くことができます。料理・風景・書類・手書きのメモ——何が写っていても、AIはしっかり認識してくれますよ!

外来語 No.082

OCR(オーシーアール) :「画像や紙に書かれた文字を、パソコンで編集できるデジタルの文字に変換する技術」のことです! 正式名称は「Optical Character Recognition(光学文字認識)」。手書きのメモや印刷された書類を写真に撮ってAIに送ると、文字を読み取ってテキストに変換してくれます。議事録や名刺の文字起こしに大活躍しますよ!

外来語 No.083

スクリーンショット(Screenshot) :「画面に表示されている内容をそのまま画像として保存する機能」のことです!「スクショ」と略して呼ばれます。撮影した画像はそのままAIのチャット画面に貼り付けて使えます。詳しい撮り方はこの授業のコラムで紹介していますよ!

ナビちゃん

この3つ、今日の写生大会でさっそく登場しますよ!それではアート先輩、よろしくお願いします!

① 知る:AIに「目」ができた

図工の授業(写生大会)をするアート先生

アート先生:皆様、はじめまして。写生大会を担当するアート先生よ。マッチャカ理事長、今日はよろしくお願いしますね。

理事長

アート先生、はじめまして!紫のベレー帽がお似合いですね。今日はAIに写真を見せると聞きましたが、本当にAIに「目」があるんですか?

アート先生

ええ、そうなの。これまでの授業で使ってきたChatGPTやClaude、Geminiは、すべて「マルチモーダル(No.017)」という能力を持っているのよ。

アート先生

文字だけでなく、アップロードされた画像の色、形、書かれている文字、さらには「その場がどんな雰囲気か」まで読み取ることができるの。

理事長

つまり、風景の写真を見せたら「これは海ですね」とわかるってことですか?

アート先生

それだけじゃないわ。海に落ちているゴミの写真を見せて「これを掃除するにはどんな道具が必要?」と聞いたり、外国語の看板を見せて「これなんて書いてあるの?」と聞いたり……。

アート先生

AIはただ見るだけでなく、見たものに対して私たちが求める答えをしっかり「考えて」くれるのよね。

理事長

文字のやりとりだけだったAIが、写真まで見てくれるようになったんですね。これは使い道が無限に広がりそうです。

💡 AIの「目」でできること

① 写真の内容を説明する 料理・風景・商品・書類——何が写っているかを説明してくれます。

② 手書きの文字を読み取る 手書きのメモ・ホワイトボード・FAXをOCRで文字起こしできます。

③ 書類や名刺を整理する 写真に撮った名刺や請求書の情報をテキストとして取り出せます。

④ 外国語の看板や資料を翻訳する 海外の資料やメニューを撮影して、その場で翻訳できます。

② 考える:「何を見せて」「何を聞くか」をセットにする

アート先生

画像認識を使いこなすコツは、プロンプトで「何を見せたか」と「どうしてほしいか」をセットで伝えることね。

理事長

写真をポンと送るだけじゃダメなんですか?

アート先生

もちろん「この写真は何?」と聞くだけでも答えてくれるわ。でも、本編の授業で学んだように、「目的」や「条件」を指定した方が、より素晴らしい回答を引き出せるの。

💡 画像を見せるときの黄金ルール

ただ見せるだけでなく、「〇〇の写真です。(ターゲット)に向けて、(トーン)で〇〇してください」と指示を加える。

❌ 「(メモの画像)」を送信するだけ
⭕️ 「(メモの画像)この手書きの会議メモを読み取って、きれいな箇条書きに整理して」

理事長

なるほど!画像を使ったやり取りでも、これまでの授業で学んだ「目的・条件を指定する」というプロンプトの基本が活きてくるわけですね。

③ 使う:実際に画像を読み込ませてみよう

アート先生

さあ、実践してみましょうね。チャット画面の入力欄の横にある「+」マークやクリップのマークを押して、画像を添付するのよ。ツールによってアイコンの形は少し違うけれど、どれも同じ操作よ。

理事長

スマホで撮った写真で試してみますね。昨日慌てて書いた、私の「汚い手書きのアイデアメモ」の写真を添付してみます。

✏️ 実践プロンプト① 手書きメモのデジタル化(OCR

(手書きのメモやノートの写真を添付して送る)

添付した手書きのメモを読み取って、文字起こしをしてください。その後、内容を分かりやすいように箇条書きで整理してください。

理事長

送信しました。……ええっ!?私のあのミミズが這ったような字を、一文字も間違えずにテキストにしてくれました!しかも矢印で結んでいた内容をちゃんと理解して、きれいな箇条書きのリストに整理されています!

アート先生

ふふふ、見事ね。AIのOCR能力はとても高いの。これでもう、会議の後にホワイトボードの文字をパソコンで一生懸命打ち直す必要はなくなるわね。次はもう一つ試してみましょうか。

✏️ 実践プロンプト② 写真から状況を判断させる

(冷蔵庫の中身・手元の食材の写真を添付して送る)

これは現在の我が家の冷蔵庫の中身です。この中にある食材を使って、今日のおかずを3つ提案してください。手順は箇条書きで教えてください。

理事長

冷蔵庫をパシャッと撮って送ってみました。……すごい!「大根と豚肉が少し残っているようなので〇〇を作りましょう」って、写真の奥の方に隠れている食材まで見つけ出して、完璧なレシピを出してくれました!

アート先生

AIは画像の中の物体を一つ一つ認識して、そこから論理的な推論をしているのよ。写真一枚から、アイデアは無限に広がっていくのね。

💡 コラム:スクショで「見せて聞く」が最強のお守り

入学案内で「困ったらAIに聞いてしまえばいい」とお伝えしましたね。実はその「聞き方」に、今日学んだ画像認識が使えるんです。

「説明と自分の画面が違う」「変なエラーが出た」「次にどこを押せばいいかわからない」——そんなとき、状況を言葉で説明しようとすると意外と難しいものです。

そこでやってほしいのが、スクリーンショット(スクショ)を撮ってAIに見せる方法です。撮り方はお使いの機種によって異なります。

  • iPhone:サイドボタン+音量上ボタンを同時押し
  • Android:電源ボタン+音量下ボタンを同時押し
  • Windows:Windowsキー+Shift+Sを同時押し→画面が暗くなるのでマウスで撮りたいエリアをドラッグして指定

撮影したスクショをそのままAIのチャット画面に貼り付けて、こう聞くだけです。

✏️ スクショで聞くプロンプト

(スクショ画像を添付して送る)

この画面が表示されて困っています。何が起きているのか教えてください。また、次に何をすればいいか手順で教えてください。

私もこの方法をしょっちゅう使っています。言葉で説明するより10倍早く解決できますよ!

💡 今日のまとめ

AIは文字だけでなく、画像を「見て理解する」能力(マルチモーダル)を持っている 手書きのメモやホワイトボードの写真を送れば、一瞬で文字起こし(OCR)をしてくれる 写真を見せて「ここから何がわかる?」「どうすればいい?」と相談ができる プロンプトで「目的」をしっかり伝えることで、画像から得られる情報の価値が跳ね上がる 困ったときはスクショを撮ってAIに見せるだけで解決への近道になる

🎁 本日のお土産プロンプト

太字の部分を自分の状況に書き換えて使ってください。チャット画面で必ず画像を添付してから送信してくださいね。

✏️ お土産① 手書きメモ・ホワイトボードを文字起こしする

(手書きのメモ・ホワイトボードの写真を添付して送る)

この画像に書かれている文字をすべて読み取って、テキストとして書き出してください。読み取りにくい部分は「(不明)」と記載してください。その後、内容を箇条書きで整理してください。

✏️ お土産② 外国語のパッケージや看板を翻訳する

(外国語の商品パッケージ・看板・説明書の写真を添付して送る)

この画像に書かれている内容を日本語に翻訳してください。特に(使用方法/注意事項/アレルギー成分)について重点的に箇条書きでまとめてください。

✏️ お土産③ 困った画面をスクショで解決する

(困っている画面のスクリーンショットを添付して送る)

この画面が表示されて困っています。何が起きているのか教えてください。また、次に取るべき行動を手順で教えてください。

📣 次回予告

5年生1学期:AIを使い分ける〜目的別ワークフローの構築〜

初めての写生大会、お疲れさまでした!AIの「目」の力に驚かれたのではないでしょうか。次回はいよいよ5年生に進級します。ChatGPT・Claude・Geminiといった複数のAIツールを、仕事の目的に合わせてどのように使い分けるか。自分だけの「ワークフロー(作業手順)」を設計する授業がスタートしますよ!

理事長

いよいよ高学年ですね!道具の特性を理解して使い分ける……職人のようでかっこいいです。次回も気合を入れて頑張ります!

アート先生

次回は5年生の最後にまたお会いしましょう。その時にも素敵な作品を一緒に作りましょうね。お待ちしているわよ。

キーンコーンカーンコーン🔔

よかったらシェアしてね!
  • URLをコピーしました!
目次