AIにブラウザ作業を任せる前に｜「見えるブラウザ」と「裏で動くブラウザ」の違い

この記事でわかること

AIやツールに、ブラウザの操作を任せてみたいと考えたことはないでしょうか。

「毎朝この画面を開いて数字を写す」「この管理画面のスクリーンショットを撮って資料に貼る」。

こうした作業こそ、AIに任せたいところです。

ただ、ここには最初に決めておかないと必ず行き詰まる分かれ道があります。

結論から言うと、その分かれ道は「画面に見えるブラウザで動かすか、裏で動くブラウザで動かすか」です。

どちらを選ぶかで、できることも、人がやるべき作業も、まるで変わります。

この記事では、私が実際につまずいた出来事をもとに、次のことをお話しします。

• 「見えるブラウザ」と「裏で動くブラウザ」は、それぞれ何が得意で何が苦手か
• ブラウザの中の作業はできたのに、画像1枚を取り出せなかった実話
• 自動化を頼む前に、人が決めておくべき2つのこと

先に結論（3つ）

• 「裏で動くブラウザ」は、画面が存在しません。だから、パソコンの画面を撮る機能が使えません。
• いちばんの難所は、ブラウザの外へ何かを持ち出す瞬間です。ブラウザの中の作業は驚くほどうまくいきます。
• 自動化の設計では「人はどこでログインするか」「成果物をどう受け渡すか」を最初に決めます。ここを決めずに始めると、最後の1歩で行き詰まります。

2種類のブラウザの違い

まず、言葉を整理します。

AIやツールにブラウザを操作させる方法は、大きく2つに分かれます。

見えるブラウザ（人と同じ画面）

ふだん自分が使っているのと同じ、画面に表示されるブラウザです。

AIは、人が見ているのと同じ画面を操作します。

いちばんの利点は、パソコンの「画面を撮る」機能がそのまま使えることです。

ログインも簡単です。

人がいつもどおりログインしておけば、そのまま作業を引き継げます。

見えるブラウザに、丸ごと任せられる作業

「画面を見て、その結果を持ち出す」種類の作業は、こちらの出番です。

• 管理画面のスクリーンショット撮影：マニュアルや報告資料に貼る画面を、指定のページで撮って、切り抜いて、所定の場所へ保存するまで
• 画面でしか確認できない数字の転記：ダウンロード機能がない管理画面から、数字を読み取って表にまとめる
• 公開前の表示確認：作ったページを実際に開いて、崩れていないか・リンク切れがないかを見る
• 入力代行と、その証跡づくり：フォームへの入力から、完了画面の撮影・保存まで

共通しているのは、「人の目に見える画面」が成果物に関わる作業だという点です。

一方で、人と作業がぶつかります

欠点は、同じパソコンを人とAIで奪い合うことです。

具体的には、こういうことが起きます。

• 画面が勝手に切り替わる：AIが別のタブやウィンドウを前面に出すため、こちらが書きかけの文章から視線を外されます
• クリックの取り合い：人が操作した直後にAIがクリックすると、意図しない場所が押されることがあります
• コピーした内容が消える：AIがコピー＆ペーストを使うと、こちらがさっきコピーしたはずの内容が上書きされます
• 画面の撮影に別の窓が写り込む：人が手前に置いたウィンドウが、そのまま撮影されてしまいます

つまり、見えるブラウザに任せている間、そのパソコンは基本的に「AIの作業台」になります。

短時間の作業なら問題ありません。

ただ、1時間かかる作業を日中に走らせると、こちらの仕事が止まります。

裏で動くブラウザ（画面を持たない）

もう1つは、画面に表示されないブラウザです。

「ヘッドレス」や「バックグラウンド」と呼ばれます。

頭（画面）が無い、という意味です。

人の作業をまったく邪魔しません。

裏側で静かに動くので、その間も普通にパソコンを使えます。

夜中でも、外出中でも、決めた時間に無人で動かせます。

裏で動くブラウザに、丸ごと任せられる作業

「画面を見せる必要がなく、決まった手順で終わる」作業は、こちらの出番です。

• 毎朝の数字集め：アクセス解析や広告の数字を取ってきて、表を最新にしておく
• 相場・競合の定点観測：決まったページを毎日見に行き、前回から変わった点だけを教えてくれる
• 在庫や予約状況の見回り：管理画面を巡回して、条件に合うものがあれば知らせる
• 下書きの作成：集めた材料をもとに、記事や報告書のたたき台を作っておく

共通しているのは、結果が「表・文章・通知」で受け取れる作業だという点です。

逆に、画面の写真そのものが欲しい作業は苦手です。

私は、夜のうちに終わらせてもらうことにしました

ここが、今の運用のいちばん大きな部分です。

日中は自分がパソコンを使うので、AIに画面を占領されると仕事になりません。

そこで、時間のかかる定型作業は、自分が触らない時間帯に動くようにしました。

実際、うちでは毎朝8時台に数字の集計が終わっている状態で1日が始まります。

朝、パソコンを開くと、昨日までの数字が入った表がもう出来上がっています。

その間、私は何もしていません。

実例：あるWebシステムのマニュアルを、一晩で作ってもらいました

もう少し大きな仕事も、この方法で任せました。

あるWebシステムの、オンラインマニュアルを丸ごと作る作業です。

機能ごとにページを分け、画面の見方や操作手順を、実際の画面を貼りながら説明していく。

人がやるなら、何日もかかる仕事です。

これを、私が寝ている間に進めてもらいました。

出来上がったのが、こういうページです。

そして、機能の説明は実際の画面を貼りながら、こう解説されています。

私がやったのは、翌朝に読み返して、表現を直したところだけです。

この仕事は、裏で動くブラウザではできませんでした

ここに、今回いちばんお伝えしたい話が隠れています。

マニュアル作りには、「管理画面を実際に撮って、その画像をサイトに載せる」という工程がありました。

文章を書くだけなら、裏で動くブラウザで十分です。

ところが、画像はそうはいきませんでした。

裏で動くブラウザには画面がないので、そもそも「撮る」ことができなかったのです。

正確に言えば、撮ったつもりにはなれます。

ですが、その画像をファイルとして取り出し、サイトに載せるところまでが、どうしても通りませんでした。

だから、この仕事だけは「見えるブラウザ」を使うしかありませんでした。

そして、見えるブラウザを使う以上、その間パソコンは占領されます。

だから、動かす時間を夜にしたのです。

「画面が要るから表のブラウザ。でも占領されるから夜に回す」。

これが、今回たどり着いた答えでした。

「勝手に動く」と聞くと、不安になりませんか

ここで多くの方が心配されるのが、安全面だと思います。

見ていないところでAIが動く。

ログイン情報も扱う。

それは大丈夫なのか、と。

私も同じ不安があったので、次のように決めています。

• やらせるのは「読む・まとめる」までにする：数字を集めて表にする、下書きを作る。ここまでです。
• 外に出る操作は必ず人が押す：メールの送信、記事の公開、お金が動く手続き。これらは夜間の自動処理には入れていません。
• 合鍵は会話に出さない：パスワードやAPIキーは、パソコン内の決まった場所にまとめて置き、必要なときだけプログラムが読み込みます。私もAIも、その中身を画面に表示しません。
• 触ってはいけない場所を、あらかじめ禁止しておく：重要なフォルダは、AIが書き換えられない設定にしています。
• 作業の記録が全部残る：何時に何をしたかがログに残るので、朝いちばんに目を通せば、想定外のことをしていないか確認できます。

要は、「見ていなくても事故にならない範囲」だけを夜間に回している、ということです。

判断が要る仕事や、取り返しがつかない操作は、朝、私が確認してから進めます。

この線引きさえ決めておけば、無人で動かすことは怖くありませんでした。

さて、話を戻します。

先ほど「裏で動くブラウザでは画像を持ち出せなかった」と書きました。

ここが、今回いちばん時間を使ったところです。

思いつく方法を全部試して、全部だめでした。

その記録を、順番にお話しします。

実際に起きたこと：撮れたのに、取り出せない

頼んだのは、先ほどのマニュアルに追記する作業でした。

業務システムの管理画面を開いて、説明に使うスクリーンショットを2枚撮り、マニュアルのページに載せてほしい、という依頼です。

このときはまだ、自動化用の「裏で動くブラウザ」を使っていました。

作業のほとんどは、驚くほどスムーズに進みました。

AIはブラウザの拡張機能を通して管理画面を操作し、目的のページまで移動し、必要な箇所を表示するところまで完璧にこなしました。

ところが、撮った画像を「ファイル」として取り出す最後の1歩が、どうやっても通らなかったのです。

このとき使っていたのが、自動化用に常駐させていた「裏で動くブラウザ」でした。

試して駄目だった経路

思いつく方法を、順番に全部試しました。

まず、ブラウザ拡張のスクリーンショット機能。

撮影自体はできるのに、パソコン側にファイルが作られませんでした。

次に、パソコン（Mac）の画面撮影コマンド。

これは根本的に無理でした。

撮ろうとしているブラウザは画面に表示されていないので、写すべき画面が存在しないのです。

外部のツール（PlaywrightやPuppeteerといった自動操作ソフト）から、動いているブラウザにつなぐ方法も試しました。

こちらはChromeの新しいバージョンで仕様が変わっており、外部から既存のタブを触れなくなっていました。

次はブラウザの中で画像を作る方法です。

ページの内容を画像データに変換する仕組み（html2canvas）を差し込み、画像データを作るところまでは成功しました。

あとは、その画像データを自分のパソコンに送るだけ。

ここが最後の壁でした。

自分のパソコンで受け取り口を用意して送ろうとしたのですが、最近のChromeは、Webページから自分のパソコン内へ通信することを安全のために遮断します。

手を変え品を変え試しましたが、すべて沈黙しました。

コピー＆ペースト経由も駄目でした。

画面に表示されていないタブでは、コピー機能そのものが止められていたのです。

ブラウザの中では何でもできたのに、外へ1枚の画像を出すことだけができない。

これが、この日いちばんの学びでした。

どう解決したか

解決策は、拍子抜けするほど単純でした。

「見えるブラウザ」に切り替えたのです。

私（人間）が、いつも使っているChromeでその管理画面にログインしました。

あとはAIが、目的の画面をURLで直接開き、パソコンの画面撮影コマンドでそのウィンドウだけを撮影し、切り抜いて、マニュアルへのアップロードまで自動で終わらせました。

人がやった操作は、ログインとタブを1回クリックすることとスクロール1回の、合計3回だけです。

ちなみに、先ほどのマニュアルを一晩で作ったときは、最初から問題なく通っていました。

違いは1つだけ。

そのときは、最初から「見えるブラウザ」で作業していたことです。

同じ作業でも、どちらのブラウザで走らせたかだけで、通るか詰まるかが変わりました。

この経験から持ち帰れること

ここからが、読んでいるあなたに関係のある話です。

1. ブラウザの外へ持ち出す瞬間が、いちばんの難所

ブラウザの中の作業は、AIはとても得意です。

ページを開く、入力する、押す、内容を読み取る。

ここは期待以上に動きます。

難しいのは、その結果をファイルとして外に出す瞬間です。

近年のブラウザは、安全のために「外へ出す経路」をどんどん厳しくしています。

「あとからデータを抜けばいい」という考えで設計すると、この壁に当たります。

2. 「人はどこでログインするか」を先に決める

裏で動くブラウザには、もう1つ課題があります。

ログインです。

無人で動かしたいのに、ログイン画面で止まってしまっては意味がありません。

だからこそ、「人が最初にログインしておく」「そのログイン状態をどう引き継ぐか」を最初に決めておく必要があります。

3. 目的から逆算して選ぶ

2つのブラウザは、優劣ではなく用途の違いです。

画面を撮りたい、人が横で確認しながら進めたい。

この場合は「見えるブラウザ」を選びます。

人の作業を止めずに、夜間や不在時にも回したい。

この場合は「裏で動くブラウザ」を選びます。

ただしその場合は、成果物の受け渡し方法を先に用意しておきます。

ついでに見つけた、人の手間を減らすコツ

今回、もう1つ役に立った発見がありました。

ボタンを押すと画面の上に重なって出てくる画面（モーダル）にも、じつは専用のURLが用意されていることが多いのです。

URLで直接開ければ、「ここを押して、次にここを押して」という手順を人に頼まなくて済みます。

さらにChromeには、URLの末尾に目印を付けると、そのページ内の特定の文字がある位置まで自動でスクロールしてくれる機能があります。

おかげで「この画面のこの部分を見せて」という指示が、URL1本で再現できました。

人にお願いする操作をどれだけ減らせるかは、こうした小さな工夫の積み重ねです。

まとめ

AIにブラウザ作業を任せると、想像以上のことができます。

ただし、うまくいくかどうかを分けるのは、AIの賢さではありませんでした。

「人はどこでログインするか」と「成果物をどう受け渡すか」。

この2つを、始める前に決めているかどうかです。

あなたの会社で「毎回この画面を開いて、この作業をする」という仕事は、どれでしょうか。

その作業を任せるとき、成果物はどこに出てくると助かるでしょうか。

そこまで決められれば、自動化の設計はほとんど終わっています。

「うちの場合、どの作業から任せられそうか」を一緒に整理したい方は、AI活用診断をご利用ください。

まだ構想段階でも大丈夫です。

AI活用のヒントはメルマガでも定期的にお届けしています。