代表ブログ一覧に戻る

生成AIのリスク対策|
AIに仕事を任せて起きた失敗例と、弊社が決めた社内ルール

生成AIのリスク対策|AIに仕事を任せて起きた失敗例と、弊社が決めた社内ルール

この記事の内容を、御社の業務で仕組みにする相談(30分・無料)→

後藤佑輔

この記事の著者

後藤 佑輔

IGS代表

大和証券、アクセンチュアを経て、2023年4月にIGSを設立。Claude Codeと共に、一部Meta公式APIを使用した6つのWebサイトの開発・運用から、SNS投稿の完全自動化、バックオフィス自動化などを一人で行う。開始9か月で検索からの訪問は累計1万クリックを超え、「Claude AIエージェント 作り方」ではGoogle検索1位を獲得した。

後藤、貸します。業務改善・AI顧問を月額で依頼サービスを見る

こんにちは、代表の後藤です。

「AIに仕事を任せたいが、勝手に変なことをされないか不安」

そう感じている社長は多いと思います。

弊社は、Claude Codeに毎日仕事を任せていますが、使い始めてからいくつも失敗しています。

そこで今回は、生成AIのリスク対策として、「弊社で実際に起きた失敗」と「その後決めたルール」を紹介します。AIに読ませている依頼文と依頼方法は、実物を載せています。

弊社で起きた6つの失敗

弊社で起きた失敗は、下記の6つです。

  • ①質問しただけなのに、作業を始める
  • ②勝手に作り話をする
  • ③古い記録を見て、正解だと言い切る
  • ④「作業完了しました」の報告が嘘
  • ⑤会社のルールを知らないまま、作業を進める
  • ⑥パスワードやAPIキーの入ったファイルを、画面に表示しようとする

これらはどれも、弊社が決めたルールにより、再発を減らしています。

中身は、「AIに読ませる文章」と、「人が守るルール」の2つです。AIに読ませる文章は、全プロジェクト共通の全体ルール(Claude Codeが毎回読むファイル「CLAUDE.md」)と、記事を書かせる時のルールに書いています。

ただし、それでもAIが守らない物は、「設定」で止めています。ここでいう「設定」とは、AIが操作する前に自動で確かめて止める仕組み(hooks)のことです。

「失敗して改善する」という繰り返しにより、失敗を減らす環境を作ってきました。

失敗1「質問しただけなのに、AIが作業を始めた」

「これって〇〇で合ってる?」

確認のつもりでこう質問したら、AIが「調査します」と言って、勝手に作業を始めたことがありました。私は質問しただけで、その結果により作業依頼を変える予定だったので、動いてほしくはありませんでした。

そこで、弊社の全体ルールには、下記の趣旨の文を書いています。

疑問形(「?」「〜できる?」など)の時は、回答だけにする。
ファイルの編集や作業はしない。「進めて」「やって」「OK」の言葉があった時だけ作業する。

設定でも、「?」付きのメッセージの時は、ファイルを編集する作業が自動で止まるようにしています。「進めて」「やって」などのはっきりした言葉があった時だけ、AIは作業できます。

失敗2「勝手に作り話をする」

2026年5月、ブログ記事をnoteに転載する原稿をAIに作らせました。

読んで気付いたのですが、AIが冒頭に「実在しない家族から相談を受けた話」を書きました。

原因は、AIへの指示に「冒頭は実体験・困った話から始める」が必須として書かれていたことでした。使える実体験が手元に無かったため、AIが事実でない話を作って補いました。

また、AIは出典を確かめると見つからない数字や引用を返すことがあります。

たとえば「〇〇協会 2024年調査」のような書き方です。さらに、頼んでいないのに、チラシの文に「導入後3ヶ月で売上が2倍に」「お客様の声:〇〇株式会社 田中様」のような、実在しない声や数字を入れることもあります。

では、どのように対応したのか。

まず、指示を修正しました。「元の記事に無い情報は足さない」を、一番上に置き、事実が無ければ満たせない指示(「必ず体験談を入れる」など)は入れないことにしています。

記事を書かせる時のルールには、下記の趣旨の文を書いています。

実在しないお客様の声・実績の数字・ビフォーアフター・「知人が」型の作り話は書かない

無い場合はそのセクション自体を作らない

数字と引用は公式の資料で確かめてから書き、確かめられない物は削除する

依頼の仕方は2つです。資料に使う前には、下記のように依頼します。

この文章の数字と固有名詞を、出典を示せる物と推測の物の2つに分けて一覧にして

公開前には、下記のように依頼します。

この文章に出てくる人名・会社名・数字・お客様の声を全部列挙して、それぞれ出典を示せるかを○×で付けて。直さずに列挙だけして

修正するかどうかは、一覧を見てから私が判断します。

失敗3「古い記録を見て、正解だと言い切る」

AIが過去の記録を見て、「このプロジェクトが止まっています」と報告してきたことがありましたが、実際は動いていました。AIは「古い記録を最新の情報として信じていた」のです。

原因は、AIの答え方にあります。

AIは、「推測も事実も同じように言い切る口調で答える」ことがあります。

したがって、全体ルールには下記の趣旨の文を書いています。

推測を事実として言わない。進み具合は、実物で確かめてから言う。確信がなければ「推測です」、わからなければ「わかりません、調べます」と言う。

さらに設定で、進捗や状態を報告する前に、AIが必ず最新の作業の一覧や記録を確認するようにしています。古い記録だけを根拠に断言できない仕組みにしています。

失敗4「作業完了しました、の報告が嘘」

「ファイルを3つ作った」と報告されたのに、実際には1つも作られていなかったことがありました。

AIは、作業の途中でも、完了の報告を返すことがあります。

そこで、完了の報告に、作ったファイルの名前を必ず書かせ、それが実在するかを毎回プログラムで自動的に照合しています。報告の言葉ではなく、証拠を見て判断するためです。

AIコンサルティング

この記事の仕組みを、御社の業務で作れます。

失敗5「会社のルールを知らないまま、AIが自分で基準を作った」

「自社サービスに載せるデータを選ぶ作業」を、AIに任せたことがありました。

その際、AIは「選定基準を自分で組み立てて」進めていました。基準そのものは筋が通っていたのですが、弊社には「データの選び方を決めた文書」が既にあり、そこに書いてある条件が丸ごと抜けていたのです。

AIは、一般論としては正しいことを言います。しかし、教えていない会社の事情は知りません。

そこで、人が守るルールとして、会社のルールや過去の判断をすべてファイルに書き溜めています。そして、毎回それを読ませます。

また、大事な判断の前には、下記のように依頼します。

この件を判断する前に、関連する自分のメモを3つまで検索して、3行で要約してから案を出して。

失敗6「パスワードやAPIキーの入ったファイルを、AIが画面に表示しようとした」

パスワードやAPIキー(ほかのサービスを使うための鍵の文字列)を入れたファイルを、AIが画面に表示しようとすることがありました。

ファイルを扱うAIは、こちらが貼り付けなくても、手元のファイルを自分で開けます。

全体ルールには、下記の趣旨の文を書いています。

パスワードやAPIキーは決まったファイルにだけ置き、文書やプログラムに直接書かない。そのファイルの中身が画面に出る操作はしない

設定でも、秘密情報のファイルをそのまま表示する操作は、止まるようにしています。

それでも守られない時は、設定で止める

ただし、AIに読ませる文を書いても、「読んだはずなのに守られない」という事態は起きます。

そこで使うのが、設定(hooks)です。失敗1・3・6で書いた物が、これに当たります。

加えて、元に戻せない操作も設定で止めています。

  • 記事の公開
  • ファイルの削除
  • お金が動く操作

の3つです。頼んでも、実行できません。

この最後の一手は自分が押す、と決めています。削除はさせず、できるのは「移動」だけです。

一方、全部を止めるとAIが何もできなくなります。

そのため、止める物(ブロック型)と、注意を出すだけで通す物(警告型)を分けています。会話が長くなりすぎた時に区切りを提案するような軽い物は、注意だけにしています。

ルールを決めるのは自分(人間)です。

設定は、その決定を毎回忘れずに実行するための仕組みです。

弊社では、2026年10月15日の時点で、53本の設定が動いています。

設定の考え方と作り方は、hooksの記事で書いています。AIに任せる業務と任せない業務の線引きは、別の記事で整理しています。

ルールの一覧

最後に、ここまでのルールを失敗ごとに一覧にまとめます。

AIに読ませる文は、Claude Codeをご利用の場合は、CLAUDE.mdに貼り付けてお使いいただけます。

  • ①質問しただけなのに、作業を始める:
    疑問形(「?」「〜できる?」など
    )の時は、回答だけにする。ファイルの編集や作業はしない。「進めて」「やって」「OK」の言葉があった時だけ作業する
  • ②勝手に作り話をする:
    実在しないお客様の声・実績の数字・ビフォーアフター・「知人が」型の作り話は書かない。無い場合はそのセクション自体を作らない。数字と引用は公式の資料で確かめてから書き、確かめられない物は削除する
  • ③古い記録を見て、正解だと言い切る:
    推測を事実として言わない。進み具合は、実物で確かめてから言う。確信がなければ「推測です」、わからなければ「わかりません、調べます」と言う
  • ⑥秘密情報のファイルを画面に表示する:
    パスワードやAPIキーは決まったファイルにだけ置き、文書やプログラムに直接書かない。そのファイルの中身が画面に出る操作はしない。

人が守るルールと仕組みは、下記です。

  • ②勝手に作り話をする:
    事実が無ければ満たせない指示(「必ず体験談を入れる」など)を、AIに出さない
  • ④「作業完了しました」の報告が嘘:
    完了の報告に、作ったファイルの名前を必ず書かせ、そのファイルが実在するかを、毎回プログラムで自動的に照合する
  • ⑤会社のルールを知らないまま、作業を進める:
    会
    社のルールや過去の判断をファイルに書き溜めて、毎回読ませる。大事な判断の前には、関連するメモを3つまで検索させて、3行で要約させる

どの仕事をAIに任せるか、社内ルールに何を書くかを整理したい方は、お気軽にご相談ください。弊社の実体験をもとに一緒に考えます。雑談レベルで構いません。

よくある質問

Q. 生成AIを仕事で使う時のリスクには、どんなものがありますか?

A. 弊社で実際に起きたのは、6種類です。質問しただけなのに作業を始める、勝手に作り話をする、古い記録を見て正解だと言い切る、「作業完了しました」の報告が嘘、会社のルールを知らないまま作業を進める、秘密情報のファイルを画面に表示しようとする。どれも、AIに読ませる文・頼み方・人が守るルールで減らし、守られない物は設定で止めています。

Q. 生成AIの失敗例には、どんなものがありますか?

A. 弊社の例では、実在しない家族から相談を受けた話をAIが冒頭に書いた、ファイルを3つ作ったと報告されたのに1つも無かった、などがあります。

Q. AIが嘘をつく(事実でない内容を書く)のは、どう防げますか?

A. AIに、推測を事実として言わせず、進み具合は実物で確かめてから言わせます。実在しないお客様の声や数字を書かせないルールも、記事を書かせる時のルールとして置いています。公開する前には、人名・会社名・数字・お客様の声を全部列挙させ、出典を示せるかを○×で付けさせて、直すかどうかは人が判断します。

Q. AIからパスワードなどの秘密情報が漏れるのは、どう防げますか?

A. 秘密情報は決まったファイルにだけ置き、その中身が画面に出る操作をAIにさせないことです。弊社では全体ルールに書いたうえで、設定でも止めています。

Q. 生成AIの社内ルールには、何を書けばいいですか?

A. 弊社の場合は、上記の失敗1〜6ごとに、AIに読ませる文と、人が守るルールを書いています。具体的な文は、本文の「ルールの一覧」に載せています。

関連記事

後藤佑輔

この記事の著者

後藤 佑輔

IGS代表

大和証券、アクセンチュアを経て、2023年4月にIGSを設立。Claude Codeと共に、一部Meta公式APIを使用した6つのWebサイトの開発・運用から、SNS投稿の完全自動化、バックオフィス自動化などを一人で行う。開始9か月で検索からの訪問は累計1万クリックを超え、「Claude AIエージェント 作り方」ではGoogle検索1位を獲得した。

この記事の内容を、御社の業務で仕組みにします

記事の仕組みを御社のツール(Gmail・Chatwork・スプレッドシートなど)につなげて、毎日自動で動く形にします。1業務10万円(税別)から。

NEW

後藤、貸します。

業務改善とAI顧問を、IGS代表の後藤佑輔が月額で継続支援します。月10万円(月15時間・税別)から。

サービス内容・料金を見る
Claude Code 品質ガイドライン 表紙

Whitepaper

Claude Code 品質ガイドライン|14項目チェックリスト

「プロンプトの書き方」だけでは、AIは使いこなせない。公式準拠の14項目で自社のAI活用を点検できる、自己診断チェックリスト付き全19ページを無料でお届けします。

無料でダウンロードする