
キーワードで絞った営業リストは、探していた会社の87%を落としていた

営業リストを、キーワードで絞っていませんか
営業先や仕入れ先の候補を探すとき、キーワード検索やフィルタで件数を絞ることがよくあります。全件を目で見るのは現実的ではないからです。
ただ、キーワードで絞ると件数は減りますが、本当に探している相手を落としていないかは確かめようがありません。落とした相手は、リストに出てこないためです。
弊社は今回、公開データ約1万件で、キーワードで絞った場合と、AIに1件ずつ言葉の意味で判断させた場合を比べました。この記事では、その結果を営業リスト作成の観点から紹介します。
公開データ1万件で、キーワードとAIを比べた
題材は、弊社が Shopify によるECサイト制作の提案先を探す作業です。検証用のデータには、事業の内容が文章で公開されていて件数も多い、補助金の採択一覧を使いました。
- データ: 事業再構築補助金の採択結果(第8〜13回、製造/卸売・小売/宿泊・飲食/農業・林業の4業種)の 10,359件。1件は1社の事業計画で、事業計画名(30字ほど)と概要(100字ほど)がある
- 探したもの: 消費者向けの食品・飲料・ペットフードを、自社で作って(または自社ブランドで)売る計画
当初は、「EC」「直販」「販路開拓」「ブランド」などのキーワードで絞る想定でした。同じ条件を、AI(TypeSafe AI の「Jev」)に1件ずつ聞き、キーワードと比べています。AIには「対象か」のほかに「主力商品は何か」なども聞いています。Jev そのものの仕組みや費用は、別の記事で詳しく紹介しています。
文章を書かないAI「Jev」で、1万件を10分で仕分けた2026年9月に公開されたTypeSafe AIの「Jev」を、公開データ1万件の仕分けで試しました。精度・確率の当たり方・速さと費用の実測に加え、文字どおりに読む、日本語だと確率が低めに出るといった癖、文章を生成するLLMとの使い分けを紹介します。記事を読む →
結果:キーワードでは、探していた会社の87%を落とした
無作為に選んだ200件に正解ラベルを付け、そのうち本当の対象だった30件をどれだけ拾えるかを比べました。なお、この正解ラベルは Claude(AI)が付けたもので、人は確認していません。

| 方式 | 対象を拾えた割合(再現率) | 拾ったうち対象だった割合(適合率) |
|---|---|---|
| キーワード(食品語 かつ「EC・直販・販路開拓・ブランド・通販・オンライン」) | 13% | 100% |
| キーワード(食品語だけ) | 77% | 53% |
| AI(Jev) | 93% | 97% |
食品に関する語と「EC」などの語の両方で絞ると、拾ったものはすべて対象でしたが、対象の87%を落としていました。条件を食品に関する語だけに緩めると、拾える割合は77%に上がる一方で、拾ったものの半分近くが、対象ではありませんでした。
AIは対象の93%を拾い、拾ったものの97%が対象でした。ただし、この数字は、評価に使ったデータを見ながら除外条件を直した版のものです。そのため、評価データへの合わせ込みが含まれます(詳しくは Jev の記事で説明しています)。
なぜキーワードで拾えないのか:計画は、こちらが想定した言葉で書かれていない
キーワードで拾えない主な理由は、探している会社の多くが、計画に「EC」とは書いていなかったためです。

AIが候補とした1,229件のうち、計画に「EC」「通販」「直販」などの語を書いていないものが803件(65%)ありました。食品に関する語と「EC」などの語の両方で拾えるのは、1,229件のうち306件(25%)だけです(前の節の13%は正解ラベルを付けた30件での割合、こちらはAIが候補とした1,229件での割合です)。
キーワードで拾えなかった計画には、たとえば次のようなものがありました(社名が分からないよう要約しています)。
- ケーキ店が、長期保存できるチョコレートを作り、子育て世代に向けたファンづくりに取り組む
- ジビエ肉の加工食品とペットフードの製造・販売に進出する
どちらも自社で食品を作って消費者に売る計画ですが、「EC」「直販」という語は出てきません。
候補1,229件を業種で見ると、最も多かったのは宿泊・飲食業の505件で、飲食店が食品の製造・販売に広げた計画です。コロナ禍を機に、冷凍食品やレトルト食品、通信販売へ広げた計画が多く、計画には「EC」ではなく「冷凍」「真空パック」「お土産」などと書かれていることが多くありました。
逆に、キーワードは不要なものも拾います。品目名で拾おうとしたところ、「ジン」(クラフトジン)という語が「エンジン部品」に一致しました。
今回のデータでは、こちらが思いつく言葉と、計画に書かれた言葉が一致しないことが多くありました。キーワードを足しても、この差を埋めるのは難しいと考えています。
AIも間違える:条件は具体的に書く
AIに任せれば取りこぼしがなくなる、というわけではありません。今回も、AIは対象の7%を落としています。また、次のような間違いがありました。
条件を文字どおりに読んで、拾いすぎた。 最初の質問では、キッチンカー・デリバリー・カフェの計画を対象として拾いました。「自分で作った食べ物を消費者に売っている」という条件に、文字どおりには当てはまるためです。除外したい業態(作りたての料理を出す飲食店、キッチンカー、デリバリー。持ち帰りを含む)を具体的に列挙したところ、改善しました。
問い同士の答えが食い違った。 「対象か」という問いには対象と答えたのに、「主力商品は何か」という問いには「食品以外」と答えたものが19件ありました。中身はダイエットアプリやドッグランなどで、ほとんどは「対象か」の問いの誤りでした。そこで、2つの答えが食い違ったものは候補から外し、人の確認に回すルールにしています。
キーワードを考える手間は減りますが、その代わりに「何を対象とし、何を除外するか」を具体的な言葉で書く手間が要ります。
全10,359件の振り分けと、処理時間・費用
全10,359件は、次のように振り分けました。
- 候補: 1,229件(12%)
- 要確認: 618件(Jev は答えに「対象である確率」を付けて返します。その確率が中間のもの、または2つの問いの答えが食い違ったもの。人が目で見る)
- 除外: 179件(食品に近いが対象にしない、健康食品・化粧品など)
- 対象外: 8,333件
処理にかかった時間は9分43秒、費用は $0.51 でした。
御社の業務で同じことができる条件
今回の方法は、営業リストに限らず、次の3つの条件がそろう業務に使えます。
- 件数が多い: 数千〜数万件あり、全件を目で見るのが難しい
- 言葉の意味で判断する: 「この会社は〇〇をしているか」のように、キーワードの有無ではなく内容で決まる
- 迷うものは人が見られる: AIの判断が分かれるものを、人が確認する手順を用意できる
たとえば、取引先候補の業態による分類、問い合わせ内容の振り分け、アンケートの自由記述の分類などが考えられます。
一方で、1回きりの数十件程度のリストであれば、目で見た方が早いと考えています。また、AIの精度を確かめるには、正解を数百件付ける手間がかかります(今回は、比較に使った無作為の200件を含む300件)。
この結果の前提
- 正解ラベルは Claude(AI)が付けたもので、人は確認していません
- AIも対象の7%を落としています。取りこぼしはゼロにはなりません
- AIの数字は、評価に使ったデータを見ながら条件を直した版のもので、合わせ込みが含まれます
- 1つのデータセットで1回処理した結果です。他のデータや条件で同じ結果が出るとは限りません
- 実際に連絡する前には、候補の1件ずつを人が確認し、送ってよいものだけを送る運用にしています
関連記事
文章を書かないAI「Jev」で、1万件を10分で仕分けた2026年9月に公開されたTypeSafe AIの「Jev」を、公開データ1万件の仕分けで試しました。精度・確率の当たり方・速さと費用の実測に加え、文字どおりに読む、日本語だと確率が低めに出るといった癖、文章を生成するLLMとの使い分けを紹介します。記事を読む →
営業を「リスト作成→文面→承認→送信」までAIでパイプライン化した実例新規営業のリスト作成・文面・記録といった繰り返し作業をAIに任せ、外部への送信直前だけ人が承認する——弊社が実際に動かしている営業パイプラインの作り方と、採用・カスタマーサクセスへの応用を紹介します。記事を読む →
AI自動化で一番大事なのは「送信直前に人が承認する」という設計AIで会社を回してたどり着いた結論は「全部を自動にしないこと」でした。外に出る・お金が動く操作の直前に人の承認を挟む「承認ゲート」——全自動より安全で、全手動より速い設計の考え方と、承認ゲートの置き場所を解説します。記事を読む →
営業リストの作成や、大量のデータの仕分けをAIで行う方法について、お気軽にお問い合わせフォームからどうぞ。