Baiyuan RAG Knowledge Platform Whitepaper

第 11 章 — 匿名化テナント観察

数字は嘘をつかない。しかし選択的に沈黙することはある。本章は良い数字も悪い数字も書く。

11.1 収集原則と匿名化

全数字は百原 Pilot、2026 Q1 12 テナント、月総クエリ 120 万。集計のみ、業界非識別化、複数指標の組合せで逆引き不可、工学参考は十分だがアーキ丸写し不可レベル。

11.2 ケース A — 電商 CS(AI CS SaaS)

背景:家電ブランド電商、年商 USD 5M+、台湾、Widget + LINE。

指標 3 ヶ月後
日次チケット 120 38 (−68%)
初回応答時間 18 分 0.8 秒
L1 命中率 52%
キャッシュ命中率 31%
月 LLM 費 USD 680
CSAT 4.1/5 4.3/5
Handoff 率 100% 11%

観察:電商 FAQ は反復高、slug 清単維持で 28% → 52%。Handoff 11% は特殊リクエスト(カスタム、大量、破損)に集中。CSAT 向上の核心は AI 品質ではなく秒級応答による待機不安解消

踏み抜き:初週に幻覚事件(送料無料閾値 NT$500 → 実は NT$800)。根因:L2 で旧 FAQ chunk 取得。修正:「送料ポリシー」を L1 Wiki 化 + 月次再検証。

11.3 ケース B — SaaS 技術ドキュ(AI CS)

背景:B2B SaaS、API 文書 + 統合ガイド + SDK 300+ 篇。開発者セルフサービス。

指標
月クエリ 120,000
L1 命中率 38%
Rerank 経路 18%
平均回答長 340 字
code block 含有 61%
追問率 22%

観察:技術問いは L1 低(38%)、用語変動大、トピック分散。Rerank で Recall@5 +9%、+250ms。会話メモリ極重要 — 開発者は連続追問。幻覚が特殊:存在しない API endpoint を生成 — Ch 12 の whitelist 戦略が必要。

11.4 ケース C — 化粧品業者(PIF AI)

背景:中小スキンケアブランド、2026 Q1 に 14 SKU の PIF 建文書。

指標 コンサル PIF AI
SKU 時間 30 営業日 4 営業日
SKU 費用 USD 3,500 USD 600
法規更新追跡 月次人手 週次自動
引用追跡率 60–70% 100%
TFDA 一次通過率 70% 88%
LLM 月費 USD 320

観察:PIF AI は人手より通過率高い — 自動 lint が成分合計 ≠ 100%、禁用物未比較などを捕捉。毒理情報の 95% が PubChem/ECHA 事前コンパイル Wiki から — 成分ごと 30 分の検索を < 1 秒に短縮。引用 100% 追跡で TFDA 査察員がソースを疑わない。

踏み抜き:ECHA の 2026/02 大規模更新で旧 Wiki 一夜で期限切れ。「ソース変動アラート」導入でテナントダッシュボードに「7 件期限切れ」即表示。

11.5 ケース D — B2B コンサル(GEO + RAG 連動)

背景:B2B 戦略コンサル、10 パートナー略歴、30 研究報告、12 業界分析。GEO で AI 可視性、RAG で内部検索。両者が同じブランド事実を共有するのが鍵。

指標 W0 W6
AI 引用率 (ChatGPT) 18% 41%
AI 引用率 (Perplexity) 22% 58%
事実正確率 (NLI) 67% 94%
幻覚事件/週 12 2
平均修復レイテンシ 6.2 日
内部 CS 命中率 72% 89%

最も衝撃的:第 3 週、Perplexity が「パートナー Alice はハーバード卒」と述べたが実はスタンフォード。GEO が:ClaimReview 生成 → RAG Wiki(パートナー略歴)に注入 → AXP 更新 → 6 日後 Perplexity が「スタンフォード」に修正 → 人手介入なし。

これが深い統合の具体価値

11.6 横断パターン

指標 A B C D
L1 命中率 52% 38% 62% 41%
キャッシュ 31% 22% 14% 26%
月費用 $680 $450 $320 $520
主幻覚 数字 存在しない endpoint なし(NLI) 人物事実
Handoff 11% N/A 24% N/A

結論 1構造化度が L1 命中率を決める。FAQ/法規 → 50%+、技術/自由問答 → 30–40%。

結論 2規制/学術場面で NLI 有効化価値あり。+18% コストで幻覚 0.4% まで。

結論 3GEO + RAG 連動の価値は複数指標で判定必須。単一指標は誤誘導。

結論 4Token 絶対額 ≠ 売上比率。電商 $680 = 売上 0.016%、PIF $20/単 $600 件 = 3.3%。PIF は極限最適化必須。


本章のポイント


ナビゲーション← 第 10 章 · 📖 目次 · 第 12 章 →