「その数字、本物か？ まぐれか？」を統計で答えられるエンジニア。 Infrastructure engineer moving into LLM engineering & evaluation.
shikinseki（試金石） — 「効いてる / まぐれ / 測れない」を見分ける依存ゼロの定量検証ツールキット。 AIで競馬に勝とうとして、逆に「公開情報では原理的に勝てない」を検出力計算つきで自分で証明してしまった経験から、その検証規律をドメイン非依存に製品化した。
実測ケーススタディ3本を同梱（データ・コードすべて再現可能）：
- プロンプト改善の符号反転 — 自己採点で+7.3ppだった"改善"を独立3モデルの実APIで測り直したら、+0.0 / +1.8 / −9.1pp。効果はモデル固有で、符号すら保存されない。
- 実スパコンログの障害トリアージ — 素朴なLLMは正規表現1本のルールに3モデルとも負け、ドメイン知識を載せたプロンプトは3モデル一貫でルールに頑健勝ち（+10〜+17pp・90%CI）。
- LLM-as-judgeの信頼性測定（rag-eval）— 同じRAG回答30個を5つのjudgeモデルで採点したら、一致を決めるのは能力でなくモデルの系統だった（同族κ0.86 vs 異族上位ペアは全軸で頑健な系統差）。機械で測れる軸はjudgeに聞かずコードで測る。
検証の流儀：点推定を信じない・大きく見える数字ほど疑う・限界は自分から先に開示する。
- インフラエンジニア（監視・運用・シフト勤務の現場）— 「運用がわかるLLMエンジニア」が目標
- Python（標準ライブラリで統計エンジンを自作し、教科書値との照合テストで担保する派）
- Claude Code を使い倒して開発・検証・監査のループを回している