AI Evaluation Scientist
BLOOMTECH, Inc · Tokyo, Japan
Tailor my CV for this job — free※弊社クライアントのポジションになります。※English is below≪ハイライト≫・年収：〜16,000,000円（賞与年2回）・勤務形態：ハイブリッド勤務（週2日リモートワーク可）✓世界的にも希少な「AI評価科学（Evaluation Science）」に特化した新設組織✓約200社が利用するエンタープライズ向けAIエージェント基盤の信頼性を担保■企業概要東証上場グループ発の急成長AIスタートアップです。最先端の大規模言語モデル（LLM）とマルチエージェント技術を駆使し、エンタープライズの生産性を変革する多様なプロダクトを自社開発しています。■勤務地東京都新宿区（西新宿駅直結）■ポジションAI Evaluation Scientist■募集の背景エンタープライズ向けAIエージェント事業の急拡大に伴い、LLM出力の品質・安全性・信頼性を科学的・統計学的に測定・担保する専門組織を立ち上げるため。■職務内容・LLM-as-Judgeの校正やベンチマークなど評価メトリクスの研究開発・本番CI/CDに組み込むスケーラブルな自動評価パイプラインの設計・実装・自動レッドチーミングによる安全性・ポリシー準拠検証フレームワークの構築・統計的実験計画（A/Bテスト等）に基づくモデル改善フィードバックループの構築■必須要件・CS、機械学習、統計学等の関連分野における修士号以上、または同等の実務経験・MLエンジニア、データサイエンティスト、またはML評価関連職種の実務経験3年以上・LLM／生成AIの評価手法および統計学・実験計画法の実践的知見・Pythonおよび主要MLフレームワークを用いたパイプライン構築・実装経験ーーーーーー≪Job Highlights≫- Salary: JPY - 16,000,000 (Bonus twice a year)- Work Style: Hybrid (WFH 2 days a week)✓Pioneer the emerging field of AI Evaluation Science in Japan✓Define and scale the quality and safety of enterprise multi-agent platformsWhy this role?A rare opportunity to lead AI Evaluation Science from scratch for multi-agent platforms in production. You will bridge ML theory and engineering to scientifically measure and guarantee the reliability of autonomous enterprise agents.