TL;DR
- Research: Zero-shot の LLM だけで十分な精度の外観検査 AI を構築するのは、現時点では難しいと判断し、新しいモデルのリリースをウォッチしながら、autoLabeling や mislabelDetection 等の Data-Centric な手法の適用を検討している。
- Life: 3 月で帰国する友人にお別れ会をした。ジムで知り合った人とバスケをしたり、ハイキング(photo: StanfordDish)をして心身の健康維持にも努めている。
1. Research
AI Startup の Snorkel と対話して、VIHub(仮称) 向けの Data-Centric な機能の実装アイデアがブラッシュアップでき、満足のいく進捗があった。
03/12 📝 Meeting w/ Snorkel CV Team
03/21 🍽️ CS Visiting Scholars LunchProgress
Snorkel との対話
- CV Team とミーティングをして、こちらからは研究紹介、先方には SaaS のデモをしてもらった。
- 彼らのコア技術である、Weak Supervision は特に NLP や構造化データセット のタスクに有用で BigTech を主要顧客としてコンサルを含めてサービスを展開してる。ユーザーは簡単な Labeling Function を記述するだけで、Snorkel ライブラリが Graphical Model を使って Autolabeling を実行する。例えば Gmail は 迷惑メール検出 AI の開発 に Snorkel を使っている。
- 画像系のサービスについては、これからの感じだったが、Weak Supervision の活用や実用機能への落とし込みの例は参考になった。
- Snorkel のライブラリは Github で公開されているので、今後の研究に活かせるか検討していく。
- 直近での共同研究や共同開発の予定はないが、継続して情報交換をしていく。
PoC 開発
- 収集画像のモニタリング機能に、Image Storage への Store をトリガーに Embedding を生成し、それを Vector Database にリンクさせる実装を行なった
- 技術選定
- Multimodal Vector Embedding:
CLIP - Similarity Metrics:
Cosine Distance - Vector Database:
Pinecone
- Multimodal Vector Embedding:
- また Python SDK も バージョンアップした
- 技術選定
- これを活用して、次のような機能をリリースする予定
- Similarity Search: 画像の Embedding が近い画像を表示
- Semantic Search: Text Query に対して Embedding が近い画像を表示
- Duplicaction Detection: Cosine Distance が 1 の画像を検出し、重複画像を削除
- Mislabel Detection: 画像の Embedding が近いのに異なるラベルが付与されている画像を検出
- Anomaly Detection: Typical な画像の Embedding との距離が大きい画像から撮影不良や撮影条件の変化、異常を検出
https://image-search.msrks.dev
論文調査等
次の画像系の Foundation Model は Data-Centric アプローチに相性が良いと考えており、ぜひ取り込んでいきたい。
- Grounding DINO: Zero-shot Object Detection
- SAM(Segment Anything Model): Zero-shot Semantic Segmentation
Future Plan
- 上述した Data Centric AI 機能の実装を進める
2. Life
03/05 ✈️ Goodbye 🇨🇳Alan @SanJoseAirport
03/08 🍽️ Global Chef
03/10 🥾 Hiking @StanfordDish
03/16 🍽️ Farewell Party @🇰🇷Ed
03/24 ☕️ Tea Party @🇺🇸Tom&Steffi
03/28 Meeting 🇨🇳Valerie @SanMateoCollege
03/28 🥾 Hiking @MuirWoodsNationalMonumentLaoshi Village Website Project
Stanford の英会話教室で出会った友人の Alan が 3 月に一時帰国するので、空港まで見送りに行った。 彼は中国 海南島にある村の市長であり、観光業の振興のための website の構築を依頼され、プライベートプロジェクトとして引き受けた。 9 月にこちらに戻ってくるまでは、リモートでのコミュニケーションで継続する。
中国の Great FireWall に苦戦しながらも、技術選定やデザインの提案を行い、とりあえず形にはなってきた。直近の悩みは、Google 等のメジャーなソーシャル認証が使えないので WeChat(Tencent)や Tiktok に Developer 申請をしたが弾かれてしまっていること。
Farewell Party
Gates Building のルームメイトだった Ed が 3 月で帰国するので、お別れ会をした。今後も研究やキャリアの相談に乗ってくれるとのことで、感謝の気持ちを伝えた。
Hiking @ Muir Woods National Monument
国定公園である Muir Woods にハイキングに行った。自然の中でリフレッシュできた。
