TL;DR
- Research: Data-Centric AI のアプローチの適用を検討中。Snorkel AIとやりとり開始。
- Life: Lunar New Year を楽しんだ。ワークアウトのパートナーができ、健康維持に努めている。
AI の進化は留まるところを知らない。今月は、OpenAI のSoraの発表に皆が驚いた。 去年 Stanford CS の PhD 学生が 同様のコンセプトでPikaを創業し、 4 ヶ月前には Series-A ラウンドで $100M を調達(Valuation: $500M)していたが、Sora のようなサービスの登場に今後どうなってしまうのか気になるところである。 とはいえ、日本の AI スタートアップでありがちな、つまらないものを「手厚いお客様対応」で売りつけて、小さくまとまるようなビジネスモデルはこちらでは流行らないので、チャレンジングな価値創出に注目して応援したい。
1. Research
02/06 🍽️ Visiting ScholarsVisiting Scholars Lunch では、Chris Manning 教授と話すことができた。 彼は、Stanford CS の Head of AI であり、NLP の分野で有名な研究者である。 また 3 月で任期を終える 3 名の Visiting Scholars にもお別れを伝えた。
Progress
PoC 開発
- 画像のモニタリングシステムとして、Image Storage への Store をトリガーに Vector Embedding を生成し、それを Pinecone にリンクさせる実装を進めている。
- Text Only な Vector Embedding API としては OpenAI の text-embedding-ada 系が 定番だが、今回は Multimodal なので、性能とコストのバランスを考慮して、モデル選定を進めている。
- Image and Vector Embedding としては、OpenAI の CLIP が最も有名だが、API を公開していないので、別の CLIP 系 API の探索と、同時に transformers(hugging face)を使った自前サーバーでの実装も検討している。候補としては、Meta の ImageBind や、Salesforce の BLIP など。
- また、機能開発を進めると同時に、Demo 用 Project を作成しながら、UX/UI の改善を進めている。
論文調査等
- Sora(OpenAI): Video Generation
- Gemini1.5(Google): Multimodal LLM of 10M Context length
- Evo(Together AI): Foundation Model of Biology: from molecular to genome scale.
- Mamba: Superfast LLM
- LLM のアーキテクチャを構成するモジュールとして、SSM(State-Space Model)がかなり盛り上がっている。Attention メカニズムの導入は、かなりヒューリスティックなものだったが、SSM で代替できると、より数学的に合理的で納得感あるものにもなると思う。
Future Plan
- Chris 教授に、ラボ発スタートアップの Snorkel(Series-C, $1B, 2021 時点)と繋いでもらい、やりとりを開始した。
- Data-Centric AI のアプローチを習得し、自分のサービスに適用していきたい。
2. Life
02/02 🍽️ Global Chef
02/03 🍽️ @🇺🇸Tom&Steffi
02/04 🍽️ @🇮🇳Padma&Mohan
02/04 🌙 Lunar New Year Celebration @SunnyvaleLibrary
02/07 🌙 Lunar New Year Celebration @Stanford
02/10 🌙 Lunar New Year Celebration @🇨🇳Alan&Safari
02/11 🏈 Super Bowl
02/23 🍽️ Global Chef
02/28 🎤 The Sound of Black Music @BingConcertHall,StanfordLunar New Year
太陰暦の正月を祝う祭り。友人宅に招待してもらい、料理と会話を楽しんだ。公共図書館や Stanford でもイベントがあり参加した。
Super Bowl, Gun Shooting
SF 49ers vs KC Chiefs を Stanford で観戦。 残念ながら 49ers は負けてしまったが、延長までもつれ込む白熱した試合だった。 一方、Chiefs のパレードで銃乱射が起きたり、 Stanford でも Gun Shooting Alertが出るなど、 アメリカの銃社会問題を肌身に感じた。
The Sound of Black Music
Bing Concert Hall で開催された音楽イベント。The Sound of Music の有名な曲("Do-Re-Mi", "Edelweiss", etc.)を黒人アーティストが歌いあげた。良い雰囲気だった。
