TL;DR
OpenAI o1 のリリース後、Test-time Computing が大きく注目されている。
2 年目の研究方針を模索中だが、しばらくはこの技術の理解に注力したい。
プライベートではハロウィンシーズンを楽しんだ（写真はハロウィンの日に撮ったラボの集合写真）。
1. Research
Scaling Laws of LLM (Training)
学習時のコンピューティングにスケーリング則が成立することの発見が、現在の AI 開発投資を正当化し支えてきたのは周知の事実である。
- 1*: 古典機械学習では常識の Over-fitting の概念が、 確率的な学習則でパラメータを同定する Neural Network、LLM では、必ずしも当てはまらないというポジティブなサプライズがあり、更にその性能向上の度合いが予測可能であるのは驚くべきことだ。
- 2*: LLM の学習パイプラインもこの発見で革新が起き、小さな LLM でメタパラメータを最適化し、そこで確認したスケーリング則に基づいて、大きな LLM のメタパラメータを決定し、1 回だけ学習させるという手法が採られている。
- 3*: スケーリング則が、NVIDIA の GPU の大量購入の根拠になっており、同社の時価総額を世界一に押し上げた。
Test-time Computing
今、最もホットな AI の研究トピックである。
Karpathy が自身の YouTube でも説明していた Deepthinking Unit や、脳科学から来る Dual Process Theory は、 次のトークンを予測するだけの LLM だけでは不十分であることを示唆しており、OpenAI が o1 のリリースでそれを証明した。
さらにインパクトが大きいのは、推論コンピューティングにもスケーリング則が成立することを示したことである。一方で、アルゴリズムは秘匿されているため、皆がこの秘密の解明に夢中になっている。
私の所属するラボでも、Test-time Computing に関連する論文の Reading Group が発足した。
Research Direction
今後の研究の方向性を模索している。Manufacturing 分野に特徴的な主要なデータは、IoT から得られる時系列データと画像データである。
1 年目は主に画像データ x DataCentricAI x GenAI の研究を行ってきた。画像 AI 開発の MLOps サービス VIHub をリリースした。
DataCentricAI のアイデアを適用した、Digital Spec Catalog、Miss-Label Detection、Duplication Detection、Semantic Image Search、および Multimodal LLM と組み合わせた Spec Document Verification の機能を開発した。
2 年目の方向性はまだ決めかねているが、しばらくは "Test-time Computing" の技術を追いかけたい。
- Lamma 3.2 のリリース(Opensource で初の Multimodal 対応基盤モデル)があり、エッジ画像 AI への実用性を検証したい
- それに伴って、VIHub の開発再開も候補である
- また、GNN x 時系列データにも着手するのも一案である
Test-time Computing の応用先
Test-time Computing は推論時に時間がかかるデメリットがあるが、リアルタイム性を求めなければ応用先は広がる。
AI の性能が上がることで、創発現象により多くのタスクを AI に任せられるようになる。
特に、Test-time Computing は「深く考えないと解けない」ような問題に対して有効で、
たとえばコーディングの自動化が典型的な応用例である。
他には、ログデータを与えて数理モデルを構築し、因果推論を AI が行うといった応用も期待できる。
そのようなプラットフォームや SaaS の開発も検討したい。
さらに、理論科学研究では、実験データを説明するモデルを AI に深く考えさせることで、
理論物理などの発見を AI が行い、人間の役割は Verification になるかもしれない。
2. Life
10/17 🇯🇵 Election @ SF Embassy
10/20 Farewell Party of 🇨🇳 Lucas
10/27 Diwali Party
10/31 Health Check @ 🇺🇸 Hospital新学期が始まり、ESL のクラスにもいくつか参加し始めた。
米国で日本の衆院選への投票や健康診断を経験できた。
米国の選挙を現地で体験できる貴重な経験をしたが、次月に詳述する予定である。
