タグ

2024年11月19日のブックマーク (2件)

  • OpenAIの蒸留機能(Model Distillation)を使って運用中のLLMのコストを削減する取り組み

    私たちは以前にもGPT-4o-miniをファインチューニングして運用しているというお話をシェアして大きな反響いただきました。 上の記事では、GPT-4oの出力を人手で修正(アノテーション)して、GPT-4-miniをファインチューニングする運用をご紹介していますが、蒸留はGPT-4oの出力をそのまま使用するのが大きな違いです。 また、今回の発表の肝は、この蒸留をOpenAIのDashboad上で簡単に行えるようになったことです。 ですが、他社さんでも実際に蒸留を使っているというお話はあまり聞ないので、蒸留の基とModel Distillationの使い方をご紹介しつつ、使い所と注意点をシェアしたいと思います。 o1-previewとo1-miniが同時に発表されたことを見ても、今後も"高性能で高価なモデル"と"少し性能は劣るが安価なモデル"は(多少の時期の違いがあっても)セットでリリース

    OpenAIの蒸留機能(Model Distillation)を使って運用中のLLMのコストを削減する取り組み
  • セキュリティ瓦版サービスを立ち上げたときの話

    最近、セキュリティ瓦版というワードをXで見かけた。 とても身に覚えがあったので、当時のことを思い出しながら文章に起こしてみようと思う。 セキュリティ瓦版とは? 多分震源はここ。 脅威インテリジェンスサービスやOSINTレポートサービスみたいに銘打って、月次でトレンド情報を配信するサービスのことを指していると思われる。 なぜ立ち上げたか 当時自分はセキュリティ商材のSIをするチームに所属していた。 部署がCS(カスタマーサクセス)のアプローチを大事にして、アップ/クロスセルを狙うのだ!!!という方針を打ち出して、それに乗っかったのがきっかけ。 あと、自分の経験の中で、客との定例会議中にトレンド情報をネタにして雑談していたら反応がよかったという思い出があった。 →だったらこれをサービスとして立て付ければよいのでは?という安直な考え 何をしたか? OSINT(という名前を冠したトレンド情報)配信

    セキュリティ瓦版サービスを立ち上げたときの話