はてなブックマーク

みなさん、こんにちは！9月は久しぶりに個人開発をしてました。 今回はGeminiを使って、ちょっと変わった文字起こしアプリを開発したので、その裏側をお話ししていきたいと思います。その名も「無限もじおこし」です！ 「無限もじおこし」はその名の通り、時間無制限、無料で使える文字起こしアプリです。普通に考えたら「え？大丈夫なの？」って感じですよね笑 でも、ちゃんと収益的に成り立つ算段を立てています。この記事ではそこらへんの考えや、アプリ開発における技術的な学びについてまとめていきたいと思います！ ※Android版は鋭意開発中です！ウェイトリストはこちら 「無限もじおこし」の紹介主な特徴音声の文字起こしが無制限に可能 （10時間でも100時間でも！）使いやすさにこだわった機能 （コピー、シェア、自動タイトル生成など）「よく使う単語帳」に登録すると、文字起こしの変換精度アップバックアップ機能がある

Gemini 1.5 Proが音声ファイルにも対応したということで、Whisper大好きマンとして、どれほどのものなのかを簡単に調査したいと思います。 Gemini 1.5 Pro on #VertexAI also supports processing audio inputs - including music, speech, and even the audio portion of videos. 🎵 This means it can give high-quality transcriptions or be used to search & analyze multimodal content. → https://t.co/CLMN3wNmeP #GoogleCloudNext pic.twitter.com/kEy2vSVpK0 — Google DeepMind

この解説記事を書くにあたって、以下の記事を大変参考にしました。ありがとうございます！ただバージョンの違いがあったのか、これだけでは動かなかったため、補足という形で本記事は情報を補うものとしています。 概要サーバレスで動かすにあたって、今回はRunPod.ioを利用します。こちらでリクエストが来たタイミングでコンテナを立ち上げて、レスポンスを返すAPIを作ろうと思います。 また常時立ち上げているわけではないので、お金もかからなさそう。実際にどれくらいかかるかは後ほど検証しようと思います。今回はAPI化できた喜びを原動力として、立ち上げる方法についてわかりやすく解説します！ デプロイの流れとしてはこんな感じです！ 1.ローカルでStyle-Bert-VITS2の環境を構築する ↓ 2.Docker Hubへデプロイ ↓ 3.RunPod.io上でDocker HubのイメージをプルしてAPIを

最近、推したいプロンプト実験管理方法を見つけたので、そちらの紹介記事になります！これを見つけてから、めちゃ楽になりました！ 前提「ん？実験管理？」と思う方もいるかもなので、軽く背景のところから共有したいのですが、システムに組み込むプロンプト作りは、すごい難易度が高いなーと思ってます。 何が大変かというと、求められる品質が高いからです！ 出力形式が期待通りでないとシステムエラーになってしまう。10回中9回成功しても、それはエラー率10%なので安定とは言えない。 様々な要件がある。出力形式や文字数・レイテンシ・コストなど、ルールベースで判定できるものもあれば「ちゃんと指示に従っているか？」「魅力的なアウトプットか？」など定性的なものもある。これらの要件を満たすプロンプトを作る必要がある ということで、上記の「多様的な要件を満たす出力」と「何回やっても期待する出力が出る安定性」を兼ね備えたプロン

みなさん、Fine-tuning使ってますか！？ 一週間ほど前に、OpenAI社からgpt-3.5-turboがFine-tuning可能になったとのアップデートがありましたね。 ニュースを見て凄そうと思いつつ、少し作業のハードルがあったり、プロンプトエンジニアリングで事足りてるから、そんなに使わないかも？🤔と思ってました。 ただ今回、重い腰を上げて、Fine-tuningを試してみたら、想像以上の結果が得られたので、そのプロセスと学びをまとめます！ システムに組み込む際の Prompt Engineering で苦戦している皆さん、Fine-tuningはかなり希望になると思います…！これからはPromptをゴニョゴニョするよりも、Fine-tuningに力を入れていこうと思いました。 ではまとめていきます！ 前置きとこれまでの課題今回は、音声メモ日記アプリ「シャべマル」の絵文字分類タ

日常生活の中で生まれた「できごと」や「思ったこと」を、楽しく記録できるメモ日記アプリを開発しました！ しゃべったら、あとは丸投げして良い感じにメモを残してくれる「シャべマル」です！（笑） シャべマルの紹介具体的には、、 絵文字で見返せるメモアプリあんまりないですが、良いですよ…！音声入力でメモ内容を作成。かなり高精度な音声認識モデル（Whisper）を用いているので、想像以上にちゃんと文字起こししてくれます！ 「今日あったこと」など、日記として利用するのもオススメです。1日を振り返る機会になって、それが後から振り返りできるので、あの時こんなこと考えていたなー、といった発見につながるはずです！ そして個人的にここが目玉なのですが、文字起こしされたメモには、「タイトル」「絵文字アイコン」「感情アイコン」「カテゴリ」が自動で紐づきます！ これ何が良いかというと、圧倒的に見返しやすくなるんですよね

MicrosoftがguidanceというLangChainのオルタナティブとなるかもしれないOSSを発表しました。 Readmeを参考に、内容を日本語でまとめていきます。 GuidanceとはGuidanceは、従来のプロンプトやCoTよりも、現代の言語モデルを効果的かつ効率的に制御することができます。Guidanceのプログラムを使うと、生成、プロンプト、論理制御を一つの連続した流れに組み込むことができます。 これは、言語モデルが実際にテキストを処理している方法に適合しています。Chain of Thought やその多くのバリエーション（例えば、ART、Auto-CoT など）のようなシンプルな出力構造は、LLM の性能向上に役立つことが示されています。GPT-4 のようなより高性能なLLMの登場により、さらに豊かな構造が可能となり、ガイダンスを使えばその構造をより簡単かつ安価に実現

Whisper APIは、音声ファイルをテキストデータに変換する、非常に便利なAPIです。しかし、その利便性にも関わらず、25MB以上の音声ファイルには対応していないという課題がありました。今回の記事では、これを解決し、どんなサイズの音声ファイルでも文字起こしができるようになった方法を紹介していきます。 下記にコードを載せてあります。詳しくはこちらをご確認ください！ 仕組みについてまず、25MB以下の音声ファイルに関しては、通常通りWhisper APIを使用して文字起こしを行います。これにより、小さな音声ファイルは引き続き簡単に扱えるようになっています。 ここで問題となるのが、25MBを超える音声ファイルです。その対応策として、次の2つの方法が提案されました。 音声ファイルを圧縮してサイズを縮小する 音声ファイルを複数の小さなファイルに分割する まず、音声ファイルを圧縮することで、25M