𝗟𝗮𝗿𝗴𝗲 𝗟𝗮𝗻𝗴𝘂𝗮𝗴𝗲 𝗠𝗼𝗱𝗲𝗹𝘀 – 𝗮𝗽𝗽𝗹𝗶𝗲𝗱 𝗶𝗻 𝗽𝗿𝗮𝗰𝘁𝗶𝗰𝗲.
(Deutsche Version unten)
At our recent Headsquare Group AllHands, I had the chance to share a short insight into how I'm currently working with AWS Bedrock and Open-WebUI – and how custom LLMs could play a role in future Architecture Designs.
𝐇𝐞𝐫𝐞’𝐬 𝐭𝐡𝐞 𝐬𝐢𝐭𝐮𝐚𝐭𝐢𝐨𝐧:
⚠️ Public models like ChatGPT are powerful, but come with challenges especially in terms of compliance and domain-specific accuracy.
➡️ A new approach: Self-hosted, fine-tuned, and embedded into our own future systems.
𝐖𝐡𝐚𝐭 𝐈’𝐦 𝐞𝐱𝐩𝐥𝐨𝐫𝐢𝐧𝐠:
✅ AWS Bedrock for secure access to top-tier foundation models (Claude, Titan, Mistral and more), with fine-grained control
✅ Fine-tuning with internal insurance data not just internet knowledge from Reddit & Co.
✅ OLLAMA + Open-WebUI as an alternative: self-hosted, open source, flexible, and secure
𝐖𝐡𝐚𝐭 𝐞𝐱𝐜𝐢𝐭𝐞𝐬 𝐦𝐞 𝐦𝐨𝐬𝐭: how these building blocks help us evolve internal knowledge agents making Generative AI actually useful, privacy-aware, and value-creating.
Thanks again for the great questions and discussions. I'm looking forward to discuss future LLM Solutions with my Headsquare Group Colleagues.
What do you think about Self-Hosted LLM's. Do you trust ChatGPT about your data?
𝗚𝗿𝗼ß𝗲 𝗦𝗽𝗿𝗮𝗰𝗵𝗺𝗼𝗱𝗲𝗹𝗹𝗲 𝗽𝗿𝗮𝗸𝘁𝗶𝘀𝗰𝗵 𝗴𝗲𝗱𝗮𝗰𝗵𝘁.
Bei unserem letzten Headsquare Group AllHands durfte ich einen kurzen Einblick geben, wie ich aktuell mit AWS Bedrock und Open-WebUI arbeite und welche Rolle eigene LLMs in zukünftigen Architekturkonzepten spielen könnten.
𝐃𝐢𝐞 𝐀𝐮𝐬𝐠𝐚𝐧𝐠𝐬𝐥𝐚𝐠𝐞:
⚠️ Öffentliche Modelle wie ChatGPT sind leistungsstark, bringen aber auch Herausforderungen mit sich insbesondere in Bezug auf Compliance und branchenspezifische Genauigkeit.
➡️ Ein neuer Ansatz: Self-hosted, feinjustiert und in unsere zukünftigen Systeme eingebettet.
𝐖𝐚𝐬 𝐢𝐜𝐡 𝐟𝐞𝐬𝐭𝐠𝐞𝐬𝐭𝐞𝐥𝐥𝐭 𝐡𝐚𝐛𝐞:
✅ AWS Bedrock für sicheren Zugang zu führenden Foundation Models (Claude, Titan, Mistral und weitere) mit feingranularer Kontrolle
✅ Fine-Tuning mit internen Versicherungsdaten statt Internetwissen à la Reddit & Co.
✅ OLLAMA + Open-WebUI als Alternative: Self-hosted, Open Source, flexibel und sicher
𝐖𝐚𝐬 𝐦𝐢𝐜𝐡 𝐛𝐞𝐬𝐨𝐧𝐝𝐞𝐫𝐬 𝐫𝐞𝐢𝐳𝐭: wie wir mit diesen Bausteinen unsere internen Wissensagenten weiterentwickeln und Generative AI sinnvoll, datenschutzkonform und wertschöpfend einsetzen.
Vielen Dank nochmals für die spannenden Fragen und Diskussionen. Ich freue mich darauf über zukünftige LLM-Lösungen mit meinen Headsquare Group Kolleginnen und Kollegen zu sprechen.
Was haltet ihr von Self-Hosted LLM Lösungen? Vertraut ihr ChatGPT mit euren Daten?
#AWSBedrock #OpenWebUI #LLM #TechInsights #TeamHeadsquare
