贝壳在机器学习平台建设方面起步较早，因此我们可以利用这些成熟的技术和框架来优化模型管理和分发。例如，我们已经成功将 JuiceFS 等技术应用于模型存储和管理中，进一步提升了系统的效率和稳定性。我们基于 JuiceFS 的架构设计了一套 AI 模型仓库方案。

稿定科技（gaoding.com）是一家专注于为企业和个人提供视觉内容创新方案的科技公司，致力于打造全新的设计方式，帮助更多用户轻松掌控设计，创造价值。随着 AI 技术的加速发展，数据存储和管理成为支撑公司创新与发展的关键基础设施。最初，“稿定”的 AI 训练数据主要依赖公有云厂商提供的对象存储和 NAS 服务。但随着业务快速发展，单一云厂商的 GPU 资源已无法满足需求，“稿定”逐步转向多云架构

本文介绍了 JuiceFS 在 AI 训练与推理场景中的应用。在这些场景中，虽然延迟和 IOPS 重要，但吞吐性能和性价比同样不可忽视。针对传统并行文件系统（PFS）成本高且吞吐量与存储容量绑定的问题，JuiceFS 提供了一种低成本、高效益的解决方案。其通过数据与元数据分离的架构，能够将业务节点上的闲置磁盘、内存和网络资源池化，按需构建高性能的分布式缓存集群，避免了容量绑定的限制。

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。

大家好，我是来自 Juicedata 的高昌健，今天想跟大家分享的主题是《JuiceFS 在数据湖存储架构上的探索》，以下是今天分享的提纲：首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点，然后介绍什么是 JuiceFS，其次的话会再重点介绍一下关于 JuiceFS 和数据湖的一些结合和关联，最后会介绍一下 JuiceFS 和数据湖生态的集成。大数据存储架构变迁纵观整个大数据存储架构的变迁

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU 负载、磁盘 IO、缓存等指标的变化。JuiceFS 没有重复造轮子，而是通过 Prometheus 兼容的 API 对外提供实时的状态数据，只需将其添加到用户自建的 Prometheus Server 建立时序数据，然后通过 Grafana 等工具即可轻松实现 JucieFS 文件系统的可视化监控。快速上

大规模 AI 训练中最主要的需求是高读带宽，为此 3FS 采用了性能优先的设计策略，将数据存储在高速磁盘上，并且用户需要自行管理底层数据存储。这种方法提升了性能，但成本较高，维护也更繁重。此外，为了充分发挥底层硬件的性能，其架构实现了客户端到网卡的零拷贝，利用共享内存和信号量减少 I/O 延迟和内存带宽占用。此外，通过带 TLS 的 I/O buffer pool 和合并网络请求，3FS 增强了小

Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来， 存算分离的架构受到青睐，企业开开始对 Hadoop 的架构进行改造。今天与大家一起简单回顾 Hadoop 架构以及目前市面上不同的存算分离的架构方案，他们的利弊各有哪些，希望可以给正在存算分离架构改造的企业一些参考和启发。

在生物信息学研究领域，NextFlow 是一款主流数据分析工具，广泛应用于多种研究项目。MemVerge，内存融合基础架构厂商，其公有云计算平台产品 Memory Machine Cloud (MMCloud) 无缝集成了 NextFlow，为生物信息学家提供了自动化的高性能计算、checkpoint/restore 功能和云主机选型优化，使他们无需适应新的复杂基础设施管理环境。