Python-DanceNet基于Keras用自动编码器LSTM和混合密度网络的舞蹈生成器资源-CSDN下载

共11个文件

py：5个

gif：2个

ipynb：1个

需积分: 50 141 浏览量 2019-08-11 06:25:54 上传评论 1 收藏 1.47MB ZIP 举报

【Python-DanceNet基于Keras用自动编码器LSTM和混合密度网络的舞蹈生成器】在当前的AI领域，舞蹈生成已经成为一个引人入胜的研究方向。Python-DanceNet项目利用了深度学习的力量，特别是结合了自动编码器、长短期记忆网络（LSTM）和混合密度网络（Mixture Density Network），构建了一个能够生成创新舞蹈动作序列的模型。这个项目的目标是为舞蹈创作提供一种自动化和个性化的方法，使得非专业程序员也能探索艺术与技术的融合。 1. **自动编码器（Autoencoder）** 自动编码器是一种无监督学习的神经网络模型，它由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器将输入数据压缩成较低维度的表示，而解码器则尝试从这个低维表示还原原始输入。在DanceNet中，自动编码器用于学习舞蹈动作的潜在空间，提取关键特征。 2. **LSTM（Long Short-Term Memory）** LSTM是一种特殊类型的循环神经网络（RNN），特别适合处理时间序列数据，如音乐或舞蹈动作序列。LSTM通过其门控机制来解决传统RNN的梯度消失问题，从而更好地捕捉长期依赖关系。在DanceNet中，LSTM用于理解和预测舞蹈动作序列的时间动态，生成连续的动作流。 3. **混合密度网络（Mixture Density Network, MDN）** 混合密度网络是一种概率模型，可以输出多元分布，比如混合高斯模型。在DanceNet中，MDN用于估计下一个舞蹈动作的概率分布，这样模型就可以生成多样性和真实性的舞蹈序列，而不是单一的预测值。MDN允许模型生成多个可能的后续动作，增加了舞蹈生成的创意性和多样性。 4. **Keras框架** Keras是一个高级神经网络API，运行在TensorFlow、Theano或CNTK等后端之上。它简化了深度学习模型的构建、训练和评估过程，使得DanceNet的实现变得更加直观和高效。在Python中使用Keras可以快速地搭建和实验各种神经网络架构。 5. **舞蹈生成的应用** DanceNet的生成器可以用于多个应用场景： - **创新舞蹈编排**：为舞蹈编导提供新的灵感来源。 - **虚拟角色动画**：在游戏或电影制作中生成逼真的舞蹈动画。 - **智能健身教练**：根据用户的身体条件和偏好生成个性化的舞蹈教学序列。 - **研究舞蹈的多样性**：通过分析生成的舞蹈序列，研究不同风格和技巧的组合。 6. **项目结构与代码分析** jsn5-dancenet-9694c3f可能是项目源代码的版本控制库名称。深入研究这个文件，我们可以了解DanceNet的具体实现细节，包括网络结构、训练过程、数据预处理以及生成舞蹈序列的函数等。 Python-DanceNet是一个结合了自动编码器、LSTM和MDN的创新项目，它在Keras的帮助下，实现了舞蹈动作序列的自动生成，对艺术创作和娱乐产业具有很大的潜力。通过理解和应用这些技术，开发者不仅可以掌握深度学习在时间序列生成领域的应用，还能探索跨领域的技术融合，如计算机视觉、自然语言处理和音乐生成。

资源推荐

资源详情

资源评论

收起资源包目录

Python-DanceNet基于Keras用自动编码器LSTM和混合密度网络的舞蹈生成器.zip （11个子文件）

jsn5-dancenet-9694c3f

demo2.gif 452KB

create_data.py 709B

model.py 3KB

gen_lv.py 563B

video_from_lv.py 518B

LICENSE 1KB

floyd.yml 119B

README.md 3KB

dancegen.ipynb 5KB

mdn.py 8KB

demo.gif 1.03MB

# DanceNet - Dance generator using Variational Autoencoder, LSTM and Mixture Density Network. (Keras) [![License: MIT](https://img.shields.io/badge/License-MIT-yellow.svg)](https://github.com/jsn5/dancenet/blob/master/LICENSE) [![Run on FloydHub](https://static.floydhub.com/button/button-small.svg)](https://floydhub.com/run) This is an attempt to create a dance generator AI, inspired by [this](https://www.youtube.com/watch?v=Sc7RiNgHHaE&t=9s) video by [@carykh](https://twitter.com/realCarykh) ![](https://github.com/jsn5/dancenet/blob/master/demo.gif ) ![](https://github.com/jsn5/dancenet/blob/master/demo2.gif ) ## Main components: * Variational autoencoder * LSTM + Mixture Density Layer ## Requirements: * Python version = 3.5.2 ### Packages * keras==2.2.0 * sklearn==0.19.1 * numpy==1.14.3 * opencv-python==3.4.1 ## Dataset https://www.youtube.com/watch?v=NdSqAAT28v0 This is the video used for training. ## How to run locally * Download the trained weights from [here](https://drive.google.com/file/d/1LWtERyPAzYeZjL816gBoLyQdC2MDK961/view?usp=sharing). and extract it to the dancenet dir. * Run dancegen.ipynb ## How to run in your browser [![Run on FloydHub](https://static.floydhub.com/button/button-small.svg)](https://floydhub.com/run) * Click the button above to open this code in a FloydHub workspace (the [trained weights dataset](https://www.floydhub.com/whatrocks/datasets/dancenet-weights) will be automatically attached to the environment) * Run dancegen.ipynb ## Training from scratch * fill dance sequence images labeled as `1.jpg`, `2.jpg` ... in `imgs/` folder * run `model.py` * run `gen_lv.py` to encode images * run `video_from_lv.py` to test decoded video * run jupyter notebook `dancegen.ipynb` to train dancenet and generate new video. ## References * [Original project video](https://www.youtube.com/watch?v=Sc7RiNgHHaE&t=9s) by Cary Huang * [Building autoencoders in keras](https://blog.keras.io/building-autoencoders-in-keras.html) by [Francois Chollet](https://twitter.com/fchollet) * [Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras](https://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras/) * [Generative Choreography using Deep Learning](https://arxiv.org/abs/1605.06921) * [Mixture Density Networks](http://blog.otoro.net/2015/06/14/mixture-density-networks/) by [David Ha](https://twitter.com/hardmaru) * [Mixture Density Layer for Keras](https://github.com/cpmpercussion/keras-mdn-layer) by [Charles Martin](https://github.com/cpmpercussion/)

评论收藏

内容反馈