weixin_43899239的博客

原创 可微分渲染（Differentiable Rendering）【4】

可微分渲染（Differentiable Rendering）是一种结合和的技术，它允许通过渲染过程来与之间。这一技术的出现使得我们能够在图像生成过程中优化场景的参数，例如物体的形状、材质、光照等，从而在多个领域中得到了广泛应用。

原创 图像融合方法【3】

空间域方法：变换域方法：基于梯度的方法：基于卷积神经网络（CNN）的方法：其他相关研究：

原创 图像梯度、局部结构{2}

图像局部结构：

原创 图像结构先验【1】

图像结构通常指的是图像中的重要特征和模式，例如边缘、纹理、形状等。结构信息反映了图像中物体的排列、形状和相互关系，是理解和分析图像的重要基础。

原创 论文阅读||知识点-扩散模型3-Variational Lossy Autoencoder

通过将 VAE 与 Bits-Back Coding 关联起来，我们能够更深入地理解这两种技术的工作原理及其在信息处理中的应用。这种联系不仅有助于理论上的理解，也可以为实际应用提供有益的视角和启示。摘要表示学习试图在学习表示中暴露观测数据的某些方面，该表示适用于分类任务，如分类。例如，2d 图像的一个很好的表示可能是仅描述全局结构并丢弃有关详细纹理的信息。

原创 论文阅读||病害评估-1-Corroded pipeline assessment uthe Finite Element Method and discrete wavelet transforms

这项工作旨在开发一个高效的系统，通过结合多分辨率分析、数值模拟和元模型的混合模型，通过复杂腐蚀剖面的混合模型准确预测腐蚀管道的突发压力。神经网络的训练数据是通过三维合成模型的非线性有限元分析计算的失效压力，该模型的统计数据与实际腐蚀剖面相似。通过fem进行非线性分析研究与实验和半经验结果的比较结果表明，建模、边界和加载条件、失效准则和采用的分析过程对破裂压力的估计非常准确。通过fem进行非线性分析的结果表明，与用原始数据进行的分析相比，所有测试的小波族在失效压力上并没有造成较大的偏差。

原创 论文阅读||知识点-可解释AI-将基于特征的解释与功能创新和合作博弈论统一起来Unifying Feature-Based Explanations with Functional ANOVA and

基于特征的解释，使用扰动或梯度，是理解黑盒机器学习模型决策的流行工具。然而，这些方法之间的差异仍然大多是未知的，这限制了它们对从业者的适用性。在这项工作中，我们引入了一个统一的框架，用于局部和全局基于特征的解释，使用两个成熟的概念：来自统计的功能创新 (fanova)，以及来自合作博弈论的价值和交互的概念。我们引入了三个 fanova 分解来确定特征分布的影响，并使用博弈论度量，例如 shapley 值和交互，来指定高阶交互的影响。

原创 论文阅读||点云配准-10.Towards Explaining Uncertainty Estimates in Point Cloud Registration解释点云配准不确定性

这项工作的关键思想是利用可解释ai的最新进展，用于提供不确定性估计的概率icp方法。实验结果表明，这种解释方法可以合理地解释不确定性源，为知道何时以及为什么以人类可解释的方式失败的机器人提供了一步。在第6.1节中，对同一输入点云分析了不同扰动水平下每个不确定性源的影响，主要产生非负且可解释的Shapley值。在第6.2节中，研究了所有序列中连续点云对下不确定性源的影响，为每个源的重要性提供了见解。给定不同程度的扰动，输入点云和初始姿态会发生变化，icp算法将产生不同的不确定性估计。

原创 论文阅读-网络框架||自监督-1-2018-FoldingNet: Point Cloud Auto-encoder via Deep Grid Deformation

所提出的解码器仅使用具有全连接神经网络的解码器约 7% 的参数，但导致更具辨别力的表示，实现了比基准更高的线性 svm 分类精度。此外，理论上，所提出的解码器结构是一种通用架构，能够从 2d 网格中重建任意点云。最近直接处理点集中的点的深度网络，例如 pointnet，已经成为点云上的监督学习任务的最新技术，例如分类和分割。在这项工作中，提出了一种新颖的端到端深度自动编码器来解决点云上的无监督学习挑战。感知器的输出被馈送到两个连续的图层，其中每一层都对每个节点的邻域应用最大池化。基于图结构计算局部特征。

原创 论文阅读-||扩散模型||1-2020-去噪扩散概率模型Denoising Diffusion Probabilistic Models

我们最好的结果是通过对加权变分界进行训练获得的，该边界是根据扩散概率模型和与语言动力学匹配的去噪分数匹配之间的新连接设计的，我们的模型自然承认渐进式有损解压缩方案，可以解释为自回归解码的泛化。由于扩散模型似乎对图像数据具有出色的归纳偏差，我们期待研究它们在其他数据模态中的效用以及其他类型的生成模型和机器学习系统中的组件。：文章在多个数据集（如CIFAR10、LSUN等）上进行了实验，验证了扩散模型在生成高质量图像样本方面的有效性，并展示了其在Inception分数和FID分数上的优异表现。

原创 论文阅读||扩散模型-2-Diffusion Probabilistic Models for 3D Point Cloud Generation

受非平衡热力学扩散过程的启发，我们将点云中的点视为与热浴接触的热力学系统中的粒子，从原始分布扩散到噪声分布。因此，点云生成相当于学习将噪声分布转换为所需形状分布的反向扩散过程。具体来说，我们建议将点云的反向扩散过程建模为以特定形状潜在为条件的马尔可夫链。实验结果表明，我们的模型在点云生成和自动编码方面取得了具有竞争力的性能。：在点云生成、自编码和无监督表示学习任务上进行实验，验证模型的有效性。：从点云的条件似然的变分下界中推导出可处理的训练目标。：基于扩散过程，建模点云的逆扩散过程，用于点云生成。

原创 【深度学习知识点60】变分推理

原创 【论文阅读-31】PNCS:：基于像素级非局部方法的压缩感知欠采样mri图像重建

首先，对欠采样的k空间数据进行零填充，获得全尺寸的二维信号，并进行ifft，获得初步重构的mri图像。该方法的性能不仅优于现有的传统cs-mri方法，而且与现有的基于深度神经网络（deep neural network, dnn）的模型具有竞争力。该方法的主要贡献在于，与相似的贴片分组方法相比，相似的像素分组可以更好地将伪信号与真实信号分离开来。简单的haar变换可以进一步有效地将噪声与真实信号分离，因此该方法比传统的补丁级非局部方法能更好地实现欠采样mri图像重建。非局部方法的迭代细化重建模型。

原创 【深度学习知识点60】非局部自相似图像修复

的非局部均值图像修复**：这种方法针对基于块的图像修复算法中非局部平滑参数是由大量实验得到的经验值的问题，提出了一种新的自适应权值，准确的计算了图像修复算法中的非局部平滑参数，并在一定程度上提高了现有图像修复方法的修复效果。4. **非局部学习字典的图像修复**：这种方法提出一种新的基于学习的图像修复算法，与经典的稀疏表示模型不同，该方法将非局部自相似图像块统一进行联合稀疏表示，训练高效的学习字典，并使自相似块间保持相同的稀疏模式。1. **非局部均值算法**：这是一种早期的工作，它利用。

原创 深度学习知识点【59】灰度共生矩阵（GLCM

它可以捕捉图像中的空间结构和纹理信息。GLCM通过计算图像中各个灰度级对之间的出现频率来描述图像的纹理特征，这些特征包括能量（ASM）、对比度（Contrast）、熵（Entropy）、逆差矩（Inverse Difference Moment，IDM）和相关性（Correlation）等。1. **能量（ASM）**：表示图像中像素灰度级对之间的概率的平方和，即像素对之间的均匀性程度。5. **相关性（Correlation）**：描述了图像中像素对之间的线性依赖关系，与纹理的规则性和方向性有关。

原创 【深度学习知识点58】ORB（Oriented FAST and Rotated BRIEF）算法和HOG（Histogram of Oriented Gradients）直方图统计

ORB（Oriented FAST and Rotated BRIEF）算法和HOG（Histogram of Oriented Gradients）直方图统计是计算机视觉领域中两种重要的特征提取技术。

原创 【深度学习知识点57】自编码、编码-解码的区别

3. **模型结构**：自编码器的结构可以是简单的线性网络，也可以包含复杂的结构如卷积层或循环层，而编码解码架构则通常包含特定的编码器和解码器结构，如在Transformer模型中，编码器和解码器通过注意力机制相互交互。4. **训练方式**：自编码器的训练通常通过最小化输入和输出之间的差异来实现，而编码解码架构则需要考虑如何将输入序列有效地转换为输出序列，这通常涉及到更复杂的损失函数和训练策略。2. **结构相似性**：自编码器可以看作是编码解码架构的一个特例，其中输入和输出数据是相同的。

原创 论文总结【2024.11】IEEE Transactions on Geoscience and Remote Sensing

在本文中，为了充分利用 CNN 和 GCN 的优势，我们提出了一种新的多特征融合模型，称为注意力多跳图和多尺度卷积融合网络 （AMGCFN），该模型包括多尺度全 CNN 和多跳 GCN 两个子网络，用于提取 HSI 的多级信息。其次，我们构建了一个特征压缩模块（FCM），以减少细节信息的损失，并在 Swin transformer 的补丁标记降采样中浓缩更多的小尺度特征，从而提高了小尺度地面目标的分割精度。此外，边界保持损失通过将模型的注意力引导到对象的边界信息上，利用了 SGB 的显着特征。

原创 深度学习知识点【56】多层感知器（MLPs）和稀疏卷积特征提取

3. **可解释性和稳健性不明显**：在以往的研究中，稀疏卷积在可解释性和稳健性上没有表现出明显优势，但最新的研究可能已经解决了这一问题。2. **计算效率**：稀疏卷积可以减少不必要的计算，特别是在处理稀疏数据时，可以只计算有值的特征点，提高计算效率。2. **适用性**：MLPs可以处理各种类型的数据，包括非结构化数据，如图像、文本和声音。4. **稳健性**：最新的研究显示，稀疏卷积在性能和稳健性上可以超越传统的ResNet。3. **处理高维数据**：稀疏卷积适用于高维、空间稀疏数据的高效处理。

原创 配准9-SC2-PCR-高效、鲁棒的点云配准的二阶空间兼容性

同时，我们还证明了所提出的 sc2 是一种灵活的度量，可以与学习网络相结合以进一步提高它们的性能。我们的方法可以保证使用更少的采样找到一定数量的无异常值共识集，使模型估计更高效、更稳健。此外，所提出的 sc2 度量是通用的，可以很容易地插入到基于深度学习的框架中。进行了广泛的实验来研究我们的方法的性能。的方法，用于高效和鲁棒的点云配准 (pcr)，称为 sc2-pcr 1。在本文中，我们提出了一种基于二阶空间兼容性 (sc2) 度量的点云配准方法，称为 sc2-pcr。基于该度量，我们的配准管道采用。

原创 数据集-1--3DMatch数据集-点云配准、场景重建和物体识别

3DMatch数据集由美国卡内基梅隆大学的研究人员于2017年推出，旨在解决三维点云配准中的关键问题。通过提供高质量的标注数据，3DMatch数据集极大地推动了三维计算机视觉领域的发展。通过使用高精度的3D扫描设备获取多个室内环境的点云数据，然后经过预处理，包括去噪、配准和分割等步骤，以确保数据的质量和一致性。数据集中的点云数据具有高精度和高分辨率，能够支持复杂的3D匹配和重建任务。3DMatch数据集因其高质量的数据和广泛的应用场景，已成为三维计算机视觉领域不可或缺的资源。

原创 配准||-4-2024-综述Rigid pairwise 3D point cloud registration: A survey

本文提出了一种新的分类法，称为，它分类。相关数据集和评估指标也被组合并重新组织。讨论可能的开放研究问题和为三维点云配准领域的未来研究提出我们的愿景来结束我们的论文。

原创 深度学习知识点【54】种子选择、非最大抑制法

由于神经网络的初始化参数通常是随机的，不同的初始化参数可能导致不同的训练结果。通过设置固定的随机种子，可以确保每次实验的初始条件相同，从而使得实验结果具有可重复性。：随机种子的选择和变化可以帮助评估模型对于不同初始位置的敏感性，从而评估模型的鲁棒性。一个优秀的模型应该能够处理由于随机初始位置带来的变化，并找到最优解。

原创 点云知识点【2】2024点云研究团队、点云数据获取仪器

研究方向包括点云智能处理与深度学习、地理空间智能与GIS应用、激光扫描测量与无人机摄影测量等。- 个人主页：[http://www.escience.cn/people/zhangliqiang/index.html](http://www.escience.cn/people/zhangliqiang/index.html)。- 团队主页：[http://3s.whu.edu.cn/ybs/index.htm](http://3s.whu.edu.cn/ybs/index.htm)

原创 点云知识点【1】点对点配准（Pairwise Registration）和多视图配准（Multiview Registration）

点对点配准（Pairwise Registration）和多视图配准（Multiview Registration）是两种不同的三维点云配准方法，它们在处理多个视角数据时有以下主要区别：配准对象和范围：处理方法和策略：

原创 配准||-3-2021-综述A comprehensive survey on point cloud registration

进行了全面的调查，包括同源配准方法和跨源配准方法，并总结了基于优化的方法和深度学习方法之间的联系，以提供进一步的研究见解。这项调查还建立了一个新的基准来评估最先进的配准算法在解决跨源挑战方面。此外，本调查总结了基准数据集并讨论了跨域的点云配准应用。最后，本调查在这个快速发展的领域提出了潜在的研究方向。

原创 点云知识点|光流估计

算法首先为选定的特征点设定一个初始速度向量，然后利用相邻帧图像在该特征点附近的像素值变化来构建雅可比矩阵和误差函数，通过迭代优化不断更新速度向量直至收敛。：LK光流法在某些条件下表现良好，但也存在局限性，例如当相邻帧之间存在明显的像素强度变化时，LK光流法容易失败。：尽管LK算法最初是为了计算稠密光流而设计的，但它更容易应用于输入图像中的点的子集，因此成为了稀疏光流算法的重要技术。：光流是指在连续图像帧之间，由于物体或相机的运动，图像中物体、表面、边缘形成的明显移动模式。二是相邻像素之间的运动相似。

原创 点云知识点~|投影误差、点到面的正交距离、沿表面法线最小化误差、单应矩阵

单应矩阵是一个3x3的非奇异矩阵，它将一个射影平面上的点（三维齐次矢量）映射到另一个射影平面上，并且保持直线的映射为直线，具有保线性质。这种关系可以表示为： p2=Hp1 其中，p1和 p2​ 分别是第一幅和第二幅图像中的点的齐次坐标，H 是单应矩阵。

原创 数学学习笔记 | 1

等变图扩散模型Chroma，创造了自然界中以前未发现的具有可编程特性的新型蛋白质(Ingraham, Baranov et al., 2023)，指出几何深度学习是科学智能研究的重要工具之一 (Wang et al., 2023)。，发现了多达220万种理论上稳定的新型材料(Merchant et al., 2023)2023年图灵奖得主Yoshua Bengio与数十位人工智能专家在顶级学术期刊。谷歌DeepMind公司基于图神经网络构建了一种晶体材料稳定性预测模型。

原创 深度学习知识点【49】拓扑

如果存在一个连续的双射函数，并且其逆函数也是连续的，那么这两个拓扑空间就是同胚的，意味着它们在拓扑上是相同的。：一个拓扑空间的基是一组开集，使得空间中的每一个开集都可以表示为这些基集的并集。：在拓扑空间之间，如果一个函数的逆映射开集到开集，那么这个函数就是连续的。：一个集合，配合一个定义在其上的拓扑结构，这个结构定义了哪些子集是开集。：如果一个拓扑空间的每一个开覆盖都有一个有限子覆盖，那么它是紧致的。：如果一个拓扑空间不能被分成两个非空的开集，那么它是连通的。拓扑学是数学的一个分支，研究的是。

原创 深度学习知识点【48】腐蚀、膨胀、开运算、闭运算

灰度形态学由二值形态学扩展而来。数学形态学有2个基本的运算，即腐蚀和膨胀，而腐蚀和膨胀通过结合又形成了开运算和闭运算。这里的邻域可以是矩形结构，也可以是椭圆形结构、十字交叉形结构等，这个结构被定义为结构元。是先腐蚀后膨胀，可以消除亮度较高的细小区域，而且不会明显改变其他物体区域的面积。相当于是腐蚀反向操作，图像中较亮的物体尺寸会变大，较暗的物体尺寸会减小。相反，先膨胀后腐蚀。可以消除细小黑色空洞，也不会明显改变其他物体区域面积。取每一个位置的矩形邻域内值的。实质造成图像的边界收缩，

原创 深度学习【47】“channel groups“（通道分组）和“channel shuffle“（通道重排）

例如，在MobileNetV2中，使用`nn.Conv`函数的`groups`参数来完成逐个通道的卷积操作，这是深度可分离卷积的一部分，目的是减少参数量和计算量，从而提升运算速度。- 在PyTorch中，`ChannelShuffle`模块就是用来实现这一功能的，它接收一个输入张量，并将其通道划分为多个组，然后在这些组内部重新排列通道。在深度学习中，"channel groups"（通道分组）和"channel shuffle"（通道重排）是两种不同的技术，它们在网络结构设计中扮演着重要的角色。

原创 深度学习知识点【48】知识蒸馏

是一种的技术，其核心思想是将一个训练好的大型复杂模型（）的知识转移到一个结构更简单、参数更少的小型模型（）中。以下是知识蒸馏的一些主要方法：1. **基于响应的蒸馏（Response-based Knowledge Distillation）**：- 这是最基本的知识蒸馏方法，直接使用教师模型的softmax输出来指导学生模型的训练。这种方法主要的信息。例如，Hinton蒸馏方法就是使用教师模型的softmax输出作为软标签来训练学生模型。

原创 深度学习【47】流形、拓扑空间

流形上的每个点都有一个邻域，这个邻域可以通过一个同胚映射与欧几里得空间中的一个开集（通常是开球）建立一一对应关系。换句话说，流形在局部范围内看起来像一个平面或直线，但在整体上可以具有复杂的形状和结构。在数学的许多分支中，如几何学、拓扑学、微分几何和代数几何等，流形都是一个重要的概念。根据维度的不同，流形可以分为一维流形、二维流形、三维流形等。流形（Manifold）是数学中的一个概念，主要用于描述。拓扑学作为数学的一个分支，研究的就是这些。流形的定义可以简单地理解为：一个流形是一个。

原创 文物修复28|基于深度学习的三维点云补全处理与分析的综合综述

深度学习(dl)的进展令人印象深刻地提高了点云补全的能力和鲁棒性。这项工作旨在对各种方法进行全面调查，包括基于点、基于视图、基于卷积的、基于图的、基于生成模型、基于转换器的方法等。本调查总结了这些方法之间的比较。此外，这篇综述总结了常用的数据集，说明了点云补全的应用。最后，我们还讨论了这种迅速扩展领域的可能研究趋势。面临的挑战：结构信息、细粒度的完整形状挑战。点云补全是由部分点云导出的。

原创 深度学习知识点【47】非欧几里得结构化数据

这些数据的特点是它们不依赖于固定的网格结构，而是具有更灵活和动态的拓扑结构。非欧几里得结构化数据（non-Euclidean structured data）通常指的是那些。

原创 深度学习【46】点云底层形状、结构假设

这些关键点集与上界形状（Upper-bound Shapes）一起，反映了PointNet的鲁棒性，即丢失一些非关键点不会改变全局形状特征。

原创 深度学习【46】细粒度

在粗补阶段，网络通过特征学习和分层特征融合来恢复底层模型的整体形状和不完整点云的形状细节。在精细完成阶段，网络采用结构增强模块来加固粗修形状的相关形状结构，从而获得具有更细粒度细节的完整几何形状。因此，细粒度的完整形状涉及到从部分数据中恢复物体的完整几何结构，并且能够捕捉到物体的细微特征，这对于3D视觉和机器人应用是非常重要的。细粒度图像分类的难点在于，同一类别的不同子类之间往往仅在细微处存在差异，例如耳朵形状、毛色等，这使得分类任务变得非常困难。在3D视觉和机器人应用中，细粒度也指。

原创 文物修复27|2023基于点云的工件碎片拼接和恢复研究进展

虽然Artifact的保护技术得到了极大的改进，但它仍然面临着许多局限性和问题:1)由于环境原因，Artifact遭受不同程度的腐蚀损伤;2)在Artifact挖掘部位，主要记录方法包括拍摄照片、手动记录、绘图和配准，导致单一内容;3)缺乏关于未挖掘Artifact的信息严重，传统的人工恢复不仅需要时间，而且会对Artifact造成二次损伤4)传统的恢复技术只能尽可能地保持Artifact的当前状态，不能避免对Artifact的破坏计算机技术不受虚拟恢复中的时间和空间的限制，为工件拼接提供了动态演示。

原创 深度学习知识点【45】RGB-D图像和点云数据

它通常由一个RGB图像和一个与之对应的深度图像组成，这两个图像的尺寸相同，每个像素点都对应一个深度值（通常是距离相机的距离）。点云数据是由一组在三维空间中的点组成的数据集，每个点包含其在空间中的坐标（通常是x、y、z坐标）以及可能的其他信息（如颜色、强度等）。总的来说，RGB-D图像和点云数据都是处理三维信息的重要工具，它们各有优势和适用场景。- **颜色信息**：如果点云数据包含颜色信息，每个点还会有对应的颜色值。- **深度信息**：每个像素点的深度值，表示该点到相机的距离。