初学者必备,NeRF学习笔记洞察一切!


神经辐射场究竟是什么

辐射场:由光源发出的光线在场景中的传播和反射过程中所形成的能量分布。通俗来说就是一个函数,记录了空间某个位置处向某个方向的辐射信息,辐射信息(或者说能量分布)其实就是颜色、亮度、阴影等信息。这里的方向需要额外留意,它是nerf实现真实重建的重要因素之一!

由此引出神经辐射场的概念。
神经辐射场:用神经网络储存空间位置向任意方向的辐射。原文中的描述如下:

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

更加规范的公式表达如下:

输入3D位置(x,y,z)和2D的视角方向(),输出是颜色和体密度

NeRF具体的网络结果参考原文如下:

  • 3D坐标x输入第一个网络fσ,包含8层全连接层,每层256个神经元,ReLU激活;
  • 网络fσ输出体密度σ和一个256维向量,该向量与视角方向d送入fc(一层,128通道,ReLU激活)预测RGB;

由上面可知,NeRF是隐式建模,因为模型是储存在MLP里面的,模型就是MLP的参数,这和以往点云和mesh建模不同(点云/mesh是可以直接看到模型的)。NeRF必须查询一个个的三维点,然后渲染成一章图像。这种查看方式或者说渲染方式就叫体渲染。

在看体渲染之前。我们先看一下网络的效果如何:

可以看出,不同视角下颜色是不同的!这是NeRF相对于传统重建非常重要的优势之一~

NeRF的核心:体渲染

下面进入NeRF的第二个核心要点——体渲染。体渲染就是用来将颜色和密度渲染成2D图像的方法!

示意图如下:图a展示了从相机光心位置发出射线,射线上有采样点,将采样点和方向送入MLP获得颜色和体密度。图c展示的的就是沿射线的体密度分布曲线,是通过采样获得的,对曲线进行积分就能获得像素的颜色。这个过程就是体渲染

总结一下体渲染步骤:

  • 从相机光心发出穿透每个像素的射线,射线上取三维采样点;
  • 将采样点坐标和视角方向送入MLP计算颜色和体密度;
  • 按体密度积分(堆叠)颜色信息,形成2D图像

体渲染的公式如下:

当然实际使用的是离散版本公式:

隐式重建流程

在讲完神经辐射场和体渲染后,现在开始完整的重建流程~

在形成一个完成的pipeline之前,还有以下两个问题需要解决:

为了解决上述两个问题,NeRF提出了位置编码和分层采样过程

位置编码:

论文直观展示了位置编码的效果对比:

可以看出,去掉位置编码,模型无法表达高频的几何和纹理信息~

多层采用:

训练流程如下:

实验和总结

评价指标:

实验设置:

实验结果可以看出,各种材质的小球上面的散光也可以很好的表现出来~

消融实验:

总结

文提出的神经辐射场,从相机光心发出穿过像素的采样射线,在射线上取点,将其三维位置和视角方向用一个MLP映射到体密度和颜色,然后用体渲染堆叠采样射线上的体密度和颜色,获得像素值。像素值与GT图像求误差后反向传播,优化MLP参数。本文用这样的隐式重建方法实现了照片级的具有真实感的模型重建和渲染。

缺陷:

  • 渲染、训练速度慢;
  • 对视角数量和分布有较高要求;
  • 难以拓展到有背景的或者较大的场景。

原文链接:https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g


#   # https  # 光心  # 可以看出  # 或者说  # 隐式  # 云和  # 的是  # 这是  # 很好  # 第一个  # 就能 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237


相关推荐: N8N 自动化教程:HR 简历智能分析系统搭建指南  5分钟教你用AI将任何文章改写成儿童易懂版  Midjourney怎样做PPT模板_MidjourneyPPT模板生成【方法】  利用 Google AI 进行图像元数据分析与整理  提升效率:使用AI代理自动生成视频标题的实用指南  清洁扫地机器人传感器:解决导航和充电难题  快速生成PPT工具怎么用_快速生成PPT工具使用方法详细指南【教程】  LALAL.AI教程:音视频人声分离、降噪终极指南  泰米尔电影猜谜游戏:挑战你的电影知识极限!  小型邮件列表的终极指南:使用AI最大化营销效果  ATS优化:Euron ResumeAI打造高效求职简历  GoHighLevel AI Agent:终极指南,释放你的CRM潜力  AI赋能建筑合同管理:ChatGPT实用案例深度解析  终极人声移除器UVR5:AI驱动的免费开源音频处理神器  批改网AI检测工具怎样批量检测作文_批改网AI检测工具批量上传与处理流程【攻略】  历史影像解密:唇语专家如何还原一战士兵对话?  Google NotebookLM:科研文献综述的免费AI工具  SEO已死?重塑品牌线上可见性的新策略  Depseek怎么设置总结汇报重点_Depseek重点突出与关键词标注方法【步骤】  批改网AI检测工具怎样开启实时检测_批改网AI检测工具实时检测开启与延迟设置【指南】  2025最佳AI效率工具:释放生产力,革新业务运营  通义千问怎样写文案_通义千问文案写作教程【指南】  ChatGPT 角色扮演实战:提升沟通技巧与问题解决能力  AI加持:2025年最佳人工智能潜在客户生成工具  EcoFlow Delta 3 Max Plus:打造你的智能电力生态系统  Depseek能否批量生成部门总结_Depseek多部门总结批量生成步骤【方法】  Depseek怎么生成员工成长总结_Depseek成长维度提取与案例整合【方法】  DeepSeek是免费使用的吗 DeepSeek收费模式与Pro版本功能详解  途牛旅游AI怎样设置抢票提醒_途牛AI抢票提醒时间与频率设置【方法】  AI CRM集成:提升客户关系管理效率的关键  亚马逊KDP电子书掘金:月入1万美元的秘密策略  夸克AI能否查快递物流_夸克AI快递查询入口与单号输入【步骤】  Jetson SegNet: 语义分割深度探索与实践  农业模拟器25:AI助手与GPS终极指南  如何通过 DeepSeek 优化分布式存储系统架构  识别脱水警告信号:专家解读与健康指南  5分钟教你用AI将你的研究数据生成可视化的图表和摘要  AI Sales Assistant:提升销售效率与客户互动的终极指南  机器学习赋能AI生产力工具:提升效率与智能决策  AI数据分析报告生成工具有哪些_一键生成可视化报告的AI工具推荐  goPDF:AI驱动的PDF文档处理全方位指南,提升工作效率  AI无镜头相机Paragraphica:颠覆传统摄影的新方式  AI员工工具详解:添加与移除指南,提升效率  lovemo官网入口直达 lovemo网页版在线使用  AI产品经理:AI赋能与AI原生,未来PM的技能演进  都灵裹尸布之谜:AI揭示耶稣基督的真实面貌?  QRCODE.AI深度评测:AI驱动的二维码生成器优缺点分析  豆包AI怎样生成PPT目录页_豆包AI目录自动生成与页码添加【指南】  即梦ai能否生成节日主题插画_即梦ai节日主题关键词与元素库使用【攻略】  Base44 AI应用构建器深度评测:Wix 8000万美元收购的秘密 

 2023-12-26

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

南京市珐之弘网络技术有限公司


南京市珐之弘网络技术有限公司

南京市珐之弘网络技术有限公司专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。

 87067657

 13565296790

 87067657@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.