Writehere-url
目录
- 1 多媒体信号与信息处理
- 2 表示
- 3 基本概念
- 4 视觉感知
- 5 听觉感知
- 6 颜色空间
- 7 像素
- 8 体素
- 9 混合像元
- 10 图像分辨率
- 11 空间分辨率
- 12 帧率
- 13 媒体类型
- 14 图形
- 15 图像
- 16 退化图像
- 17 序列图像(图像序列)
- 18 可见光图像
- 19 全色光图像
- 20 深度图像
- 21 超光谱图像
- 22 高动态范围图像
- 23 全息图像
- 24 医学图像(医学影像)
- 25 动画
- 26 音频
- 27 视频
- 28 关键帧
- 29 立体视频
- 30 多视视频
- 31 多视视频加深度
- 32 任意视点视频
- 33 自由视点视频
- 34 三维视频
- 35 全景视频
- 36 监控视频
- 37 图化文字
- 38 三维点云
- 39 媒体
- 40 多媒体
- 41 超媒体
- 42 富媒体
- 43 社交媒体
- 44 自媒体
- 45 静态媒体
- 46 连续媒体
- 47 感觉媒体
- 48 可视媒体
- 49 表示媒体
- 50 表现媒体
- 51 传输媒体
- 52 流媒体
- 53 存储媒体
- 54 多模态
- 55 跨媒体
- 56 图像稀疏表示
- 57 压缩感知
- 58 视觉特征
- 59 纹理特征
- 60 颜色特征
- 61 形状特征
- 62 .运动特征
- 63 光谱特征
- 64 特征表示
- 65 底层特征
- 66 中层特征
- 67 高层特征
- 68 局部特征
- 69 区域特征
- 70 全局特征
- 71 深度特征
- 72 信息获取
- 73 图像采集
- 74 图像传感器
- 75 摄像机网络
- 76 多摄像机系统
- 77 三维成像
- 78 稀疏成像
- 79 高分辨率成像
- 80 多光谱成像
- 81 高动态范围成像
- 82 微波辐射成像
- 83 微波遥感成像
- 84 航空成像
- 85 卫星遥感成像
- 86 飞行时成像
- 87 超声成像
- 88 磁共振成像
- 89 分子成像
- 90 媒体编解码
- 91 编码
- 92 率失真
- 93 率失真优化
- 94 失真估计
- 95 失真模型
- 96 码率分配
- 97 编码器
- 98 解码
- 99 解码器
- 100 帧内编码
- 101 群体图像编码
- 102 运动补偿
- 103 立体视频编码
- 104 多视视频编码
- 105 分布式视频编码
- 106 分层视频编码
- 107 可分级视频编码
- 108 可扩展视频编码
- 109 场景视频编码
- 110 .屏幕内容视频编码
- 111 .群体视频编码
- 112 光场编码
- 113 视频转码
- 114 音频编码
- 115 空间音频编码
- 116 高保真音频编码
- 117 无损音频编码
- 118 网格编码
- 119 编码标准
- 120 静态图像专家组
- 121 运动图像专家组
- 122 视频编码专家组
- 123 数字音视频编码技术标准
- 124 图像编码标准
- 125 视频编码标准
- 126 立体视频编码标准
- 127 音频编码标准
- 128 处理
- 129 基本
- 130 信号处理
- 131 滤波算法
- 132 稀疏分解
- 133 小波分解
- 134 小波变换
- 135 图像计算学
- 136 图像处理
- 137 图像预处理
- 138 图像建模
- 139 图像配准
- 140 亚像素配准
- 141 多模态图像配准
- 142 非刚性图像配准
- 143 图像恢复
- 144 图像重构
- 145 图像增强
- 146 光照补偿
- 147 混合光谱分解
- 148 图像超分辨率
- 149 图像分解
- 150 图像复原
- 151 图像盲复原
- 152 图像去噪
- 153 图像去模糊
- 154 盲去模糊
- 155 反色调映射
- 156 图像融合
- 157 双目立体匹配
- 158 医学图像处理
- 159 医学图像分割
- 160 医学图像配准
- 161 医学图像融合
- 162 图像特征提取
- 163 鉴别特征提取
- 164 图像标注
- 165 图像区域标注
- 166 图像语义理解
- 167 视频处理
- 168 视频超分辨率
- 169 视频标注
- 170 视频分析
- 171 镜头分割
- 172 相似关键帧识别
- 173 视频副本检测
- 174 视频摘要
- 175 对象分析
- 176 对象检测
- 177 似物性采样
- 178 显著对象检测
- 179 运动对象检测
- 180 亚像元对象探测
- 181 对象匹配
- 182 对象提取
- 183 对象跟踪
- 184 运动对象跟踪
- 185 多对象跟踪
- 186 多机动对象跟踪
- 187 群对象跟踪
- 188 对象分类
- 189 对象识别
- 190 人物标识
- 191 背景差分
- 192 背景建模
- 193 音频内容分析
- 194 智能应用
- 195 基于内容的检索
- 196 基于内容的图像检索
- 197 基于内容的音频检索
- 198 基于内容的视频检索
- 199 基于文本的检索
- 200 基于语义的检索
- 201 跨媒体检索
- 202 智能视频分析
- 203 智能视频监控
- 204 多媒体大数据分析
- 205 传输与呈现
- 206 媒体传输
- 207 视频容错
- 208 对等网络流媒体
- 209 呈现
- 210 视线跟踪
- 211 眼动跟踪
- 212 视点合成
- 213 视图合成
- 214 虚拟视点绘制
- 215 可视化
- 216 互动投影
- 217 墙面互动投影系统
- 218 高动态范围显示
- 219 光场显示
- 220 评价
- 221 主观质量评价
- 222 客观质量评价
- 223 视频质量评价
- 224 音频质量评价
- 225 监控视频质量评价
- 226 应用
- 227 视频点播
- 228 视频监控
- 229 视频检索
- 230 视频通信
- 231 多媒体出版
- 232 多媒体通信
- 233 互联网视频
- 234 实时影像互动系统
- 235 无线多媒体通信
- 236 无线多媒体网络
多媒体信号与信息处理
表示
基本概念
视觉感知
听觉感知
颜色空间
颜色空间是用数字来描述和组织自然界的各种颜色的模型。建立颜色空间的目的在于使得在各种应用场景我们能够更好地理解和使用颜色的各种特征和属性,达到对颜色的处理目的。一个典型的例子是建立一种颜色空间能够用来传输和存储摄像设备的采集数据,并送达某种显示设备进行显示。
CIE 1931颜色空间
近代对于颜色比较系统的研究主要是从CIE1931颜色空间的建立开始。基于颜色的可加性,莱特和吉尔德分别完成了使用三种单色光对主要的可见光光谱(从380nm~770nm)进行颜色匹配和标度实验。根据该实验结果,CIE建立了CIE1931-RGB的颜色空间。为解决CIE1931-RGB中的负值问题,CIE随后建立了CIE1931-XYZ颜色空间。CIE1931颜色空间成为近代和现代颜色研究的基础。在这个基础上研究人员发展了各种颜色空间,主要分为设备无关的颜色空间和设备相关的颜色空间。
设备无关的颜色空间
设备无关的颜色空间主要用于真实世界的颜色标度以及颜色表现特征研究。在学界和工业界主要用到的设备无关的颜色空间是CIE-XYZ颜色空间、CIE-xyY颜色空间、Lab(也称L*a*b*)颜色空间、LCHab颜色空间、Luv(也称L*u*v*)颜色空间、LCHuv颜色空间。Lab和Luv颜色空间一直在追求建立一种均匀的颜色空间,并研究精确的色差计算方法。其它的设备无关的颜色空间有LMS颜色空间以及HunterLab颜色空间。大部分定义的设备无关的颜色空间都是CIE-XYZ空间的延伸空间,并且随着研究的进展,在不断地更新。
CIE1931-xyY颜色空间
设备相关的颜色空间
设备相关的颜色空间主要用于颜色信息的采集、存储、计算、传输和重建。工业界常用的设备相关的颜色空间有
- 用于颜色采集和显示的RGB空间、CMY/CMYK空间、sRGB空间、Adobe RGB空间、ProPhoto RGB空间、scRGB空间等
- 用于颜色存储和传输的YUV空间、YIQ空间、YDbDr空间、YPbPr空间、YCbCr空间、xyYCC空间等
- 用于颜色计算和模型化的HSL空间、HSB空间等
这些空间(除ProPhoto, scRGB空间外)所描述的区域都小于CIE-XYZ定义的颜色。它们自身的特征描述(比如三原色和光源)都使用CIE-xyY颜色空间进行标注,以利于颜色数据在各种设备或者应用环境中进行转换。ICC组织提供的对各种设备相关的颜色空间转换的方法和规则。
颜色空间的发展
- 进入21世纪以来,在相应的显示技术进展和高质量图像消费需求推动下,设备相关的颜色空间不断扩展颜色空间显示域(如BT2020),同时颜色空间也逐渐转向均匀显示空间,例如ICpCt颜色空间,加强颜色数据处理的效率。
- 最新的颜色色貌研究进展也推动颜色空间转换和颜色再现技术考虑更多的观察条件、光源分布、介质性质以及目标几何结构等。
参考链接
- http://www.techmind.org/colour/, introduction to color science
- http://www.color.org/index.xalter, INTERNATIONAL COLOR CONSORTIUM
- https://www.itu.int/rec/R-REC-BT.2020/en, BT.2020 : Parameter values for ultra-high definition television systems for production and international programme exchange
- https://www.dolby.com/us/en/technologies/dolby-vision/ictcp-white-paper.pdf, ICtCp White Paper - Dolby
- http://rit-mcsl.org/fairchild/CAM.html, color appearance model
像素
体素
混合像元
图像分辨率
空间分辨率
帧率
媒体类型
图形
图像
退化图像
序列图像(图像序列)
可见光图像
全色光图像
深度图像
超光谱图像
高动态范围图像
高动态范围图像(HDRI)是一类数字图像记录格式,这种格式能够记录相对于普通图像更多实际的亮度范围的图像。普通图像通常是每颜色通道8比特量化,并基于RGB或者YCbCr颜色空间;对应的量化阶数是255,能记录的实际场景亮度动态范围(cd/m2)大约是1000:1。而有关高质量的图像记录、建模、显示的应用需要更多的量化阶数,记录更高的动态范围。
高动态范围图像典型应用
- 高亮/高暗的摄影场景,尤其是自然景色
- 在CG场景中实现更真实的高亮/高暗的环境模型
- 将各种电影胶片和相片底片数字化,化学胶片和相片能够记录超过8000:1的动态范围
高动态范围图像具有如下特征
- 表示的亮度动态范围要比通常的每颜色通道8bit图像要高2个数量级(>100倍)。
- 颜色的量化使用线性量化、LOG量化等非Gamma量化函数
- 颜色空间使用基于场景的光照数据,而非基于设备的颜色空间(scRGB除外)
常见的高动态范围图像的类型
- HDR图像格式,主要使用RGBE或者XYZE方法记录像素值,使用单独的通道E记录指数
- EXR图像格式,采用Luv颜色空间进行记录,L的数值使用LOG编码,使用浮点数
- TIFF图像格式,采用Luv颜色空间进行记录,L的数值使用LOG编码,使用浮点数
- scRGB图像格式,在sRGB颜色空间的基础上扩展,每通道16比特整数
高动态范围图像的显示
高动态图像的显示通常需要使用色调映射(Tone Mapping)的方法。如上所说,高动态范围图像记录了很大的颜色空间的范围,一般的显示设备具有有限的色域,所以需要一定的方法将图像中的高动态颜色值映射到显示设备的色域。比较常用的是线性映射法、直方图法、S方程法、对数方程法等等。
全息图像
医学图像(医学影像)
动画
音频
视频
关键帧
立体视频
多视视频
Multiview Video
严格意义上的多视视频是由多个摄像头在同一时刻从不同的角度采集同一场景或同一物体而产生的多个视频序列。广义上,可以不限制在同一时刻。由于多视视频以不同的视角描述了同一场景的特点,改变了许多传统单个视角视频的应用方式。首先是多视视频带来的数据量成比例的增加,为此由动态图像专家组和视频编码专家组联合制定了多视视频编码标准,而多视视频可以应用于三维立体电视的输入源。在其它如视频监控、影视制作和体育赛事的录制转播等场景。
多视视频加深度
任意视点视频
自由视点视频
三维视频
全景视频
监控视频
图化文字
三维点云
媒体
多媒体
超媒体
富媒体
社交媒体
自媒体
静态媒体
连续媒体
感觉媒体
可视媒体
表示媒体
表现媒体
传输媒体
流媒体
存储媒体
多模态
跨媒体
图像稀疏表示
压缩感知
解析失败 (<code>texvc</code>执行文件遗失;请参照math/README进行配置。): Ax-b=c