Writehere-url
目录
- 1 多媒体信号与信息处理
- 2 表示
- 3 基本概念
- 4 视觉感知
- 5 听觉感知
- 6 颜色空间
- 7 像素
- 8 体素
- 9 混合像元
- 10 图像分辨率
- 11 空间分辨率
- 12 帧率
- 13 媒体类型
- 14 图形
- 15 图像
- 16 退化图像
- 17 序列图像(图像序列)
- 18 可见光图像
- 19 全色光图像
- 20 深度图像
- 21 超光谱图像
- 22 高动态范围图像
- 23 全息图像
- 24 医学图像(医学影像)
- 25 动画
- 26 音频
- 27 视频
- 28 关键帧
- 29 立体视频
- 30 多视视频
- 31 多视视频加深度
- 32 任意视点视频
- 33 自由视点视频
- 34 三维视频
- 35 全景视频
- 36 监控视频
- 37 图化文字
- 38 三维点云
- 39 媒体
- 40 多媒体
- 41 超媒体
- 42 富媒体
- 43 社交媒体
- 44 自媒体
- 45 静态媒体
- 46 连续媒体
- 47 感觉媒体
- 48 可视媒体
- 49 表示媒体
- 50 表现媒体
- 51 传输媒体
- 52 流媒体
- 53 存储媒体
- 54 多模态
- 55 跨媒体
- 56 图像稀疏表示
- 57 压缩感知
- 58 视觉特征
- 59 纹理特征
- 60 颜色特征
- 61 形状特征
- 62 .运动特征
- 63 光谱特征
- 64 特征表示
- 65 底层特征
- 66 中层特征
- 67 高层特征
- 68 局部特征
- 69 区域特征
- 70 全局特征
- 71 深度特征
- 72 信息获取
- 73 图像采集
- 74 图像传感器
- 75 摄像机网络
- 76 多摄像机系统
- 77 三维成像
- 78 稀疏成像
- 79 高分辨率成像
- 80 多光谱成像
- 81 高动态范围成像
- 82 微波辐射成像
- 83 微波遥感成像
- 84 航空成像
- 85 卫星遥感成像
- 86 飞行时成像
- 87 超声成像
- 88 磁共振成像
- 89 分子成像
- 90 媒体编解码
- 91 编码
- 92 率失真
- 93 率失真优化
- 94 失真估计
- 95 失真模型
- 96 码率分配
- 97 编码器
- 98 解码
- 99 解码器
- 100 帧内编码
- 101 群体图像编码
- 102 运动补偿
- 103 立体视频编码
- 104 多视视频编码
- 105 分布式视频编码
- 106 分层视频编码
- 107 可分级视频编码
- 108 可扩展视频编码
- 109 场景视频编码
- 110 .屏幕内容视频编码
- 111 .群体视频编码
- 112 光场编码
- 113 视频转码
- 114 音频编码
- 115 空间音频编码
- 116 高保真音频编码
- 117 无损音频编码
- 118 网格编码
- 119 编码标准
- 120 静态图像专家组
- 121 运动图像专家组
- 122 视频编码专家组
- 123 数字音视频编码技术标准
- 124 图像编码标准
- 125 视频编码标准
- 126 立体视频编码标准
- 127 音频编码标准
- 128 处理
- 129 基本
- 130 信号处理
- 131 滤波算法
- 132 稀疏分解
- 133 小波分解
- 134 小波变换
- 135 图像计算学
- 136 图像处理
- 137 图像预处理
- 138 图像建模
- 139 图像配准
- 140 亚像素配准
- 141 多模态图像配准
- 142 非刚性图像配准
- 143 图像恢复
- 144 图像重构
- 145 图像增强
- 146 光照补偿
- 147 混合光谱分解
- 148 图像超分辨率
- 149 图像分解
- 150 图像复原
- 151 图像盲复原
- 152 图像去噪
- 153 图像去模糊
- 154 盲去模糊
- 155 反色调映射
- 156 图像融合
- 157 双目立体匹配
- 158 医学图像处理
- 159 医学图像分割
- 160 医学图像配准
- 161 医学图像融合
- 162 图像特征提取
- 163 鉴别特征提取
- 164 图像标注
- 165 图像区域标注
- 166 图像语义理解
- 167 视频处理
- 168 视频超分辨率
- 169 视频标注
- 170 视频分析
- 171 镜头分割
- 172 相似关键帧识别
- 173 视频副本检测
- 174 视频摘要
- 175 对象分析
- 176 对象检测
- 177 似物性采样
- 178 显著对象检测
- 179 运动对象检测
- 180 亚像元对象探测
- 181 对象匹配
- 182 对象提取
- 183 对象跟踪
- 184 运动对象跟踪
- 185 多对象跟踪
- 186 多机动对象跟踪
- 187 群对象跟踪
- 188 对象分类
- 189 对象识别
- 190 人物标识
- 191 背景差分
- 192 背景建模
- 193 音频内容分析
- 194 智能应用
- 195 基于内容的检索
- 196 基于内容的图像检索
- 197 基于内容的音频检索
- 198 基于内容的视频检索
- 199 基于文本的检索
- 200 基于语义的检索
- 201 跨媒体检索
- 202 智能视频分析
- 203 智能视频监控
- 204 多媒体大数据分析
- 205 传输与呈现
- 206 媒体传输
- 207 视频容错
- 208 对等网络流媒体
- 209 呈现
- 210 视线跟踪
- 211 眼动跟踪
- 212 视点合成
- 213 视图合成
- 214 虚拟视点绘制
- 215 可视化
- 216 互动投影
- 217 墙面互动投影系统
- 218 高动态范围显示
- 219 光场显示
- 220 评价
- 221 主观质量评价
- 222 客观质量评价
- 223 视频质量评价
- 224 音频质量评价
- 225 监控视频质量评价
- 226 应用
- 227 视频点播
- 228 视频监控
- 229 视频检索
- 230 视频通信
- 231 多媒体出版
- 232 多媒体通信
- 233 互联网视频
- 234 实时影像互动系统
- 235 无线多媒体通信
- 236 无线多媒体网络
多媒体信号与信息处理
表示
基本概念
视觉感知
听觉感知
颜色空间
颜色空间是用数字来描述和组织自然界的各种颜色的模型。建立颜色空间的目的在于使得在各种应用场景我们能够更好地理解和使用颜色的各种特征和属性,达到对颜色的处理目的。一个典型的例子是建立一种颜色空间能够用来传输和存储摄像设备的采集数据,并送达某种显示设备进行显示。
CIE 1931颜色空间
近代对于颜色比较系统的研究主要是从CIE1931颜色空间的建立开始。基于颜色的可加性,莱特和吉尔德分别完成了使用三种单色光对主要的可见光光谱(从380nm~770nm)进行颜色匹配和标度实验。根据该实验结果,CIE建立了CIE1931-RGB的颜色空间。为解决CIE1931-RGB中的负值问题,CIE随后建立了CIE1931-XYZ颜色空间。CIE1931颜色空间成为近代和现代颜色研究的基础。在这个基础上研究人员发展了各种颜色空间,主要分为设备无关的颜色空间和设备相关的颜色空间。
设备无关的颜色空间
设备无关的颜色空间主要用于真实世界的颜色标度以及颜色表现特征研究。在学界和工业界主要用到的设备无关的颜色空间是CIE-XYZ颜色空间、CIE-xyY颜色空间、Lab(也称L*a*b*)颜色空间、LCHab颜色空间、Luv(也称L*u*v*)颜色空间、LCHuv颜色空间。Lab和Luv颜色空间一直在追求建立一种均匀的颜色空间,并研究精确的色差计算方法。其它的设备无关的颜色空间有LMS颜色空间以及HunterLab颜色空间。大部分定义的设备无关的颜色空间都是CIE-XYZ空间的延伸空间,并且随着研究的进展,在不断地更新。
CIE1931-xyY颜色空间
设备相关的颜色空间
设备相关的颜色空间主要用于颜色信息的采集、存储、计算、传输和重建。工业界常用的设备相关的颜色空间有
- 用于颜色采集和显示的RGB空间、CMY/CMYK空间、sRGB空间、Adobe RGB空间、ProPhoto RGB空间、scRGB空间等
- 用于颜色存储和传输的YUV空间、YIQ空间、YDbDr空间、YPbPr空间、YCbCr空间、xyYCC空间等
- 用于颜色计算和模型化的HSL空间、HSB空间等
这些空间(除ProPhoto, scRGB空间外)所描述的区域都小于CIE-XYZ定义的颜色。它们自身的特征描述(比如三原色和光源)都使用CIE-xyY颜色空间进行标注,以利于颜色数据在各种设备或者应用环境中进行转换。ICC组织提供的对各种设备相关的颜色空间转换的方法和规则。
颜色空间的发展
- 进入21世纪以来,在相应的显示技术进展和高质量图像消费需求推动下,设备相关的颜色空间不断扩展颜色空间显示域(如BT2020),同时颜色空间也逐渐转向均匀显示空间,例如ICpCt颜色空间,加强颜色数据处理的效率。
- 最新的颜色色貌研究进展也推动颜色空间转换和颜色再现技术考虑更多的观察条件、光源分布、介质性质以及目标几何结构等。
参考链接
- http://www.techmind.org/colour/, introduction to color science
- http://www.color.org/index.xalter, INTERNATIONAL COLOR CONSORTIUM
- https://www.itu.int/rec/R-REC-BT.2020/en, BT.2020 : Parameter values for ultra-high definition television systems for production and international programme exchange
- https://www.dolby.com/us/en/technologies/dolby-vision/ictcp-white-paper.pdf, ICtCp White Paper - Dolby
- http://rit-mcsl.org/fairchild/CAM.html, color appearance model
像素
体素
混合像元
图像分辨率
空间分辨率
帧率
媒体类型
图形
图像
退化图像
序列图像(图像序列)
可见光图像
全色光图像
深度图像
超光谱图像
高动态范围图像
高动态范围图像(HDRI)是一类数字图像记录格式,这种格式能够记录相对于普通图像更多实际的亮度范围的图像。普通图像通常是每颜色通道8比特量化,并基于RGB或者YCbCr颜色空间;对应的量化阶数是255,能记录的实际场景亮度动态范围(cd/m2)大约是1000:1。而有关高质量的图像记录、建模、显示的应用需要更多的量化阶数,记录更高的动态范围。
高动态范围图像典型应用
- 高亮/高暗的摄影场景,尤其是自然景色
- 在CG场景中实现更真实的高亮/高暗的环境模型
- 将各种电影胶片和相片底片数字化,化学胶片和相片能够记录超过8000:1的动态范围
高动态范围图像具有如下特征
- 表示的亮度动态范围要比通常的每颜色通道8bit图像要高2个数量级(>100倍)。
- 颜色的量化使用线性量化、LOG量化等非Gamma量化函数
- 颜色空间使用基于场景的光照数据,而非基于设备的颜色空间(scRGB除外)
常见的高动态范围图像的类型
- HDR图像格式,主要使用RGBE或者XYZE方法记录像素值,使用单独的通道E记录指数
- EXR图像格式,采用Luv颜色空间进行记录,L的数值使用LOG编码,使用浮点数
- TIFF图像格式,采用Luv颜色空间进行记录,L的数值使用LOG编码,使用浮点数
- scRGB图像格式,在sRGB颜色空间的基础上扩展,每通道16比特整数
高动态范围图像的显示
高动态图像的显示通常需要使用色调映射(Tone Mapping)的方法。如上所说,高动态范围图像记录了很大的颜色空间的范围,一般的显示设备具有有限的色域,所以需要一定的方法将图像中的高动态颜色值映射到显示设备的色域。比较常用的是线性映射法、直方图法、S方程法、对数方程法等等。
全息图像
医学图像(医学影像)
动画
音频
视频
关键帧
立体视频
多视视频
Multiview Video
严格意义上的多视视频是由多个摄像头在同一时刻从不同的角度采集同一场景或同一物体而产生的多个视频序列。广义上,可以不限制在同一时刻。由于多视视频以不同的视角描述了同一场景的特点,改变了许多传统单个视角视频的应用方式。首先是多视视频带来的数据量成比例的增加,为此由动态图像专家组和视频编码专家组联合制定了多视视频编码标准,而多视视频可以应用于三维立体电视的输入源。在其它如视频监控、影视制作和体育赛事的录制转播等场景。
多视视频加深度
任意视点视频
自由视点视频
三维视频
全景视频
监控视频
图化文字
三维点云
媒体
多媒体
超媒体
富媒体
社交媒体
自媒体
静态媒体
连续媒体
感觉媒体
可视媒体
表示媒体
表现媒体
传输媒体
流媒体
存储媒体
多模态
跨媒体
图像稀疏表示
压缩感知
解析失败 (<code>texvc</code>执行文件遗失;请参照math/README进行配置。): Ax-b=c
视觉特征
纹理特征
颜色特征
颜色特征 颜色是一种重要的视觉信息属性,在数字图像处理中是一种很有用的特征。颜色特征是一种全局特征, 一般基于像素点的特性,所有属于图像或图像区域的像素都有各自的贡献。它描述了图像或图像区域所对应的景物的表面性质,在图像检索中应用最为广泛的视觉特征。颜色往往和图像中所包含的物体或场景十分相关。相对于其它特征,颜色特征非常稳定,对于旋转、平移、尺度变化,甚至各种变形都不敏感,表现出相当强的鲁棒性,而且颜色特征计算简单,因此成为现有图像处理系统中应用最广泛的特征。颜色特征也存在一定的局限性,由于颜色对图像或图像区域的方向、大小等变化不敏感,所以颜色特征不能很好地捕捉图像中对象的局部特征。 颜色特征的表达涉及到若干问题。首先,我们需要选择合适的颜色空间来描述颜色特征;其次,我们要采用一定的量化方法将颜色特征表达为向量的形式,并定义一种相似度(距离)标准用来衡量图像之间在颜色上的相似性。 颜色空间: 不同的颜色的表示方法都对应一个颜色空间,一种颜色是相应颜色空间中的一个点或矢量。最常用的颜色空间包括RGB颜色空间,HSV颜色空间,YUV颜色空间等。RGB颜色空间是一种根据人眼对不同波长的红、绿、蓝光做出锥状体细胞的敏感度描述的基础彩色模式,R、G、B 分别为图像红、绿、蓝的亮度值,大小限定在 0~1 或者在 0~255。大部分的数字图像都是用这种颜色空间表达的。然而,RGB空间结构并不符合人们对颜色相似性的主观判断。因此,有人提出了基于HSV空间、Luv空间和Lab空间的颜色直方图,因为它们更接近于人们对颜色的主观认识。其中HSV空间是直方图最常用的颜色空间。它的三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。YUV颜色空间是一种真彩色颜色空间的表示,其中Y表示亮度,U和V表示色度和浓度。YUV经常与YCbCr等术语进行混用,其中YUV主要是用来描述模拟信号,而YCbCr则是用来描述离散的视频信号。在常用的压缩格式MPEG和JPEG中,YCbCr得到了很好的应用,但是如今,YUV在电脑系统中也得到了广泛的应用。 颜色特征表达与匹配方法: 1) 颜色直方图:颜色直方图是最常用的表达颜色特征的方法,能简单描述一幅图像中颜色的全局分布,即不同色彩在整幅图像中所占的比例,不受图像旋转和平移变化的影响,特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于:它无法描述图像中颜色的局部分布及每种色彩所处的空间位置,即无法描述图像中的某一具体的对象或物体。颜色直方图特征匹配方法:直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法等。 2) 颜色集: 为支持大规模图像库中的快速查找,Smith和Chang提出了用颜色集(color sets)作为对颜色直方图的一种近似。他们首先将RGB颜色空间转化成视觉均衡的颜色空间(如HSV空间),并将颜色空间量化成若干个bin。然后,他们用色彩自动分割技术将图像分为若干区域,每个区域用量化颜色空间的某个颜色分量来索引,从而将图像表达一个二进制的颜色索引集。在图像匹配中,比较不同图像颜色集之间的距离和色彩区域的空间关系(包括区域的分离、包含、交等,每种对应于不同得评分)。因为颜色集表达为二进制的特征向量,可以构造二分查找树来加快检索速度,这对于大规模的图像集合十分有利。 3) 颜色矩: 由Stricker 和Orengo所提出的颜色矩(color moments)的数学基础在于图像中任何的颜色分布均可以用它的矩来表示。此外,由于颜色分布信息主要集中在低阶矩中,因此仅采用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)就足以表达图像的颜色分布。与颜色直方图相比,该方法的另一个好处在于无需对特征进行向量化。因此,图像的颜色矩一共只需要9个分量(3个颜色分量,每个分量上3个低阶矩),与其他的颜色特征相比是非常简洁的。在实际应用中为避免低次矩较弱的分辨能力,颜色矩常和其它特征结合使用,而且一般在使用其它特征前起到过滤缩小范围(narrow down)的作用。 4) 颜色聚合向量: 针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点,Pass提出了图像的颜色聚合向量(color coherence vector)。它是颜色直方图的一种演变,其核心思想是将属于直方图每一个bin的像素进行分为两部分:如果该bin内的某些像素所占据的连续区域的面积大于给定的阈值,则该区域内的像素作为聚合像素,否则作为非聚合像素。由于包含了颜色分布的空间信息,颜色聚合向量相比颜色直方图可以达到更好的检索效果。 5) 颜色相关图: 颜色相关图(color correlogram)是图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例,还反映了不同颜色对之间的空间相关性。实验表明,颜色相关图比颜色直方图和颜色聚合向量具有更高的检索效率,特别是查询空间关系一致的图像。