Dual Pixel 全像素双核乱弹

Dual Pixel 功能是佳能公司在2013年,随着EOS 70D的发布,一并推出的新构造。

今年(2016)恰逢5D4推出,功能上也迎来了重大更新。不妨乱弹一发。

不感兴趣的可以走了

目录

硬件实现

功能描述

2.1. Dual Pixel CMOS AF

2.2. Dual Pixel RAW

创造性发明,Dual ISO

专利壁障?

关于 Dual Pixel 的小结

5.1. 强加的功能?

5.2. 宽容度

关于宽容度提升的其他手段

6.1. 机内多拍HDR

6.2. 区域匹配和高光色调优先

参考链接

硬件实现

简而言之,Dual Pixel 就是在单像素的单一透镜下埋设了一对互相独立的光电二极管。

来自佳能官方说明

这样的设计带来的好处后文展开,而翻倍的带宽和处理需求却是实打实的,70D即开始启用DIGIC 5+这一新处理器。

机型

截至2016年9月,以下单反机型具备 Dual Pixel 构造:

EOS 70D

EOS 80D

EOS 7D MarkII

EOS 5D IV

EOS 1D X MarkII

部分摄像机此处不提

佳能在70D后的中高阶机型上均有配置,除了5DS/R机型,可能与极高分辨率下,新制CMOS及带宽供应等因素有关。

而在80D世代的机型,基本已经支持全体EF镜头了。相关兼容性列表请查阅此处。

佳能EF镜头是一个宝库

2017年,新发的EOS M6也支持该功能,可说是EOS M系列机型的一大更新。

功能描述

这个功能目前来看已经有了两个分支:

Dual Pixel CMOS AF ,官方译作 全像素双核自动对焦

Dual Pixel RAW,官方似乎称之为 全像素双核RAW

虽说 Dual Pixel 直接叫『全像素双核』有点太过敷衍,不过官方既然喜欢那就行。先来看看具体功能。

Dual Pixel CMOS AF

这个功能源起,和片上嵌入式的相位点对焦(Phase detection)有关。在之前鄙人写的《自动对焦简介》中有提及,富士公司最早做出了内嵌入传感器的相位点(2010年,机型为F300EXR),可以用于自动对焦。

由于其带来了相比对比度方式(Contrast detection)的快速对焦体验,且可以在小体积设计,如手机、无反中使用,之后各传感器生产企业都有涉足。佳能公司之前的Hybird CMOS AF就是结合了该技术与对比度对焦实现的。

EXR传感器是SuperCCD式的蜂巢排布,黄点为对焦点

实际使用中,黄点(相位对焦点)进行了一半像素的遮蔽,与另外一枚做相反处理的像素点构成了一对相位对焦传感器。这样可以得到来自从镜头不同位置入射光线的比对信息,当重合时即判为合焦。

这样做法的缺点在于,对焦点本身因为遮蔽的关系,并不能参与成像。但是反过来说,目前传感器动辄千万像素,少掉的点使用插值方式恢复,并不会影响全局成像效果。

佳能采用单像素双二极管的方式,不需要遮蔽,直接就可以通过读取一侧的方式来作为相位点使用。而成像时,读取一对传感器即可以让对焦点参与成像。

更为重要的是,佳能以此实现了覆盖全传感器范围的对焦点,理论上随着算法改良可以获得更好的对焦效果。

Dual Pixel RAW

Dual Pixel RAW是2016年8月,随5D4发布而来的新的动向。并没有增加新的硬件设计,而是在原有架构基础上,基于软件/固件的改进。

这次的更新带来了三个小功能:

对焦微调(Image Microadjustment)

虚化偏移(Bokeh Shift)

鬼影控制(Ghosting Reduction)

需要在机身内菜单中启用

启用后,会保存为特有的RAW格式,相比同机普通的RAW文件,差不多是2倍体积。

因为听闻有展示机可供体验,于是拜访了佳能影像中心。

位于上海大世界的体验厅

然而该机的存储卡仓是密封的,不允许取出,该功能也无法在机内编辑展现。同时店内似乎也没有获得更新的佳能DPP软件,故无法一览该功能实际效果。

然而同时,部分获得测试用相机的媒体们,如DP Review已经有了体验。基本感受为,对焦微调不是之前预想的如光场相机一般的万能灵药,而只是较小幅度调节的一种修补;虚化偏移也并不是单纯带来更好的虚化效果(以拯救焦外二线性重的镜头),而更多是帮助前景虚化遮挡。

DPR的编辑萌萌的 [源](https://www.dpreview.com/reviews/canon-eos-5d-mark-iv-first-impressions-review/5)

鬼影控制可能最为实际,确实可以在眩光发生后,选择较小的眩光照片。

示例如下,来源请参见本文最后列表:

创造性发明,Dual ISO

佳能用户忍了非常久,所以很久之前就有玩家揭竿而起,推出了修改版的准固件,来提供更多的功能。

从早年的CHDK,到现在大热的魔灯(Magic Lantern),都是这股浪潮下的产物。

魔灯是个大旗,试问谁不爱ML

魔灯固件实现了很多原本并不具备(但是可能其他家有了)的功能,比如峰值对焦(Focus Peak)、斑马纹(Zebra)、向量色度(Vectorscope)等等。

2013年,魔灯论坛的一位叫做** a1ex **的玩家提出,让奇偶行分别使用 ISO 100 及 ISO 1600 进行曝光,然后再进行合并处理,可以拓展可用宽容度,并且实现较为细腻的成像。他的相关论文在此。

拍摄回放,得到的是明暗相间的画面

因为佳能传感器的长期发展问题,一直在动态范围上不及索尼同期传感器表现。使用这样跨档的ISO进行同参数曝光,之后合并,可以扩展最终的宽容度(虽然跨了4档,但是因为高ISO时的宽容度缩减,实际相当于增加了3档)。

左边采用Dual ISO,可以看到暗部表现上升 [源](http://www.dcfever.com/column/read.php?id=2739)

这样做的一个明显缺点,就是造成了画面纵向分辨率损失一半。但是对于视频这样相对不敏感的应用,以及不需要放到墙壁那么大小的输出的情况,更多的宽容度和更少的噪点总是在天平上权重更大一些。

[教学贴](http://www.magiclantern.fm/forum/?topic=7139.0)中的例子,右上采用了Dual ISO,左下为原生 ISO 100 后期增益

话又说回来了,Dual Pixel 的硬件基础,是在同一个像素位置下有两个独立的光电二极管,

那如果让这两处使用类似 Dual ISO 的方式曝光,就可以大大避免使用奇偶行方式带来的分辨率减半问题。

佳能为什么不把这个功能做进来呢?

我想了想。

专利壁障?

我想起来松下的一台摄像机,于2014年推出的** Varicam 35 ,该机器配置了一个功能,叫做『Dual Native ISO*』。类似地,单像素下两套电路(对比,单像素下埋设了一对二极管)(原文“ there are two analog circuits right after each pixel before the gain amp *”)。

这个功能可以在 ISO 5000 下提供高可用性的纯净画面,类似于 ISO 800 时的效果 —— 一般称作这类机型的原生ISO,故又得名双原生ISO。可以观看Michael Cioni 关于 Dual Native ISO 的演示。

对于只拍照的人,松下可能是个被忽视的厂牌,然而人家也算是视频应用中掷地有声的存在

很可能松下因为使用了这样的设计,顺手把相关影像处理的专利注册了,使得佳能在应用上无法绕开?而没能产出『提升三档宽容度』的功能(这对现在的佳能,对佳能现在的主流机型相当重要)。

不过5D4具有的4K功能,似乎也拥有类似松下 4K PHOTO 的功能……不晓得双方是否已经达成了不为我所知的互换?或许可以开个脑洞,空穴来风一发。

顺带一提,今年(2016)推出的紧凑款型** VariCam LT **也具备了 Dual Native ISO 功能。

关于 Dual Pixel 的小结

Dual Pixel 是佳能公司在新时期,专利制程等条件制约下的一步棋。从对焦来看,对机器是有帮助的;但是制造上颇为费事,数据量的问题会造成一时困难,但是随着时间推进,会逐步解决。

强加的功能?

而在硬件基础建设完成后,佳能的工程师们开始“找功能”,以实现这种大动筋骨投资的增值。

举个例子,

你妈妈买了一台榨汁机,虽然投资稍微有点贵,但是这是长期的,而且打出来果汁确实好喝且放心。

但是你妈妈开始寻找“增值业务”,然后有一天你发现原本好喝的果汁不对劲了,一股难以容忍的涩涩的味道……你的娘亲,你的亲娘,好像是听谁说"加菜叶还挺不错的"……于是你就遭殃了。

用菜叶榨汁来形容新添加的 Dual Pixel RAW 有点过分,因为从目前来看,给人的印象最多是一定程度的“难堪大用”,而不是恶心。

宽容度

另外一方面,佳能传感器被诟病最多的是宽容度(动态范围),这次5D4采用的片上ADC模数转换器(On-chip ADC),带来了速度提升,所以可以支持到4K视频;虽然从索尼方面来看,对其他帮助有限,但是5D4的宽容度也算是给5D系列长脸(可见DPR文章),可惜还是不如索尼传感器机型。

不知道佳能是否有利用 Dual Pixel 进行宽容度扩展的计划;如果有,其实现在的硬件已经完备,升级可能就是一个固件的事情……而一个固件带来涨价,我们也是在索尼A7M2上见证过了的。

如果说佳能利用 Dual Pixel 提升宽容度的官方可能被堵上,那么最值得期待的也许还是 Magic Lantern ,他们可以用第三方身份来实现该功能,可以说尽可能避免了法律上的风险,而佳能的机身,也可以得到与索尼传感器机型一战的机会……

可是5D4仍然比一套A7R2加上适马MC-11还要贵。

关于宽容度提升的其他手段

还有其他的宽容度提升方案,试举例。

机内多拍HDR

一个是差不多2009年左右兴起的功能,可能最早出现的是索尼带X的小型数码相机,HDR功能。采用了包围曝光,连拍多张,然后进行机内合成,拓宽了宽容度范围。

之后还扩展到了单反和SLT机型,如α550和α55。特别是后者,因为得益于固定式半透明反光镜,连拍速度提升,使得可用性极高。

索尼α550,利用连拍HDR,可以扩展3EV [源](http://dc.watch.impress.co.jp/docs/news/interview/342278.html)

但是这样的照片,不能拍摄动态的物品,或者说同时性要求高的对象。

区域匹配和高光色调优先

柯尼卡美能达末代机型上有一个功能,可以选择让特定ISO条件下,扩展高光或者阴影宽容度表现,接近1EV,该功能被称作 Zone Matching,译作区域匹配。

索尼接盘后,仅在有限的几台机器上有出现该功能。

笔者自己α5D上的区域匹配功能,Hi200可以保留更多高光信息

佳能公司在1Ds MarkIII(差不多40D的年代),在机器上配置该类似功能,与索尼不同,佳能在EOS数码机身上,从上到下都配置该功能。其被称作 Highlight Tone Priority,译作 ** 高光色调优先 ** —— 虽然说怎么看这里Tone翻译作『影调』都更好……但还是那句话,佳能开心就好~

HTP可以让高光好约一档,比如你可以看看DPR的7D评测;同时,开启该功能时,佳能会提示用户,暗部噪点可能会轻微增加。

不论是 HTP 还是 Zone Matching ,这两个有点相似的功能都不是DRO那种jpg玩玩的野鸡货,而是实打实RAW文件有效的功能。

当然,很有意思,我身边用佳能的朋友,似乎没几个听说过该功能;反而是DP Review在马三到40D的时代就注意到了,所以他们家的动态范围评测,都会标注是 HTP On 还是 HTP Off 的测试条件。

被遗忘的富士公司

其实在 Dual ISO 的论文之前,富士公司就在自己特有的 SuperCCD 上实践过不同像素采集不同曝光条件的可能。具体来说,就是末代的单反 S5 Pro 最有代表性。闪卓博识曾经转载过 Ryan Brenizer 的关于S5惊人宽容度的文章 (没错,这个人就是Brenizer Method的发起人)

为什么不玩下去,可能有说不清道不明的原因……比如财务?

富士公司在X100大卖之后,走的则是定制传感器的路子,应该就是索尼公司来制造,但是排序等由富士公司来设计的 X-Trans 传感器……不知道会不会有一天回到宽容度的路子上。

Super CCD 使用了六角形的像素排布,从有限空间来看,还有分辨率提升的优势。索尼公司电影机上的菱形排布(Q67排列、Q67 sensor pattern)与此应该也有借鉴关系,例如F65,也有看到。不过这个和宽容度提升的关系,相对就不大了。

参考链接

佳能的介绍

全像素双核CMOS AF - 佳能(中国)

http://www.canon.com.cn/specialsite/dualpixelcomsaf/

EOS 70D开发访谈 - 佳能(中国)

http://www.canon.com.cn/specialsite/eos70d/interview.html

全像素双核CMOS AF(Dual Pixel CMOS AF)对应镜头一览 - 佳能(中国)

https://www.canon.com.cn/products/camera/eos/data/dual_pixel_cmos_af.html

Dual Pixel CMOS AF的解析

撞针前辈关于双像素对焦的解释

《草评Canon Dual Pixel CMOS AF》

http://blog.sina.com.cn/s/blog_537633d70101cdqt.html

媒体们解读Dual Pixel RAW

5D IV 正式推出,解構新功能「Dual Pixel RAW」 - Photoblog.hk

http://photoblog.hk/wordpress/169304/5d-iv-%E6%AD%A3%E5%BC%8F%E6%8E%A8%E5%87%BA%EF%BC%8C%E8%A7%A3%E6%A7%8B%E6%96%B0%E5%8A%9F%E8%83%BD%E3%80%8Cdual-pixel-raw%E3%80%8D

Canon 5D IV Dual Pixel RAW Insights - imaging-resource.com

http://www.imaging-resource.com/PRODS/canon-5d-iv/canon-5d-ivDUAL_PIXEL_RAW.HTM

Canon EOS 5D Mark IV First Impressions Review - DP Review

https://www.dpreview.com/reviews/canon-eos-5d-mark-iv-first-impressions-review/5

Dual ISO相关

Dual ISO - massive dynamic range improvement (dual_iso.mo) - Magic Lantern Forum

http://www.magiclantern.fm/forum/?topic=7139.0

Open Source Brings High-End Canon 5D MK III Dynamic Range Closer to Nikon D800 - Zdziarski's Blog

http://www.zdziarski.com/blog/?p=2792

Canon DSLR 解封 - 淺談Magic Lantern (Part 02) - Dual ISO

http://www.dcfever.com/column/read.php?id=2739

松下的Dual Native ISO

Panasonic Varicam 35 has a dual native ISO of 800 and 5000 – how do they do it? - NEWS Shooter

http://www.newsshooter.com/2014/11/28/panasonic-varicam-native-iso-of-800-and-5000-how-do-they-do-it/

Michael Cioni 关于 Dual Native ISO 的演示

https://vimeo.com/112329673

之乎 于2016-09-01

特别感谢基友群讨论与指导,感谢丁丁陪同佳能展厅“踢馆”。