오늘 전문을 번역을 해서 올리려는 순간 아래 (旦)님께서 번역을 해주셔서, 안올릴까 했는데, 좀 읽어보니 저와는 좀 의미가 다른 부분이 있어서, 번역을 올려봅니다. 여전히 ... 발번역입니다.
사용된 이미지는 모두 원글에서 링크되어 사용됐습니다.
http://www.imaging-resource.com/news/2014/09/27/photokina-interview-samsung-nx1-redefine-pro-performance-quantum-leap-tech
포토키나 Q&A : 삼성 NX1이 기술적인 면에서 비약적 발전으로 프로기종의 성능에 관한한 새로운 획을 그을 수 있을까?
초당 67억 픽셀의 이미지를 읽어낸다고? 할 수 있음!
하드웨어 기반으로 240fps의 속도로 피사체의 인식과 추적을 수행한다고? 당근!!!
질문의 여지없이, 퀠른에서 열린 포토키나 2014에서 삼성 NX1은 진정한 원탑이었다. 최상의 우월한 성능, 능숙한 하이브리드 AF 시스템, 놀라운 "오토 샷"모드는 야구공이 배트에 맞아 날아가는 정확한 순간을 포착할 수도 있다.
놀라운 속도와 단단한 바디의 조립품질로, 삼성 NX1은 명백하게 프로진사들을 NX 마운트로 유인하고 있고, 만일 우리의 테스트에서도 좋은 모습을 보이고, 실제 사용성에서도 포토키나 전시회에서과 같은 모습을 보인다면, 그럴 수 있을지도 모른다.
전시회 기간동안, 이미징 리소스의 데이브 엣첼스는 삼성 디지털 이미징의 선임 마켓팅 메니저인 제이 켈블리와 만나 삼성 NX1에 대해 폭넓은 대화를 나눴으며, NX1의 첨단 기술과, 삼성이 왜 현재 시장에서 NX1의 기능이 독보적이라 생각하는지에 대해 이야기를 하였다.
이 후에 이어지는 이야기들은 삼성이 이 작은 바디에 집약해넣은 상당히 기술적인 대화들이며, 몇몇 성능에 대한 것은 눈이 튀어나게 할 정도의 수준이다. 자세한 이야기를 읽어보기 바란다.
데이브 엣첼스/이미징 리소스: 예상하고 있겠지만, 오늘 삼성 NX1과 거기에 사용한 기술에 대해 많은 질문이 있습니다. 일단 AF 부터 시작하겠습니다. 삼성은 AF 속도와 그 기능에 대해 진짜 인상적인 성과를 이뤘습니다만, 촬상면 위상차 검출은 쉽지 않았을텐데요. 삼성이 어떻게 그걸 구현하였는지, 아니면 무엇이 향상되었는지에 대해 이야기를 하고 싶습니다.
제이 켈블리/삼성전자: 좋죠.
데이브 : 위상차 검출이란 흔히 렌즈의 반쪽에서 들어오는 빛만을 받아들이기 위해 픽셀 한쪽을 가려서 구현한다고 하는데요, 보이지 않는 반쪽의 빛을 픽셀에서 값을 높이는 것은 아주 엄청난 일은 아니겠지만, 삼성은 그 숫자을 엄청나게 배치했고, 거기에 크로스 타입 측거점이라는 것인데요.
제이: 그렇습니다.
데이브 : 어느 정도의 위상차 픽셀을 배치하면 이미지 품질에 영향을 끼치게 될까요? 너무 많은 위상차 픽셀을 넣으면 이미지 품질에 영향이 있지 않겠습니까? 달리 질문을 하자면, 어느정도의 비율의 픽셀이 초점용 픽셀입니까?
제이: 음... 200개 이상의 위상차 검출 픽셀들이 있기는 하지만, 이미지 센서의 총 28MP이라는 화소수에 비교한다면, 그 비율은 극소의 양이라고 할 수 있죠.
데이브 : 아... 그렇긴 하죠.
(첨언하자면, 이걸 약간의 산수를 동원해보면, 만약에 측거점이 한쪽 축 방향으로 500 픽셀 또는 1000 픽셀이 있다고 가정했을 때, 센서 전체에 200,000 픽셀이 사용됐다는 것이고, 이미지센서엔 총 28MP이 있으므로, 이는 고작 0.7%이다. 여기서 사용한 우리 가정은 각 방향으로 500 픽셀이라는 완전히 넉넉잡아 가정한 숫자이다.)
제이: 이 정도 수준의 해상도로 올라가긴 했지만, 이 센서는 현재 센서 기술에 비해 몇가지 이점이 있습니다. 우리는 최신의 센서에 65nm 회로선폭을 적용하여, 업계 대부분의 센서에 비해 훨씬 높은 효율을 구현하게 됐습니다.
(나노미터 (nm)은 10억분의 1미터, 또는 1백만분의 1밀리미터임. 메모리 반도체에선 훨씬 더 미세한 회소가 사용되지만, 65nm는 센서칩에선 흔치 않는 미세회로이다.)
데이브 : 그리고, 이 센서는 이면조사형 센서이죠. 그래서 이 센서는 더 많은 빛을 모을 수 있는 것이죠.
(제이가 말하는 미세한 회로선폭(센서칩에서 사용하는 최소 회로선의 폭)이라는 것으로, 더욱 높은 감광면의 비율, 또는 빛을 모을 수 있는 실리콘의 영역에 기여한다는 것이다. 이는 좀 혼란스러웠던 것이, BSI라는 것은 모든 회로와는 무관하여 이론적으로 100%의 수광면을 만들 수 있다는 것인데, 어떻게 더 작은 회로선폭이 수광률에 기여한다는 것인가? 이어지는 답변을 주목하길...)
제이: 그렇죠, 이는 모든 빛을 모을 수 있습니다.
위상차 검출 AF는 초점이 맞는지 안맞는지를 판단하기 위해, 렌즈의 서로 다른 반쪽에서
오는 빛의 위치에 따른 차이를 이용한다. 단순히 초점이 맞았는지 뿐만이 아니라,
그 '정도'까지도 판단할 수 있다. 위의 이미지는 위상차 검출 AF에 대해 좀더 자세하게 보여준다.
데이브 : 그러니까, 더 작은 회로선폭이라면, 센서는 더 큰 캐페시터를 가지고 빛을 저장한다는 것인가요? 무엇이죠? 아니면, 더 대용량의 전하를 저장한다는 것인가요?
(다시 말하지만, 나는 더 미세한 회로선폭이 대체 어떤식으로 수광률에 기여를 한다는 것인지를 이해하려 하였다. 미세회로 선폭으로 더 많은 전하를 가둬둘 수 있는 전하저장고를 만들어 더 낮은 노이즈 수준을 달성한다는 것인지 의아했다.)
제이 : 그러니까... 미세해진 회로선폭으로 우리는 더욱 효율적인 구조를 더 작은 구조로 만들 수 있게 되어, 결과적으로 더나은 수광률을 달성할 수 있었다는 것입니다. 우리는 더 크고, 더 두꺼운 픽셀간 차폐벽을 만들 필요가 없습니다. 또한, 구리선으로 배선을 바꿈으로써 (칩의 배선에 사용하는 폴리실리콘을 대체), 더욱 전도성이 좋은 물질로 전환할 수 있었는데, 이는 열 방출에도 도움이 되며, 이의 도움으로....
데이브 : 칩의 전체에 걸친 신호 전송 말입니까? (이는 데이터의 더욱 빠른 읽기 속도가 가능하다)
제이 : .... 저항을 감소시키는 것이죠. 더 적은 소재를 사용하고, 그래서, 다시 말하지만, 우리는 BSI 센서를 구축하였지만, 픽셀의 깊이를 더욱 얕게 할 수 있게 되어, 이는 더 나은 감도와 효율을 달성할 수 있게 된 것이죠. 그래서 이 센서를 가지고 감도를 높이다보면, 우리가 적용한 BSI 구조, 구리배선, 더 효율적인 마이크로렌즈 덕분에, 픽셀 크기라는 관점으로만 놓고 봤을 때, 예상했던 것 보다 훨씬 더 낮은 고감도 노이즈를 관찰 할 수 있을 것입니다. 마이크로렌즈를 보면 센서면 거의 100%를 커버하고 있늘 것을 볼 수 있습니다.
NX30의 마이크로렌즈를 보면 약 이미지 센서면의 95% 정도를 차지하고 있습니다. 사각형의 마이크로렌즈를 보면 아주 멋집니다. 현미경의 단면으로 보면 거의 100%에 달하는 모습을 보이죠. 그래서, 아직도 우리는 많은 향상을 달성하고 있으며, 이는 기술적으로 아무도 달성하지 못한 것을 이뤄가고 있습니다. 내가 알고 있는 한, 어느 카메라 제조업체도 센서 제조에 구리 공정을 상용하지 못하고 있습니다. 몇몇 업체들은 최고급 카메라에 아직도 300nm 선폭의 공정기술을 사용하고 있는 것으로 압니다.
구리배선 공정은 IC 제조업계에 오래전에 등장했다. 좌측의 사진은 1997년 IBM.
구리는 알루미늄보다 40% 전도율이 뛰어나기 때문에, 회로속도는 더욱 빨라지고,
전력소모를 줄일 수 있다. 우리가 아는 한, 삼성은 구리 공정을 이용한 첫번째 센서 제조업체이다.
이는 NX1의 경이로운 속도 달성에 도움을 주며, 빠르게 움직이는 피사체를 추적하는데,
센서가 녹아내리지 않는다. ^__^
데이브 : 반도체 표준에서 본다면, 이는 엄청게 큰 건데요.
제이 : 엄청나게 큰 거죠. 메모리 반도체나 프로세서 반도체 구조에선 이 회로선폭은 십몇 nm 수준까지 내려갑니다. 삼성은 카메라에 사용하는 센서의 제조 공정으로 보자면 절반에 해당하는 가장 미세한 공정을 사용하고 있는 것이고, 평균적인 제조업체로 보자면 거의 1/4 또는 1/5 수준의 미세 공정입니다.
데이브 : 말씀하신 내용이 흥미로운데요, 앞서 "크고 두꺼운 차폐벽"이라고 했습니다. 이는 픽셀간 차폐를 말하는 것으로 미세 회로 공정을 이용하면 이 전만큼의 공간을 차지하지 않는다는 것으로 이해하고 있습니다. 이는 BSI센서에서도 그렇다는 것이구요. 이번센서는 100%의 표면을 이용한다고 했는데, 그럼에도 픽셀간 포토다이오드의 격리는 필요하고, 여기서 미세회로 선폭의 이점이 나타난다는 것이군요.
삼성의 ISOCELL 공정은 셀폰의 센서에 사용하기 위해 적용된 것으로 픽셀 사이에 격벽을
삽입하여 픽셀간 "누설광/전류"을 감소시킨다.
NX1의 센서는 더욱 커진 픽셀과 더 작아진 회로선폭으로 낮아진 픽셀 높이로,
픽셀간 수직 광차폐벽 같은 복잡한 구조를 추가하지 않고도 같은 효율을 달성하였다.
제이 : 그렇습니다. 예전처럼 많은 물질을 사용하지 않아도 되는 것이, 픽셀의 깊이가 훨씬 낮아졌기 때문입니다. 사람들이 말하는 ISOCELL 공정은 아닙니다. ISOCELL에서 사용하는 반사 측벽을 넣고 있지는 않은데, 다시 말씀드리지만, 픽셀의 깊이가 낮아졌기 때문에 이 측벽이 필요치 않습니다.
(제이는 "픽셀의 깊이"라는 표현을 사용했는데, 이는 보통 포토다이오드의 두께를 의미하는 것으로, 기본적으로 실리콘의 두께이다. 그러나 이 경우, 제이는 마이크로렌즈와 컬러 필터 배열 및 감광 실리콘 표면 위의 모든 구조물을 지칭하는 것이 분명하다.
여기서 제이가 말하는 삼성의 ISOCELL센서 기술은 BSI와 픽셀간 물리적 분리를 조합한 것으로, 인접한 픽셀로 빛이 누설되는 것을 막는 것이다. 이런 '간섭'은 해상력을 저하시키고, 색의 순수성을 저해하는 요인이 된다. 삼성이 처음 ISOCELL 기술을 셀폰에 소개하였을 때, 1.4um의 작은 픽셀을 사용하였다. 어떤 이유에서인지는 모르겠지만, NX1 센서의 실리콘 구조는 ISOCELL을 사용한 칩보다 더 얇아 보인다. 그래서 픽셀간 간섭이 더 적게 발생한다는 것이다. NX1 픽셀의 크기가 더 크기 때문에 간섭은 그다지 문제가 안되긴 할 것이다. 대략 3.6um로, 셀폰에 사용된 1.4um에 비한다면야 간섭이 발생하는 포토다이오드의 영역이 훨씬 작다. )
데이브 : BSI 구조임에도, 칩에 아직도 구조물이 들어간다는 말인가요?
제이 : 네, 좀 있죠.
삼성 NX1 이미지센서가 돋보기로 보여지고 있다.
데이브 : 그러니까.. 당신이 말하는 픽셀의 깊이라는 것은.. 그러니까...
제이 : 포토다이오드에서 부터....
데이브 : 표면이라는 거죠? 이게 센서 후면 부터라면 윗면의 구조물을 포함하는 모든 것이라고 여겨집니다.
제이 : 컬러필터 배열도 있구요, 몇몇 절연층도 있습니다. 그로인해 여전히 어느정도 두깨가 포함이 됩니다.
데이브 : 여전히 어느정도 두께 요소가 발생하는 군요.
제이 : 제가 몇장의 그림을 보여드릴텐데, FSI센서에 비해 픽셀 깊이가 약 1/3 밖에 안된다는 것을 보실 수 있습니다. 픽셀 깊이라기 보다는 빛의 깊이라고 하는게 더 나을지도 모르겠네요. 거기다 마이크로 렌즈하고 결합층까지, 모든 요소를 다 포함한다면 비슷한 FSI 센서의 구조하고 비교했을 때 1/3보다 더 얇은 두께를 가집니다.
FSI와 BSI센서의 구조를 비교하는 그림.
데이브 : 그렇죠. 그리고 BSI라서 깊이가 매우 낮기 때문에 갖는 또 다른 이점이 있죠. 렌즈에서 오는 빛의 입사각도라는 측면에서요.
제이 : 맞습니다. 이로 인해, 마이크로 렌즈가 훨씬 효율적이 됩니다. 우리는 포토다이오드로 빛의 입사각이 70% 정도 향상되는 것으로 보고 있습니다.
데이브 : 와... 70%요. 진짜 의미있는 숫자로군요.
제이 : 이는 NX30의 센서와 비교했을 때의 숫자입니다.
데이브 : 그러니까, 빛의 입사각으로 옮겨가서, 센서에 도달하는 빛의 입사각이라는 측면에서 보자면, 센서의 주변부에 더 많은 빛이 가겠군요?
제이 : 음... 그럴 수도 아닐 수도 있습니다. 이는 렌즈가 센서에 빛을 공급하는 것에 관한 것으로, 빛의 입사각이 더 넓어진 다는 것은 렌즈가 좀더 수직입사에 좀더 여유가 생긴다는 측면이 있습니다.
(수직입사도(Telecentricity)라는 것은 렌즈에서 오는 빛 얼마나 센서에 직각에 가까운가를 평가하는 정도)
데이브 : 그렇군요.
제이 : 그러니까, 오랫동안, 한 10년 정도요... 제조사들은 더 많은 디지털 렌즈를 만들어왔습니다. 마이크로렌즈를 지원하기 위한 수직입사에 가까운 렌즈를 말입니다.
데이브 : 그렇죠.
수직입사형 렌즈는 센서면에 빛이 수직으로 도달하도록 디자인 되었다.
이는 센서의 주변부에서 입사각이 커져 그늘이 생기는 문제와
(역주: 주변부 광량 부족) 왜곡을 피하기 위함이다.
제이 : 이제는 꼭 그렇게 하지 않아도 된다는 것입니다. 예전만큼이나 수직입사를 할 필요가 없다는 것입니다. 주변부 광 부족이라던가 광의 픽셀간 누설이나, 잘못된 컬러필터 통과로 인한 색의 번짐 현상도 일어나지 않습니다.
이말은, 요즘 시장의 거의 모든 렌즈, 특히 삼성 NX용 렌즈는 이미 이미지 센서에 수직입사가 되도록 설계가 된 것입니다. 그러니 이미 수직입사 설계가 된 렌즈들은 BSI 센서 구조와 완벽하게 동작할 것이고, 수광에 더욱 효율적이 될 것입니다.
데이브 : 그리고, 내 추측에 이 BSI 기술이 모든 NX 라인업에 들어가게 될 경우, 렌즈 설계자들에게 있더 좀더 여유가 생길 수도 있겠군요. 왜냐하면, 완벽하게 수직입사를 하지 않아도 되니 말이죠.
제이 : 그럴 수도 있겠죠. 그러나, 렌즈 설계자들이 기준을 낮출지에 대해선 모르겠습니다. 이 카메라 렌즈 제조업계는 지난 몇년간 수직입사로 디자인 해오면서, 더 나은 렌즈를 만들어왔고, 아직도 그것이 맞는 길입니다. 제 생각엔 거의 모든 제조사들은 이 방향을 고수할 것 같습니다.
데이브 : 촬상면 위상차 검출 AF에 대한 손실이라는 것으로 돌아가서요, 촬상면 위상차 검출과 기존의 분리형 위상차 검출 센서의 가장 큰 차이점은 기존의 분리형 위상차 검출 방식이 더 커다란 픽셀을 사용하고, 그래서 상대적으로 촬상면 위상차 검출 픽셀보다 저조도에서 더 나은 성능을 보여주는데요... 빛의 민감도라는 측면에서 촬상면 센서를 이용한다면 이런 점이 약점이 될 것입니다. NX1의 저조도 한계는 어떻게 됩니까?
제이 : 내가 아는 바로는 콘트라스트 검출에서 EV-4이고, 위상차 검출로는 EV-2입니다. 그러나, 분리형에서 촬상면 위상차 검출로 옮겨갔을 때, 검출력의 약점은 위상차 검출 센서의 크기에서 오는 것이 아닙니다. 이 검출력의 약화는 파장에 기인합니다. DSLR의 위삳차 검출 센서의 경우, 이것이 완전히 개방되어 있습니다. 검출에 적외선을 이용할 수도 있는데, 이는 거의 모든 설계자들이 의도하는 것이죠. DSLR의 자동초점 보조광의 경우 많은 수에 있어서 붉은 색의 적외선을 이용합니다. 이는 피 촬영자가 거북해하지 않습니다. 촬상면 위상차의 경우 이미지센서 앞부분에 적외선 필터가 달려있기 때문에, 적외선을 이용해 AF를 할 수 없게 됩니다.
삼성 NX1의 자동초점 보조광은 렌즈 마운트와 그립 사이에 위치해 있다.
이미지는 NX1의 금속 뼈대를 보여주며, 보조광은 셔터 바로
오른쪽의 구멍에 있다.
데이브 : 아~~~~
제이 : 말이 되죠? 왜냐하면 적외선이 차단이 되기 때문이다라는 것입니다.
데이브 : 네.. 당연하겠군요. 네..
제이 : 그래서, 촬상면 AF 보조광의 경우 가시광선을 사용하게 된 것입니다. 우리는 그동안 오랫동안 녹색광을 이용해 왔습니다. NX1의 녹색광은 내가 그동안 봐왔던 것 중에 가장 강력한 보조광입니다. 15미터의 거리까지 도달합니다.
데이브 : 와...
제이 : 거기다 무늬까지 넣었습니다.
데이브 : 네, 무늬가 있더군요. 홀로그래픽 격자 무늬더군요.
(소니는 이런 세로줄 무늬를 몇년전에 사용했지만, 꾸준히 사용하지는 않았다. 내 생각엔 이 홀로그래픽 격자 무늬는 투사되는 거리에 상관없이 뚜렸하게 포커스가 맞아야 하기 때문인 것으로 생각한다.)
제이 : 선형의 패턴인데, 어디 봅시다, 켤 수 있는지.. 자 여기 보세요, 데이브. 당신의 컴퓨터 뒷면에 보이시죠?
(제이가 내 맥북 컴퓨터 뒷면에 AF 보조광 패턴을 투사하였다.)
삼성 NX1의 AF보조광은 무늬를 투사하여 더욱 쉽게 초점을 맞추도록 한다.
데이브 : 그렇군요. 아주 많은 수의 수직선들이 굵은 선과 미세한 얇은 선이 잔뜩 있네요. 예상하건데, 굵은 선은 카메라가 좀더 초점에서 많이 벗어나 있을 때, 가는 선은 좀더 미세하게 초점을 잡는데 도움이 되겠네요.
제이 : 그러니까.. 완전히 어두울 때는 무늬가 필요합니다.
데이브 : 그렇죠.
제이 : 완전히 어둡고 평평한 면에선 더욱이요.
데이브 : 네, 무늬를 이용한다는 것은 지향하는 대상체의 표면에 의지하지 않아도 된단 말이 되죠.
좀 전에, 당신은 DRIMe V의 아키텍쳐가 DRIMe IV와는 완전히 다르다고 했었는데요... 어떤 종류의 변경이 둘 사이에 있었습니까?
제이 : 둘 사이의 가장 큰 변화는 이미지 시그널 프로세서(ISP)의 구조입니다. DRIMe V ISP는 아주 다릅니다. 대부분의 ISP는 요구되는 속도를 얻기 위해 하드웨어적으로 고정하여 처리하는 핵심 부품이 자리하고 있습니다. DRIMe V가 진정으로 새로운 부분은 이렇게 "하드웨어적으로 고정"된 부분을 새롭게 재정의 할 수 있다는 것입니다.
데이브 : 흠.. 그거 뭔가 아주 달라 보이네요. 이런 ISP가 실제 "하드웨어적으로 고정"된 방식을 사용하는 것이 얼마나 보편적으로 사용되는 것인지 잘 알지 못하지만요...
DRIMe V 프로세서 - 완전히 새로운 프로세서
(칩 위에있는 "ARM"이라는 것에 혼동되지 말길... 5개보다 작은 범용 ARM
프로세싱 코어를 갖고 있다는 것이 아니라, 진짜 마술은 이 프로세서가 포함하고
있는 상당한 수의 '하드웨어 적으로 고정된' 이미지 프로세싱 모듈의 배열에서 온다.
제이 : ISP는 그다지 변용하는 것이 많지 않습니다. 종종 몇가지 숫자들 같은 것으로 한계치에 대한 변경이 가능하긴 하지만, 이미지 경로 같은 것은 흔히 고정되어져 있습니다.
데이브 : 그렇죠. 대부분 그런 자료의 흐름은 고정되어져 있죠.
제이 : 네.. 거의 변경이 불가합니다.
데이브 : 반면에 DRIMe V는 변경가능하다는 말씀이구요.
제이 : 네.
데이브 : 그래서 변경은 단순히 펌웨어 프로그램을 바꾸는 수준이 아니라, 실제 "하드웨어적으로 고정된" 것까지도 바꿀 수 있다? 그러니까 기능적인 부분까지도 수정 가능은 변경을 할 수 있는 스위치 같은 것들이 있다는 말씀인가요?
제이 : 기본적으로 그렇습니다. 삼성 소프트웨어 개발자들이 이 모든것과 관련이 있습니다. 그들은 상당히 똑똑해서, NX1의 DRIMe V 프로세서의 기능에 모든 부분을 건드릴 수 있도록 개발 된 것으로 알고 있습니다.
데이브 : 그러니까, 심지어 "하드웨어적으로 고정된" 부분일지라도 펌웨어를 통해 일부 연결을 소프트웨어적으로 재설정이 가능하다... 그래서, 향후 "펌웨어"의 개발을 통해 하드웨어에 구현된 부분을 포함해, 성능의 향상까지도 기대해 볼 수 있다는 말이군요.
제이 : 그렇습니다.
데이브 : 그래서, 근 미래에, 상당한 선능의 향상까지도 가능하겠군요. 그거 참 흥미롭네요. 왜냐하면, 이미 NX1은 상당한 성능을 갖고 있다고 보는데요.
제이 : 이건 단순히 이미지 품질에 관한 부분만이 아닙니다. 프로그램으로 변경가능하다라고 하는 측면에서 훨씬 더 많은 것들이 있습니다. 예를 들면, 우리가 이야기한 "Auto-Shot"모드 같은 것인데, 여기 그 사용자 인터페이스가 있습니다.
이 것은 NX1의 오토 샷 모드의 사용자 인터페이스 이다. 야구공 모양의
오른 쪽에 있는 아이콘은 그 방향에서 야구공이 올 것이라는 것을 의미 하는 것이고,
또한 좌측 역시 감시해야할 것이라고 말한다. 카메라는 야구공이 어느 방향에서
접근하든 감시하라고 하고, 이는 프레임 내에서 높이와는 상관이 없다. 카메라는
작고 빠른 밝은색 어떤 물체라도 움직이면 포착할 것이다.
타자의 외곽선은 단순히 표식적인 의미이며 중요한 것은 좌측의 붉은 수직선이다.
카메라는 야구공을 초당 240프레임으로 감시하며, 속도를 계산하여, 언제 그 공이
빨간선에 도착할 것인지 예측한다.
데이브 : 아~ 이게 어떻게 생겼을까 궁금했었습니다!
제이 : 이 것은 DRIMe V 이미지 프로세싱을 사용하는 하나의 완벽한 예일 뿐입니다. 이 이미지 프로세서는 동작을 초당 240 프레임 실시합니다. 이는 하드웨어 기반의 피사체 인식 기능이죠.
데이브 : 어디선가 읽은 것 같은데, NX1은 그냥 야구공만을 추적하는 것이 아니라, 또한 야구방망이도 감시한다고 했던 것 같은데요.
제이 : 그렇지는 않습니다. 야구공이 저 위치에 도달하는지만 감시합니다. 개발팀은 야구망망이가 움직이는 것 같은 것도 역시 개발 중에 있습니다. 그러나 현재로선 하드웨어적으로 공의 추적만을 하고 있습니다. 여기서 중요한 것은 이런 모든 것들이 하드웨어적으로 일어난다는 것이죠. 무언가 빠르게 움직이는 물체를 추적하는 것 말이죠.
데이브 : 정말이요? 와~~
제이 : 그렇습니다. 매 4ms마다 DRIMe V 하드웨어 타이머가 이미지 내에서 공을 추적하고, 공의 위치 변화를 계산하고, 위치의 변화로 속도를 계산한 다음, 공이 참조선을 지나는 순간을 예측하는 것입니다. 공의 속도는 상당히 넓은 범위일 수 있지만, 하드웨어에서 너무 빨리 또는 너무 느리게 움직이는 물체는 제외하고 처리합니다.
데이브 : 그렇군요. 카메라는 투수의 공이 빠르든 느리든, 카메라는 추적한다... 이는 일정 시간 지연하여 촬영하는 것이 아니라, 실제로 공의 속도를 측정하는 것이군요.
제이 : 공의 속도는 약 80km/h 에서 160km/h에 이르기 까지 어느 공이든 추적할 수 있습니다. 우리 전시관에 전시된 시연되는 모습을 볼 수 있습니다. 레이저 포인트가 투수가 던지는 빠르고 느린 공의 모습을 대신하여 보여줍니다.
데이브 : 투수가 공의 속도를 변경하여 던지는 군요. 호오....
제이 : 그렇습니다. 이 시연 영상을 보시면 NX1이 속도와는 관계 없이, 정확하게 같은 위치에서 포착해 촬영하는 것을 볼 수 있습니다.
데이브 : 그럼 공을 인식하는 영역의 크기는 어느정도가 됩니까? 사용자 화면을 보면 꽤 작아 보이는데, 어느정도의 영역의 크기에서 공의 인식이 이뤄집니까?
제이 : 프레임의 측면 모두에서 이뤄집니다.
데이브 : 뭐라구요? 진짜요? 그러니까 화면 어디에서 나타나든 자 잡아낸다구요? 그거 정말 신기하군요. 그렇다면 초당 240 프레임으로 화면을 검출한다고 했는데, 그 시간에 센서의 특정 영역만 뽑아내는 건가요? 그러니까 프레임의 주변만 뽑아내는 것인가요? 아니면 프레임의 전 역역을 뽑아내는 것입니까?
제이 : 화소의 전 영역에서 뽑아냅니다.
데이브 : 전 이미지 영역을 뽑아낸다구요? 어머나...
삼성 NX1의 매인 보드. DRIMe V 프로세서가 보인다. 칩에 보면 DRIM V라고
써있고, 그 아래 "engine"이라는 글씨가 보일 것이다. 실제 "DRIMe" 에서
"e"는 엔진이라는 뜻이다.
제이 : 그렇지만 공을 찾는 것은 주변에서만 찾습니다.
데이브 : 그러니까, 매 초 240 프레임마다, 특정 영역을 샘플링하여 뽑아내는 것이 아니고, 전 화소 프레임 전체를 뽑아내서는... 그래도, 모든 픽셀을 읽어들이는 것은 아니겠죠? 혹시 전 픽셀을 읽어들이나요?
(이건 정말 믿기 힘든 부분이었다.)
제이 : 모든 픽셀을 다 읽어들입니다.
데이브 : 헐... 그러니까 28MP을 초당 240 프레임으로 몽땅 읽어들인다구요? ㄷㄷㄷ
(이건 그간 우리가 봐왔던 것들에 비추어, 도대체가 말이 안될 정도로 빠른 것이다. 이런 건, 말도 안되게 비싼 과학장비로 매우 특수하게 만들어낸 장비에서나 봄직한 것이다.)
제이 : 네, 소프트웨어적으론 할 수 없는 일입니다. 그래서 우리가 이런 강력한 하드웨어를 구현한 것입니다.
데이브 : 아까전에 말하셨죠. 하드웨어적으로 구현한거라구요. 근데 그게 재 설정이 가능한 시스템이라는 거죠? 그래서 나중엔 공 말고도 다른 물체를 식별할 수도 있나요?
제이 : 네, 식별물체가 공으로 한정된 것이 아닙니다.
얼굴 인식은 하드웨어적으로 처리된다. - 이는 이전 DRIMe 버젼에서도 그랬다.
이 장면은 삼성이 전시한 출시예정 중인 300mm f/2.8렌즈에 내장된 초점 범위
설정의 예를 보여준다. 범위를 설정하려면, 렌즈 옆의 초점 설정 스위치를
"설정"에 놓으면, 카메라는 빨간색으로 현재 초점위치를 보여주고, 현재 설정된
초점 범위를 녹색으로 보여준다. 카메라 콘트롤 다이얼로, 초점의 원,근 초점을
설정한다. 설정이 끝나면 렌즈의 컨트롤을 "커스텀"위치로 놓으면, 렌즈는
설정한 근,원 초점 범위 밖의 피사체는 무시한다. 우리는 이런 초점 범위 설정을
본적이 있지만, 삼성의 것이 더 강력하고, 사용자 측면에서 더 직관적이고 편리했다.
삼성 NX1의 쾌속 센서 읽기. 많은 배열의 측거점 픽셀, 빠른 프로세서는
빠른 피사체 추적 AF. (다른 기능과 마찬가지로, 확실한 결론에 도달하기
위해선, 우리는 당연하지만 실세계에서 테스트 해야만 한다.)
데이브 : 그러니까 얼굴과 사물 또한 마찬가지라는 것이죠? 다른 물체는요?
제이 : 얼굴 인식은 사실 분리된 하드웨어 블록에서 처리합니다.
데이브 : 아 그래요? 그렇다면 이전 DRIMe 버전에서도 얼굴인식은 하드웨어적으로 이뤄졌었나요?
제이 : 맞습니다. 현재까지론 야구 어플리케이션만 있는데, 우리는 현재 다른 스포트 어플도 개발 중에 있습니다.
데이브 : 아... 다른 종류의 스포츠라... 스포츠 어플이란 건데, 그렇다면 야구 이외의 다른 스포츠는 어떤 것에 유용할까요? 아주 흥미로운데요. 아주 재미있는 기능입니다.
(삼성은 다른 어떤 스포츠가 유용할지에 대해 힌트를 주지 않았다. 그렇지만 나는 아주 쉽게 테니스나 골프 클럽을 떠나는 공을 상상해 볼 수 있었다.)
자... 다시 센서의 데이터 읽기에 대해 이야기 할까 하는데요, 이 카메라는 실제 240fps로 동영상 기록이 가능합니까?
제이 : 아닙니다.
데이브 : 아... 그게 그정도 속도로 동영상을 압축하는 충분한 속도가 안나와서 인가요?
제이 : 사실, 단지 우리는 아직 그 기능에 대해 구현하지 않았기 때문입니다. DRIMe V 과 센서는 처리할 역량이 됩니다. 삼성 개발팀에서 삼성 "오토 샷" 기능을 구현할 때, 디버깅 목적으로 28MP로 240fps 동영상을 라이브 촬영한 적이 있습니다. 우리는 그 프로그램을 본적은 없지만, 최소한 아주, 아주 적은 사람들은 봤을 겁니다.
데이브 : 그렇죠, 28MP에 240fps라면 엄청난 데이터 양이죠. 그정도 높은 프레임수라면 스틸 이미지 촬영엔 그다지 유용하진 않겠지만, 이정도 크기와 빠르기의 동영상 포맷도 존재하지 않겠네요.
프로세서로 돌아가서, 이정도 강력한 프로세서를 가졌는데, 이를 이용한 노이즈 감소 프로세싱에는 어떤 변화가 있었습니까? 알고리즘이라는 측면에서 봤을 때, DRIMe V이전엔 할 수 없었던 것이 가능해진 것이 있을까요?
제이 : DRIMe V는 실제로 상당히 많은 IP들 (작은 하드웨어 회로 블록들)을 오로지 노이즈 감소를 위해 할당해 놓고 있습니다. 이건 아주 멋진 건데, 많은 하드웨어 회로 블록들이 서로 다은 형태의 노이즈 감소 처리를 하는데, 이 모든 것들이 동시에 작동합니다. DRIMe IV는 이런 걸 할 수 없었습니다.
데이브 : 정말이요? 그 모든 IP들이 각각 자체의 노이즈 감소 처리를 병렬로 동시에 수행한다구요? 그러니까, 일종의 고수준의 프로세서가 "아~ 이런 종류의 이미지 내용이로구나.. 그러니까, 이 부분은 이 IP의 출력 이용하고, 저 부분은 다른 장면의 내용이니까, 저 종류의 IP로 처리한 출력을 해야지"라고 하면서 처리한다구요?
제이 : 넵... 그렇죠.
데이브 : 헐... 나는 디카에서 사용하는 이미지 프로세서의 자세한 것은 많이 알지 못하지만, 제 느낌으론 이런 종류의 처리는 소프트웨어에서 수행할 법한 내용이 아닌가 싶은데요. 여기서, 그러니까, 이 모든 종류의 노이즈 감소 알고리즘이 동시에 처리된다는 것이군요.
제이 : 넵. 하드웨어 만이 이렇게 할 수 있습니다.
데이브 : 그렇군요. 헐... 정말 재미있습니다. 거기다, 삼성의 앞선 처리로, 소비 전력도 아주 낮다는 것이죠. DRIMe IV 엔진에 비해 소비 전력은 어떻습니까?
제이 : 실제 조금 낮습니다.
데이브 : 실제 소비 전력은 낮지만, 그럼에도 불구하고 프로세싱 파워는 엄청난 향상이 있었다라는 거죠?
제이 : 그렇습니다. 이번 DRIMe V 엔진은 새로운 반도체 공정이 적용되었거든요.
데이브 : 내 생각에는 DRIMe V 가 얼추 두배의 프로세싱 능력을 갖고 있다고 했는데, 그 말은 그정도 수준의 하드웨어 유닛이 들어갔다는 말입니까?
제이 : 네. 그러나, 단순히 유닛의 숫자만 늘어난게 아닙니다.32nm 회로선폭을 적용하여 각각의 프로세싱 유닛에 더 높은 집적도를 달성하였습니다.
데이브 : 그럼 일반 CPU는 몇개나 들어갔습니까?
제이 : 다섯개의 범용 코어가 들어갔습니다.
삼성 DRIMe V 이미지 프로세서는 5개이 코어를 갖는다 - 많은 데스크탑 컴퓨터보다도 많다!
제이 : DRIMe V 에서 또다른 중요한 점은, 세계 최초의 HEVC 코덱 (H.265로도 알려짐)을 가졌다는 것입니다.
데이브 : 아.. 맞습니다. 그 것에 대해 물어보려고 했어요. 그리고 H.265로도 인코딩 하죠. 예상컨데, 이것도 하드웨어 적으로 수행하죠?
제이 : 맞습니다. 확인해 보시면, 이건 카메라에 올려진 최초의 HEVC 코덱입니다. 이 것이 또 엄청난 작업을 수행하죠. H.265는 H.264보다 훨씬 향상된 작업을 수행합니다. 비슷한 이미지 품질을 절반의 데이터 량으로 달성할 수 있습니다.
데이브 : 아.. 그러니까 H.265로 100 MBits/s의 데이터양이라면, H.264로 200 MBits/s와 같다는 말이로군요.
제이 : 네, 그런 셈이죠. 또 다른 중요한 것은 NX1은 낮은 지연율의 EVF입니다.
데이브 : 지연율이라... 아, 그렇죠. 스펙 상으로, 5ms의 지연시간이 있다고 했으니, 초당 200 프레임 갱신입니까?
제이 : 아뇨, 실제 화면 갱신률은 대략 54fps인데, 중요한 것은 EVF와 센서가 동기화 되어있다는 것입니다. 두개의 장치가 하드웨어적으로 동기화 (genlock)이 되어, 센서에 무엇이 도달하는 시간과 EVF에 현재 전시되는 이미지 사이엔 항상 5ms 지연으로 있도록 되어져 있습니다. 이것을 할 수 있는 제조사는 오로지 삼성 밖에 없습니다.
데이브 : HDMI 포트를 통한 동영상 스트리밍은 모든 경우 4:2:2 인가요?
제이 : 4:2:2는 HDMI 1.4 포트로 나갈 경우입니다. 4:2:0은 SD로 나갈 경우 입니다. H.265는 메모리 카드로 저장할 때 사용되며, HD와 4K 모두에서 사용됩니다. 어떤 동영상 모드에서든 SD 카드로 저장할 땐, H.265가 사용됩니다. 따라서, 더욱 효율적이며, 더 나은 품질의 HD 동영상을 얻을 수 있는 것입니다.
데이브 : 메모리카드의 최대 전송률은 어떻게 됩니까?
제이 : 최대 전송률은 아직 모르겠습니다만, 훨씬 효율적인 압축률을 갖고 있습니다. 이를 위해 더 많은 연산 능력이 요구됩니다만, 개략적으로 예를 든다면, Class 10을 사용한다고 했을 때, 문제가 없습니다. 그러나, 이걸 H.264로 한다면, 그러니까.... 동일한 품질로 기록하려면, UHS-3 카드가 있어야 할 것 같네요.
데이브 : 그러니까, H.265를 쓰게 되면 완전히 달라지는 것이군요. 그러니까 직선적으로 H.264와 초당 메가비트로는 데이터량으로는 비교할 수가 없겠군요. 여기선 100 Megabit고 저기선 200 Megabit고... 그래가지고선 데이터레이트로는 직접적으로 동영상 품질을 판단할 수 없겠네요.
제이 : 그렇죠, 그렇죠. 이미지 품질은 H.265가 좋습니다. 노이즈 감소 또는 압축으로 인한 왜곡은 더 적구요, 용량이라는 면에선 두배더 효율적입니다.
데이브 : 그것도 내가 하고 싶은 질문이었는데, 시간이 다 됐네요. 와~~~ 이걸로 제 질문은 거의 해결이 됐습니다. 시간내주고, 모든 정보 감사합니다!!
제이 : 별 말씀을요!
록키산맥의 감상 ========================================================
ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ 할 말이 없네요. ㄷㄷㄷ 그냥 읽어보세요..
개발자님들.. 뭔 일들을 그렇게 하셨어요... ㅠ.ㅠ
말이 안나옵니다. ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ
