이미지 센서와 판독
렌즈가 모은 빛은 우표만 한 실리콘 칩 위에서 수천만 개의 작은 양동이에 나뉘어 담깁니다. 양동이마다 광자를 전자로 바꾸어 세고, 그 전하를 전압으로, 다시 숫자로 바꾼 뒤, 한 줄씩 칩 밖으로 내보냅니다. 이 장에서는 이 일을 하는 부품, 이미지 센서를 층별로 뜯어 보고 각 단계가 화질과 속도를 어떻게 정하는지 숫자로 따라갑니다. 반도체 물리는 자매편 SensorBook에서 깊게 다루므로, 여기서는 카메라 시스템의 한 부품으로서 센서를 봅니다.
- 커버 글라스부터 로직 층까지 센서의 적층 구조와 BSI·적층형 센서가 나온 이유를 설명한다.
- 픽셀의 양자 효율, 우물 용량, 변환 이득, 읽기 노이즈가 신호 대 잡음비와 다이내믹 레인지를 어떻게 정하는지 안다.
- 베이어 컬러 필터 배열에서 색이 어떻게 '추정'되는지, 왜 가짜 색이 생기는지 이해한다.
- 행 단위 판독 시간이 롤링 셔터 왜곡과 연사·동영상 성능을 어떻게 제한하는지 계산한다.
- 센서 크기·화소 피치·위상차 AF 픽셀이 시스템 설계에서 무엇을 주고받는지 정리한다.
센서 한 장의 구조
이미지 센서(Image Sensor)는 빛을 전기 신호로 바꾸는 반도체 칩입니다. 오늘날 카메라와 스마트폰은 거의 모두 CMOS 공정으로 만든 센서를 씁니다. 바디 안에서는 렌즈 마운트 바로 뒤, 셔터 유닛(04장) 뒤에 놓이고, 손떨림 보정(IBIS)이 있는 카메라라면 센서 자체가 자석과 코일 위에 떠서 움직입니다(02장). 칩을 위에서부터 단면으로 자르면 빛이 지나가는 순서대로 다음 층이 나옵니다.
예전 센서는 배선층 위에서 빛을 받는 전면 조사(FSI, Front-Side Illumination) 구조였습니다. 픽셀이 작아질수록 배선이 빛을 가리는 비율이 커지자, 웨이퍼를 뒤집어 배선 반대편에서 빛을 받는 후면 조사(BSI, Back-Side Illumination) 구조가 표준이 되었습니다. 여기서 한 걸음 더 나간 것이 적층형 센서(Stacked Sensor)입니다. 픽셀만 있는 웨이퍼와 ADC·로직 회로만 있는 웨이퍼를 따로 만들어 붙이므로, 픽셀은 빛에, 로직은 속도에 각각 최적화된 공정을 쓸 수 있습니다. 일부 센서는 사이에 DRAM 층까지 끼워 프레임을 칩 안에 잠시 저장합니다. 이 구조가 왜 '빠른 센서'의 열쇠인지는 5절에서 계산합니다.
픽셀이 하는 일
픽셀 하나는 '빗물 받는 양동이'에 비유할 수 있습니다. 노출 동안 떨어진 광자 중 일부가 실리콘에서 전자를 하나씩 만들고, 전자는 포토다이오드에 고입니다. 이때 들어온 광자 중 전자로 바뀐 비율을 양자 효율(QE, Quantum Efficiency)이라 합니다. 최신 BSI 센서는 컬러 필터를 포함해 녹색 기준 대략 50~80 % 수준입니다. 양동이에는 크기가 있어서, 담을 수 있는 최대 전자 수를 우물 용량(FWC, Full Well Capacity)이라고 합니다. 대략 면적에 비례해, 화소 피치 6 µm급 큰 픽셀은 수만 e⁻, 1 µm 안팎의 스마트폰 픽셀은 수천 e⁻ 정도입니다. 그 이상 들어온 빛은 그냥 넘칩니다. 사진의 하이라이트가 하얗게 날아가는 클리핑이 이것입니다(15장).
노출이 끝나면 전하를 숫자로 바꿔야 합니다. 오늘날 표준인 4-트랜지스터(4T) 픽셀은 전하를 플로팅 디퓨전(FD)이라는 작은 축전기로 옮겨 전압으로 바꿉니다. 전자 하나가 만드는 전압을 변환 이득(Conversion Gain)이라 하고 µV/e⁻ 단위로 씁니다.
이 사슬의 모든 단계가 신호에 흔적을 남깁니다. 광자가 도착하는 수 자체가 무작위라서 생기는 샷 노이즈(신호 전자 수의 제곱근), 증폭기와 ADC가 더하는 읽기 노이즈, 연속적인 전압을 계단 모양의 숫자로 자르면서 생기는 양자화 오차입니다. 아래 시뮬레이터에서 픽셀 한 개를 같은 조건으로 4,096번 촬영해 그 결과를 모아 봅니다.
픽셀 하나의 일생: 광자 → 전자 → 전압 → 숫자
위 시뮬레이터에서 보듯 변환 이득은 '많이 담기'(낮은 CG)와 '조용히 읽기'(높은 CG) 사이의 저울입니다. 그래서 많은 센서가 FD에 스위치로 축전기를 하나 더 붙였다 뗐다 하는 이중 변환 이득(DCG, Dual Conversion Gain)을 씁니다. 밝은 장면(낮은 ISO)에서는 용량을 붙여 우물을 크게 쓰고, 어두운 장면(높은 ISO)에서는 떼어 읽기 노이즈를 줄입니다. 일부 카메라가 말하는 '듀얼 네이티브 ISO'의 정체가 대개 이것이고, 그 문턱 ISO에서 노이즈가 갑자기 좋아지는 것도 이 때문입니다(13장). 한 노출에서 두 이득으로 동시에 읽어 합치면 HDR 판독이 됩니다(SensorBook 9장).
- SensorBook 2장 · 포토다이오드광자 흡수 깊이, 양자 효율 스펙트럼
- SensorBook 3장 · 픽셀 구조4T 픽셀, 공유 픽셀, DTI
- SensorBook 7장 · 노이즈와 DR노이즈 예산, 광자 전달 곡선
컬러 필터 배열
포토다이오드는 색을 모릅니다. 들어온 광자의 개수만 셀 뿐입니다. 그래서 픽셀마다 빨강·초록·파랑 중 한 가지만 통과시키는 필터를 얹은 컬러 필터 배열(CFA, Color Filter Array)을 쓰고, 그중 가장 널리 쓰이는 배열이 2×2 단위로 R·G·G·B를 반복하는 베이어 패턴(Bayer Pattern)입니다. 초록이 두 배인 이유는 사람 눈이 밝기와 디테일을 주로 초록 근처 파장으로 느끼기 때문입니다. 밝기 정보의 대부분을 초록 픽셀이 실어 나르므로, 초록을 촘촘히 두면 같은 화소 수로 더 선명해 보입니다.
결과적으로 센서가 내놓는 RAW 데이터는 픽셀마다 숫자가 하나뿐입니다. 빨강 픽셀 자리의 초록·파랑 값은 이웃에서 추정해야 하고, 이 과정을 디모자이크(Demosaicing)라고 합니다. 추정이니 틀릴 수 있습니다. 특히 픽셀 간격에 가까운 가는 무늬에서는 존재하지 않는 색이 나타나는 가짜 색(False Color)과 무아레가 생깁니다. 실제 카메라의 영상 처리 엔진은 가장자리 방향을 판단하는 훨씬 정교한 알고리즘을 쓰며, 그 내용은 06장에서 파이프라인의 한 단계로 다룹니다.
모자이크로 찍고 다시 색 채우기
베이어만 있는 것은 아닙니다. 스마트폰 고화소 센서는 같은 색 필터를 2×2(또는 3×3, 4×4)로 묶은 쿼드 베이어(Quad Bayer)를 많이 씁니다. 어두울 때는 같은 색 네 픽셀을 합쳐(픽셀 비닝) 큰 픽셀처럼 쓰고, 밝을 때는 일반 베이어처럼 다시 배열(리모자이크)해 전체 화소를 씁니다. 6×6 단위의 불규칙한 배열로 무아레를 줄이는 방식, 필터 없는 흰색(W) 픽셀을 섞어 감도를 높이는 RGBW, 아예 필터를 빼서 해상도와 감도를 얻는 흑백 전용 센서도 있습니다. 자세한 비교는 SensorBook 4장에 있습니다.
판독: 행 단위로 읽는다
센서에는 픽셀이 수천만 개 있지만 ADC는 그만큼 없습니다. 보통 열마다 ADC를 하나(또는 몇 개) 두고, 행 구동기가 행을 하나씩 골라 그 행 전체를 동시에 변환합니다(그림 5-2). 한 행을 처리하는 시간을 행 시간(line time), 모든 행을 다 읽는 데 걸리는 시간을 판독 시간(Readout Time)이라 합니다.
전자 셔터로 찍을 때 문제는 노출도 이 순서를 따른다는 점입니다. 각 행은 '읽히기 직전 일정 시간' 동안 빛을 모으므로, 맨 윗행과 맨 아랫행은 판독 시간만큼 서로 다른 순간을 찍습니다. 그 사이 피사체나 카메라가 움직이면 세로선이 기울고 프로펠러가 휘는 롤링 셔터(Rolling Shutter) 왜곡이 생깁니다.
판독 시간과 롤링 셔터 왜곡
롤링 셔터를 피하는 길은 두 가지입니다. 하나는 판독을 아주 빠르게 하는 것(적층형 센서), 다른 하나는 모든 픽셀의 노출을 동시에 끝내는 글로벌 셔터(Global Shutter)입니다. 글로벌 셔터는 픽셀마다 전하를 잠시 보관할 저장소(저장 노드나 커패시터)와 트랜지스터를 더 넣어야 하므로 공짜가 아닙니다.
| 방식 | 장점 | 대가 |
|---|---|---|
| 기계식 셔터 + 센서 | 왜곡이 작다(막 이동 수 ms). 센서는 천천히 읽어도 됨 | 소리·진동·마모, 연사 속도 한계, 플래시 동조 속도 제한(21장) |
| 롤링 전자 셔터 | 무음, 기계 마모 없음, 초고속 셔터 가능 | 판독 시간만큼의 왜곡, 인공조명 아래 줄무늬(12장) |
| 글로벌 전자 셔터 | 왜곡 없음, 모든 셔터 속도에서 플래시 동조 | 픽셀 면적 일부를 저장소에 씀 → 우물 용량·다이내믹 레인지 감소, 노이즈 증가 경향, 저장 중 빛이 새는 문제(PLS) 관리 필요, 비용 |
롤링 셔터를 '촬영 요령'으로 다루는 법은 12장, 플리커와 HDR 판독 같은 심화 주제는 SensorBook 9장에서 다룹니다.
데이터량과 적층형 센서
판독 속도는 결국 '1초에 몇 비트를 칩 밖으로 내보낼 수 있느냐'의 문제이기도 합니다. 센서가 만드는 데이터량은 간단히 곱하면 나옵니다.
센서는 이 데이터를 MIPI CSI-2 같은 고속 직렬 링크로 보냅니다. 링크는 여러 개의 레인으로 이루어지고 레인 하나가 대략 수 Gbit/s를 나르며, 동기화·패킷 헤더·행 사이 공백 같은 오버헤드가 있습니다. 링크가 느리면 센서 안에서 행을 빨리 읽어도 내보낼 곳이 없으므로 판독이 길어집니다. 적층형 센서는 두 가지 방법으로 이 병목을 풉니다. 로직 웨이퍼에 ADC를 더 많이, 더 빠르게 넣어 행 시간을 줄이고, DRAM 층이 있으면 픽셀 배열을 몇 ms 만에 통째로 읽어 칩 안에 저장해 둔 뒤 링크 속도에 맞춰 천천히 내보냅니다. 이때 롤링 왜곡을 정하는 것은 링크가 아니라 '픽셀 배열을 비우는 속도'가 됩니다.
센서 데이터 예산: 인터페이스가 따라가는가
센서 크기와 화소 피치
센서 크기는 카메라 시스템 전체의 첫 번째 설계 변수입니다. 같은 화각을 얻는 초점거리, 렌즈의 크기와 무게, 바디 두께, 그리고 한 장에 모이는 빛의 총량이 모두 여기서 정해집니다. 아래 그림은 흔한 형식을 같은 축척으로 놓은 것입니다.
같은 면적을 몇 개의 픽셀로 나누느냐가 화소 피치(Pixel Pitch), 즉 픽셀 한 칸의 폭입니다. 화소 수 ≈ 센서 면적 ÷ 피치²이므로, 풀프레임 24 MP는 약 6 µm, 같은 크기의 60 MP급은 약 3.8 µm, 1/1.3형 50 MP 스마트폰 센서는 약 1.2 µm, 2억 화소급 폰 센서는 0.6 µm 수준까지 내려갑니다.
| 예 | 센서 | 화소 수 | 피치 | 우물 용량(대략) |
|---|---|---|---|---|
| 풀프레임 일반 | 36×24 mm | 24 MP | ~6 µm | 수만 e⁻ |
| 풀프레임 고화소 | 36×24 mm | 45~61 MP | ~3.8~4.4 µm | 수만 e⁻ 이하 |
| APS-C | ≈23.5×15.6 mm | 24~40 MP | ~3~4 µm | 1만~수만 e⁻ |
| 스마트폰 메인 | ≈9.8×7.4 mm | 50 MP | ~1.2 µm | 수천 e⁻ |
| 스마트폰 초고화소 | 1/1.4형 안팎 | 200 MP | ~0.6 µm | 수천 e⁻ 이하 |
작은 픽셀은 하나하나가 담는 빛이 적어 시끄럽지만, 사진을 같은 크기로 보면 중요한 것은 픽셀이 아니라 센서 전체가 모은 빛의 양입니다. 작은 픽셀 네 개를 합치면 큰 픽셀 하나와 샷 노이즈가 같아지고, 차이는 읽기 노이즈가 네 번 더해진다는 점 정도입니다. 최신 센서의 읽기 노이즈가 1~3 e⁻ 수준으로 낮아진 덕분에 고화소의 불이익은 생각보다 작습니다. 이 '같은 총광량' 관점은 09장과 13장에서 촬영 쪽으로 이어지고, 스마트폰 모듈의 크기 제약은 PhoneBook 카메라 모듈 장에서 다룹니다.
위상차 AF 픽셀
미러리스 카메라와 스마트폰은 초점을 맞추는 센서도 이미지 센서 안에 들어 있습니다. 렌즈의 왼쪽 절반을 지난 빛과 오른쪽 절반을 지난 빛을 따로 받으면, 초점이 맞았을 때는 두 상이 겹치고 어긋났을 때는 서로 반대 방향으로 벌어집니다. 벌어진 거리와 방향에서 '얼마나, 어느 쪽으로' 초점이 어긋났는지 한 번에 알 수 있으므로, 렌즈를 이리저리 움직여 보는 콘트라스트 AF보다 훨씬 빠릅니다. 이것이 위상차 AF입니다.
센서가 하는 일은 여기까지, 즉 '얼마나 어긋났는가'를 재는 것입니다. 이 값을 받아 렌즈 모터를 몇 단계로 얼마나 빨리 움직일지, 움직이는 피사체를 어떻게 따라갈지는 제어 루프의 몫이며 07장에서 다룹니다. AF 모드와 영역을 고르는 촬영 요령은 16장, 픽셀 수준의 구조는 SensorBook 12장을 참고하세요.
핵심 정리
- 센서는 위에서부터 커버 글라스·IR 컷 필터, (선택) 로패스 필터, 마이크로렌즈, 컬러 필터, 포토다이오드, 배선, (적층형이면) 로직·DRAM 웨이퍼로 쌓인다. BSI는 배선을 빛의 반대편으로 보내 작은 픽셀의 감도를 살렸다.
- 픽셀은 광자를 QE 비율로 전자로 바꾸고, 우물 용량에서 포화한다. 변환 이득(q/C)은 많이 담기와 조용히 읽기 사이의 저울이며, 이중 변환 이득은 ISO에 따라 이 저울을 바꾼다.
- 베이어 배열은 픽셀마다 한 색만 재므로 나머지 두 색은 디모자이크로 추정한다. 초록이 두 배인 것은 밝기 디테일 때문이고, 가는 무늬에서는 가짜 색이 생길 수 있다.
- 센서는 행 단위로 읽는다. 판독 시간 = 행 수 × 행 시간이며 일반 센서는 수십 ms, 적층형은 수 ms 수준이다. 전자 셔터의 롤링 왜곡은 이 시간에 비례한다.
- 데이터율 = 화소 수 × 비트 × fps. 적층형 센서는 빠른 ADC와 칩 내 DRAM으로 판독과 전송을 분리해 왜곡과 연사의 병목을 줄인다.
- 센서 크기는 총광량과 시스템 크기를, 화소 피치는 픽셀당 우물과 해상도를 정한다. 위상차 AF 픽셀은 센서가 초점 오차의 크기와 방향을 직접 재게 한다.
확인 퀴즈
BSI(후면 조사) 센서가 FSI보다 유리한 가장 큰 이유는?
변환 이득을 높이면(고변환 이득 모드) 어떤 변화가 생기나?
베이어 배열에서 초록 필터가 빨강·파랑의 두 배인 이유는?
4,000행 센서의 행 시간이 6 µs라면 판독 시간과, 전자 셔터로 1,800 rpm 프로펠러를 찍을 때 판독 중 회전각은 대략?
45 MP, 14비트 RAW를 초당 20장 압축 없이 내보내려면 필요한 대역폭은 대략?
듀얼 픽셀 AF 센서의 구조로 옳은 것은?