هر روز بیش از 1.8 میلیارد عکس در اینترنت منتشر می شود که هر کدام از آن ها، بازسازی یک لحظه از زندگی در قالب پیکسل های دیجیتال است. اما تا کنون به این فکر کرده اید که دوربین ها چگونه تصاویر را ثبت می کنند؟ چگونه این تصاویر می توانند با وجود شرایط نوری مختلف بسیار شفاف و دقیق باشند؟
با پیشرفت تکنولوژی و در دسترس بودن دوربین های فوق العاده ای در گوشی های موبایل و دوربین های نظارتی، دیگر اکثر ما به چگونگی ثبت تصاویر و عملیات پشت پرده آن فکر نمی کنیم و تصور می کنیم این پروسه بسیار ساده و پیش پا افتاده است.
در این مطلب با ما همراه باشید تا در مورد تکنولوژی پشت پرده دوربین ها و نحوه بهبود کیفیت آن ها از طریق پردازنده سیگنال تصویر (ISP) و قابلیت های پیشرفته آن ها صحبت کنیم.
آنچه در این مطلب خواهیم خواند :
Toggleفهرست مطالب
بررسی کلی ISP
با افزایش اهمیت دوربین ها برای کاربرد های مختلفی مانند هوش مصنوعی، تولید کنندگان لازم دیدند تا بر روی افزایش کیفیت تصویر دوربین ها و اضافه کردن قابلیت های جدید، تمرکز کنند. دریافت نور از سنسور دوربین و تبدیل آن به تصویر با کیفیتی که مناسب استفاده است، پروسه پیچیده ای است که بار پردازشی سنگینی دارد. خوشبختانه دوربین های دیجیتال این مساله را با استفاده از ISP ها حل کردند که با قابلیت های مختلفی در زمینه حذف نویز و… باعث افزایش کیفیت تصویر می شود.
پردازنده سیگنال تصویری (ISP) وظیفه پس پردازش سیگنال های خروجی سنسور تصویر (Image Sensor) مانند کاهش نویز و تنظیم HDR را بر انجام می دهد. همچنین فرایند های دیگری مانند تشخیص چهره و تشخیص صحنه نیز توسط این پردازنده انجام می شوند.
در این مقاله با ISP ها و جزئیات آن ها بیشتر آشنا می شویم و خواهیم دید که چه چیزی باعث می شود که این دوربین ها برای کاربرد های مختلی مانند دوربین های دیجیتال با کیفیت بالا، دوربین های ورزشی، دوربین های نظارتی، تلفن های هوشمند و تصویر برداری صنعتی مناسب باشند.
بیایید ابتدا با بعضی واژگان و اصطلاحات تخصصی در تصویر برداری دوربین ها آشنا شویم.
اصطلاحات تخصصی
تصویر خام (Raw Image) : تصویر خام به نسخه ی فشرده نشده از فایل تصویر گفته می شود. به این دلیل به آن ها تصاویر خام گفته می شود که این تصاویر هنوز پردازش نشده اند و با این حال، تمامی اطلاعات لازم برای پردازش تصویر را در خود دارند.
تصاویر YUV : در واقع YUV یک سیستم رمزنگاری تصاویر است که بخشی از خط لوله (Pipeline) تصاویر رنگی می باشد. این سیستم تصاویر رنگی را به گونه ای رمزنگاری می کند که پهنای باند مورد نیاز کاهش یابد.
سنسور CMOS : گونه ای از سنسور های تصور می باشد که از یک آرایه از پیکسل ها تشکیل می شود و در آن یک تشخیص دهنده تصویر (Image Detector) و یک تقویت کننده فعال (Active Amplifier) وجود دارد. این سنسور ها به صورت گسترده ای در صنعت دوربین های دیجیتال، از گوشی های موبایل گرفته تا دوربین های مداربسته و وبکم ها استفاده می شوند.
الگوی بایر (Bayer Pattern) : الگوی بایر یک آرایه از فیلتر های RGB بر روی شبکه های مربعی از سنسور تصویر است. چینش دقیق این الگو که شامل رنگ های قرمز، آبی و سبز است، خود از میلیون ها فوتوسایت حساس به نور تشکیل شده اند که همگی بر روی سطح چیپ سنسور قرار دارند.
سنسور تصویر (Image Sensor) : دستگاهی است که وقتی نور به لنز دوربین وارد می شود، آن را ضبط کرده و سیگنال های الکتریکی آن را به تصاویر دیجیتال تبدیل می کند.
خط لوله پردازنده سیگنال تصویر (ISP) : روشی برای تبدیل عکس به فرم دیجیتالی آن با استفاده از عملیات هایی مانند موزاییک زدایی (Demosaicing) ، کاهش نویز، نوردهی خودکار ، فوکوس خودکار، تنظیم سفیدی خودکار، تیز کردن لبه تصاویر ، تصاویر دیجیتال را پردازش کرده و کیفیت آن ها را بهبود می بخشد.
نوردهی خودکار (Auto Exposure) و تنظیم سفیدی خودکار (Auto White Balance) : این دو پروسه، نور محیط که به طور دائم در حال تغییر است را تشخیص داده و تنظیمات دوربین را به نحوی تغییر می دهند که نور و رنگ مناسبی داشته باشد.
سنسور دوربین های دیجیتال چگونه کار می کند؟
راحت ترین راه برای فهمیدن نحوه کار سنسور دوربین این است که وقتی شاتر دوربین باز می شود، فوتون های نور وارد شده و به سنسور دوربین برخورد می کنند. از برخورد فوتون ها با سنسور، سیگنال الکتریکی تولید می شود که پردازنده درون دوربین، آن را خوانده و رنگ ها را تشخیص می دهد.
زمانی که دریافت نور پایان می یابد، فوتون هایی که به هر کدام از فوتوسایت ها رسیده اند، به صورت سیگنال الکتریکی پردازش می شوند که قدرت این سیگنال الکتریکی با توه به تعداد فوتون های دریافت شده متغیر است. در نهایت این اطلاعات در کنار یک دیگر قرار می گیرند تا تصویر تشکیل شود.
دریافت تصویر رنگی از طریق تبدیل بایر
فیلتر بایر یکی از بخش های اصلی سنسور تصویر دوربین های دیجیتال است. سنسور های بایر از یک استراتژی ساده پیروی می کنند : دریافت رنگ های قرمز، سبز و آبی در هر یک از فوتوسایت ها به گونه ای که تعداد فوتوسایت های سبز، دو برابر رنگ های قرمز و آبی باشد. دلیل آن این است که چشم انسان نسبت به نور سبز حساسیت بیشتری دارد.
مقدار هر یک از فوتوسایت ها با یک دیگر ترکیب شده و در نهایت از طریق پروسه ای به نام موزاییک زدایی (Demosaicing) یک پیکسل تمام رنگ تولید می کند. پس از آن با پردازشات بیشتر در خط لوله ISP، کیفیت بالای تصویر پدید می آید.
پردازنده سیگنال تصویر (ISP) چیست و تنظیم کردن آن به چه معناست؟
برای تبدیل یک تصویر خام بدست آمده از سنسور به یک تصویر با کیفیت بالا، پردازشات زیادی نیاز است که انجام شود. در اینجا ISP وارد میدان می شود. پردازنده سیگنال تصویر یک پرازنده مخصوص است که تصویر خام را از سنسور دوربین دریافت کرده و آن را به یک تصویر قابل استفاده تبدیل می کند.
پردازنده ISP برای ارائه ی یک تصویر مناسب با توجه به نوع سنسور دوربین و کاربرد آن، مراحل زیر را انجام می دهد:
کاهش نویز
تصاویر دیجیتال در طول پروسه ساخته شدن (از تصویر خام به تصویر قابل استفاده) در مواجهه با نویز های متعددی قرار می گیرند که باعث ایجاد تغییرات ناگهانی در مقدار پیکسل ها و عدم همخوانی تصویر ایجاد شده با صحنه اصلی می شود. در این مرحله، روش های حذف نویز یا Denoising بر روی تصویر اعمال می شود که باعث از بین رفتن نویز و ایجاد تصویر شفاف می شود.
تنظیم رنگ سفید و تصحیح رنگ
برای نزدیک کردن رنگ تصاویر به رنگ واقعی آن ها، عملیات های پردازشی مختلفی برای اعمال ماتریس تصحیح رنگ (Color Correction Matrix) روی تصاویر دوربین های دیجیتال انجام می شود. انجام این کار باعث تنظیم رنگ تصویر متناسب با فضای رنگ خروجی می شود.
اصلاح سایه لنز
این پروسه برای تنظیم روشنایی و رنگ بخش های غیر یک نواخت تصویر در بخش های حاشیه ای صورت می گیرد.
تصحیح پیکسل های ناقص
پیکسل های ناقص روی سنسور تصویر اصلاح می شوند.
تصحیح گاما
با تغییر مقدار بافر فریم در نمایشگرهای خروجی، غیرخطی بودن شدت نسبی را جبران می کند.
نگاشت محلی تن (Tone)
نوردهی های مختلف با یکدیگر ترکیب می شوند تا کنتراست محلی در بخش های نا همسان صحنه های HDR افزایش یابد.
نوردهی خودکار
نور تصویر با توجه به میزان نور دریافت شده در سنسور دوربین به طور خودکار تنظیم می شود.
فوکوس خودکار
فوکوس خودکار تیزی لبه ها در تصویر را به طور خودکار افزایش می دهد که باعث بهبود ظاهر تصویر می شود. این پروسه به وسیله ی تنظیم موقعیت لنز از طریق کنترل موتور انجام می شود.
جمع بندی
اکنون می دانیم که ISP چیست و چه وظیفه ای را در دوربین های مداربسته و دوربین های موبایل ایفا می کند. پیکسل های سنسور دوربین، به طول موج نور دریافتی حساس هستند و از این طریق رنگ ها را دریافت کرده و در نهایت از طریق فیلتر های موجود، رنگ ها تنظیم می شوند.
پس از آن پردازنده ISP عملیات موزاییک زدایی را انجام می دهد. این پروسه در واقع به این صورت است که با میزان قرمز، سبز و آبی بودن هر پیکسل با توجه به پیکسل های کناری آن حدس زده می شود.
علاوه بر این، ISP تنظیمات دیگری روی تصویر از قبیل فوکوس خودکار، تنظیم نوردهی و نور سفید و همچنین کاهش نویز، اصلاح سایه لنز، تصحیح رنگ پیکسل ها و تبدیل فضا های رنگی را انجام می دهد. در نهایت داده های بایر را تبدیل به تصویری قابل ذخیره سازی، انتشار و پردازش می کند.
هر سنسور دوربینی کارکرد متفاوتی دارد و تنظیمات آن ها تفاوت دارد. طراحی دوربین و ظاهر تصویر خروجی آن، به کاربرد دوربین و محل استفاده آن بستگی دارد. پردازنده ISP باید با توجه به تنظیمات داده شده به دوربین، تصویر مناسبی تولید کرده و ارائه دهد. به عنوان مثال دوربین های پلاک خوان دارای پردازنده مخصوص خود هستند.
اگر هر گونه سوالی در این زمینه دارید، در بخش دیدگاه ها با ما مطرح کنید.