Q:
Чому «вузьке вузьке місце інформації» є важливою теорією глибокого навчання?
A:Ідея «інформаційного вузького місця» у штучних нейронних мережах (АНН) діє за особливим принципом, що стосується дифузії різного роду сигналізації. Це розглядається як практичний інструмент для вивчення компромісів, завдяки яким ці системи штучного інтелекту самооптимізуються. Стаття провідної статті, що описує концепцію вузького місця інформації, представлену Tishby et. ін. говорить про "позбавлення шумних вхідних даних сторонніх деталей, як ніби за допомогою видавлювання інформації через вузьке вузьке місце" та "збереження лише функцій, найбільш релевантних загальним поняттям".
Як відносно нова концепція, ідея вузького місця інформації може допомогти покращити та змінити те, як ми використовуємо ANN та пов'язані з ними системи для моделювання когнітивної функції. Один із способів, яким ця теорія може допомогти, - це допомогти нам краще зрозуміти парадигми, які підтримують функції нейронної мережі. Наприклад, якщо принцип ілюструє, як система зберігає лише певний набір функцій, ми починаємо бачити, як ця «дискримінація даних» робить мережу «мавпою» людським мозку, і інженери можуть додавати це до моделей нейронної мережі. Ідея тут полягає в тому, що, зрештою, нейромережеві технології стануть скоріше «універсальною» концепцією, а не лише провінцією привілейованих кількох. В даний час компанії шукають дефіцитних талантів AI; такі теорії, як теорія вузьких місць інформації, можуть допомогти поширити знання про нейронні мережі до лайперсона та до "середніх користувачів" - тих, хто може не бути "експертами", але може допомогти у появі та розповсюдженні технологій нейронної мережі.
Ще одна важлива цінність вузького місця інформації полягає в тому, що інженери можуть почати навчати системи працювати більш точним чином. Наявність деяких керівних принципів вищого рівня для системної архітектури може впорядкувати еволюцію цих типів технологій, а тому більш чітке уявлення про принципи глибокого навчання є цінним для ІТ-світу.
Загалом, авангард, що працює над AI, буде продовжувати розглядати конкретно, як працюють нейронні мережі, включаючи уявлення про "відповідну інформацію" та про те, як системи дискримінують виконання функцій. Одним із прикладів є обробка зображень чи мови, коли системи мають навчитися визначати багато варіантів як "об'єкти". Загалом, вузьке місце інформації показує певний вигляд того, як нейронна мережа працюватиме з цими об'єктами, а саме як ці моделі даних обробляти інформацію.
