Зміст:
- Визначення - Що означає відкриття знань у базах даних (KDD)?
- Техопедія пояснює відкриття знань у базах даних (KDD)
Визначення - Що означає відкриття знань у базах даних (KDD)?
Відкриття знань у базах даних (KDD) - це процес виявлення корисних знань із колекції даних. Ця широко застосовувана методика передачі даних - це процес, що включає підготовку та вибір даних, очищення даних, включення попередніх знань про набори даних та інтерпретацію точних рішень із спостережуваних результатів.
Основні сфери застосування KDD включають маркетинг, виявлення шахрайства, телекомунікації та виробництво.
Техопедія пояснює відкриття знань у базах даних (KDD)
Традиційно видобуток даних та відкриття знань здійснювались вручну. З плином часу кількість даних у багатьох системах зростала більше, ніж розмір терабайт, і їх більше не можна підтримувати вручну. Більше того, для успішного існування будь-якого бізнесу виявлення основних моделей даних вважається важливим. В результаті було розроблено декілька програмних засобів для виявлення прихованих даних та створення припущень, які входили до складу штучного інтелекту.
Процес KDD досяг свого апогею за останні 10 років. Зараз в ньому розміщено багато різних підходів до відкриття, що включає індуктивне навчання, байєсівську статистику, оптимізацію семантичних запитів, отримання знань для експертних систем та теорії інформації. Кінцевою метою є отримання знань високого рівня з даних низького рівня.
KDD включає багатопрофільну діяльність. Це охоплює зберігання та доступ до даних, алгоритми масштабування масивних наборів даних та інтерпретацію результатів. Очищення даних та процес доступу до даних, що входять до складу даних, полегшують процес KDD. Штучний інтелект також підтримує KDD, відкриваючи емпіричні закони експериментів та спостережень. Шаблони, визнані в даних, повинні бути дійсними для нових даних і мати певну ступінь визначеності. Ці закономірності вважаються новими знаннями. Етапи, що беруть участь у всьому процесі KDD, є:
- Визначте мету процесу KDD з погляду замовника.
- Зрозумійте пов’язані сфери застосувань та необхідні знання
- Виберіть цільовий набір даних або підмножину зразків даних, на яких буде проведено виявлення.
- Очистити та попередньо обробити дані, вирішивши стратегії для обробки відсутніх полів та змінити дані відповідно до вимог.
- Спростіть набори даних, видаливши небажані змінні. Потім проаналізуйте корисні функції, які можна використовувати для представлення даних, залежно від мети чи завдання.
- Збігайте цілі KDD з методами вилучення даних, щоб запропонувати приховані шаблони.
- Виберіть алгоритми пошуку даних для виявлення прихованих шаблонів. Цей процес включає вирішення, які моделі та параметри можуть відповідати загальному процесу KDD.
- Пошук моделей, що цікавлять, у певній репрезентативній формі, які включають правила класифікації або дерева, регресію та кластеризацію.
- Інтерпретувати істотні знання з видобутих шаблонів.
- Використовуйте знання та включіть його в іншу систему для подальших дій.
- Задокументуйте це та складіть звіти для зацікавлених сторін.
