Співробітники компанії «Техопедія», 11 травня 2016 року
Винос: Ведуча Ребекка Йозвяк обговорює досягнення архітектури та зберігання баз даних з Дез Бланчфілдом, Робіном Блором та Брайаном Булковським.
На даний момент ви не ввійшли в систему. Будь ласка, увійдіть або зареєструйтесь, щоб переглянути відео.
Ребекка Йозвяк: Дами та панове, привіт, вітаємо Вас із «Горячими технологіями» 2016 року. Сьогодні ми, «Викриваючи диференціацію: приходить нова ера масштабованої інфраструктури». Я сьогодні вступаю до Еріка Кавана. Я Ребекка Йозвяк, ваша скромна господаря з групи борту, поки Ерік їде на Ямайку. Добре йому.
Отже, як це було десятиліттями, цей рік є спекотним, хоча, мабуть, технології рухаються темпами, що випереджають закон Мура, і що організації роблять, щоб не відставати? Вони шукають все, що швидко, і масштаб, я б запевнив, - це, мабуть, одна з найважливіших речей, коли ми думаємо про бази даних. І звичайно, у нас є варіанти звичайних реляційних, тепер у нас є наш NoSQL, у нас зберігається стовпчик, у нас є бази даних графіків, наші бази даних RDF, але насправді те, що шукає бізнес, - це масштабність, це паралелізм і швидко .
Тепер традиційні архітектури були начебто засновані на цій реляційній моделі. Але якщо ви подивитесь на більшість веб-бізнесу, що виникли протягом останніх трьох, п'яти, десяти років, це не ті моделі, які вони використовують для своєї інфраструктури. Вони використовують іншу, паралельну архітектуру, вони масштабують і вони швидкі, і це те, до чого сьогодні звертається багато людей.
У нашому складі, у нас є Дез Бланчфілд, він вчений з групи Bloor. У нас є доктор Робін Блор, наш головний аналітик групи Bloor, у нас є Брайан Булковський, CTO і засновник компанії Aerospike. Тож хлопці з цим, я збираюся передати його Dez.
Дез Бланчфілд: Дякую і дякую, що мене тут. Я спробую створити сцену для того, як ми наче дуже швидко дісталися до того, де ми є, і ми збираємось зануритися в набагато більше технічних деталей, переглядаючи сьогоднішні теми. Я просто збираюся тут контролювати екран.
Так більше, краще і швидше. Коли я замислююся над тим, де ми знаходимось, образ, який мені все більше спадає на думку, - це саме те зображення, яке я отримав на своєму слайді заголовка, який є розширенням Всесвіту. Ми вже десятиліттями розробляли та робили технології, насправді з кінця п'ятдесятих років, коли мейнфрейм став справжньою справою. Технологія продовжує зростати у багатьох випадках у гіршій чи більшій мірі, ніж лінійна крива, залежно від того, на якій частині кривої ви перебуваєте, наскільки йде програмне забезпечення або обладнання.
Шкала стає все більшою і більшою, і все швидшою, і швидшою, що стосується того, що ми намагаємося поставити, і все меншими і меншими на виробничому та напівпровідниковому рівнях. А в середині є програмне забезпечення та додатки та системи, які лежать в основі цього програмного забезпечення, і вони, як правило, все менше і менше, і ми бачили речі, такі як контейнерні програми та мікросервери, це знову стає річчю. Ми робили це в минулому, десятиліттями раніше, але в результаті все менших і менших туди ми стаємо все більшими і більшими за масштабами, якими ми можемо зараз керувати такими речами, як програми та конкретні бази даних, і логіка ці бази даних.
Я маю такий погляд, де ми масштабували дуже горизонтально, по суті осі X; ми масштабували вертикально по осі Y. Зараз ми перебуваємо в точці, де нам потрібно піти кудись інше, і, на мій погляд, це подумки передбачено віссю Z, і це те, що ми повинні заглибитися в технологію і подивитися, як ми можемо робити все інакше, ніж ми це робили досі, щоб отримати додатковий шматок швидкості. Тому я візуалізую все це розширення Всесвіту, де у нас відбувся вибух, і існують деякі технології, і це покращує лінійний ріст і попит. Нам довелося знайти різні способи, щоб досягти більшого, кращого та швидшого результату.
Просто для швидкого висвітлення того, де ми зараз перебуваємо в декількох апаратних умовах. Ми бачили, що падіння витрат на гігабайт дискового простору призводить до декількох досить великих переходів і технологій, а також підходів до більшої, кращої та швидшої проблеми масштабу. Це два окремих графіки, які охоплюють приблизно десятиліття за штуку, трохи більше десяти років за кожну падаючу ціну одного гігабайти місця на жорсткому диску.
Це класична крива J або хокейна палиця, як ми їх часто називаємо, тому що деякий час тому ви могли витратити буквально сотні тисяч доларів, щоб придбати гігабайт дискового простору не зовсім два десятиліття тому, тоді як сьогодні це стало доларами і врешті-решт я впевнений, що це закінчиться: те, що ми називаємо гонку до нуля, це стане копійками. Це призвело до цікавих змін у типі речей, які може зробити бізнес. І я позначаю це як перелом через дані чи великі дані зокрема, і під цим, я маю на увазі те, що ми бачили технології, як те, як стати річчю, де ми могли би масштабувати дуже горизонтально у сховищі, і тип обчислень, які ми може застосовуватися до цього сховища, і як він відкриває цікаву технологію, оскільки вона дозволяє нам робити дуже великі, надлишкові паралельні сховища на найшвидшому рівні, і Hadoop частин сам по собі, споконвічно маючи можливість копіювати дані в один раз прочитаний багато разів формат, а просто масштабуйте річ майже на лінійному рівні.
І всі такі компанії приходять до зриву з використанням великих даних. У нас є такі компанії, як Uber, які є найбільшою в світі компанією таксі. Насправді вони не мають жодних таксі, і тут довгий список. Airbnb є найбільшим постачальником житла, фактично не має нерухомості. Один із моїх улюблених - Facebook, наприклад, у цьому списку, де вони фактично не створюють вміст, ми створюємо його саме для них, але вони насправді є найбільшим власником ЗМІ на планеті. У нас є цікаві, такі як банки, що швидко ростуть, насправді не мають грошей. Це платформи для однорангових позик і банки, а в Австралії є одна, зокрема, яка зростає і тут називається SocietyOne. А деякі основні банки, які мають мати готівку, інвестують саме в цей конкретний банк. І ми переходимо через цей список аж до Netflix; насправді вони не мають жодного кінотеатру, але вони фактично є найбільшим кінотеатром на планеті.
Таким чином, вони дійшли до того, де вони були, на мій погляд, завдяки застосуванню розумних технологій на рівні даних, тому що ми могли зробити більший і ширший обсяг пам’яті за менших витрат через падіння ціни на гігабайт місця на жорсткому диску, і ми могли б застосувати деякі інтелектуальні обчислення та розподілити обчислювальну модель над цим. Ці компанії мали можливість створити конкурентну перевагу і порушити в результаті падіння витрат дискового простору.
Ми бачили подібне, що трапляється у вартості пам'яті. Пару десятиліть тому, якщо у вас лежало шість мільйонів доларів, ви можете придбати гігабайт оперативної пам’яті, а у нас була дуже схожа J крива або хокейна палиця, яка відбудеться за рахунок зменшення витрат або падіння ціни ОЗП. І це спричинило цікаві речі, і на мій погляд, одна з найбільших збоїв у цьому просторі - це обсяг пам’яті, який можна вбудувати в пристрої, як мобільні пристрої, як телефони та планшети, і навіть ноутбуки. Комп'ютери сьогодні, об'єм пам'яті, який переходить на звичайний ноутбук, в деяких випадках досить смішний. У деяких випадках мій поточний ноутбук має більше пам'яті, ніж деякі сервери, якими вони користувалися не так давно.
Це призвело до значних змін у власних правах, подібно до того, як пам'ятає оперативна пам’ять, і це дозволило нам швидко масштабувати та масштабувати. І ось у нас з’явилася технологія, яку ми називаємо flash, і це технологія, яка спочатку випливає з того, що сиділо на апаратному вигляді у вигляді EEPROM, маленького чіпа, який був розроблений так, щоб бути доступним, і пишіть до, і тоді, коли живлення вимкнеться, вона збереже все, що ви написали на цьому чіпі, як стійке сховище. Це було повільно, було незграбно, і в ті часи, я думаю, це було приблизно в 1980–1981 роках, це стало річчю. До 1984 року Toshiba, який я вважаю, винайшов цю технологію, зробив це комерційною річчю, яку ми могли використовувати.
Але невдовзі люди зрозуміли, що вони можуть насправді взяти комбінацію компонентів, які використовувались для створення цього поняття EEPROM - пам'яті, доступної лише для читання, як тільки її стерли і записали до неї, і вони насправді могли записати на неї регулярно, і використовувати його трохи більше, як дисковий простір, і трохи більше схожий на ОЗУ. З часом вона розвивалася. Тепер ця технологія флеш-пам’яті є об'єднанням між традиційним дисковим сховищем, будь то спінінг-диск або в деяких випадках гібридний диск пам’яті та оперативною пам’яттю. І головне - це система між тим, що ви можете її читати і писати, а потім вимкнути живлення, і вона збереже те, що ви їй написали. Отже, простір на диску, очевидно, ви пишете на нього, ви вимикаєте живлення, а прядильний шпиндель і сильно модифікований, заради кращого опису, зберігає нулі та ті, що ви їм написали.
У просторі пам'яті з випадковим доступом ви щось записуєте в пам'ять в оперативній пам'яті, вимикаєте комп'ютер і все стирається, оскільки немає більше електронів, щоб заряджати його і зберігати інформацію, яку ви йому написали. Плюс це в середині, і це надзвичайно швидко, швидше, ніж диск, що в рази менше, ніж ОЗУ. Але ви можете писати до нього і читати з нього, і коли вимкніть живлення, воно збережеться. Це призвело до дивовижних технологій, і особливо ми розробили мобільні пристрої та ноутбуки, які є дуже, дуже швидкими та здатними робити багато речей, і тепер він перемістився в інфраструктурний простір навколо сховища та обчислення, і це призвело до значного зміни в тому, що ми можемо забезпечити в масштабі. Це десь там, де я вірю, що вісь Z в моїх думках виникає зараз.
Це майже просто в часі багато способів, тому що ми зараз спостерігаємо зрив через те, що я називаю попитом, і це те, що споживачі мають, незалежно від того, що відбувається в інфраструктурі та технологічному просторі, і здатність швидше їздити і більш швидкі обчислення та ефективність на інфраструктурному рівні споживачі вимагають цього порушення у вигляді того, про що йдеться зараз, досвіду знаменитостей. Всі хочуть, щоб кожна система, кожен додаток, кожен веб-сайт знали, хто вони і що їм подобається, і мати можливість надати їм персоналізований досвід один на один. Це вже недостатньо добре, просто зайти на веб-сайт, де я купую квитки в кіно. Я хочу, щоб він знав, що я купував раніше, чому я купував це, і потенційно те, що люди, як і я, купували і рекомендують речі.
Незмінно ми бачимо, що я маю на увазі побічний соціальний порядок, і це те, що я хочу досвіду знаменитостей, але я також хочу соціалізувати цю ідею, я хочу поділитися нею з усіма своїми друзями і сказати їм, що я Я роблю, і я також хочу знати, що роблять мої друзі. І це результат вибухонебезпечного попиту на додаткові обчислення та зберігання та швидкого повороту речей. Ми бачили покоління Fitbit, що я називаю завжди відстежуваним. Все, що я роблю, відслідковується, і записується, і захоплюється десь. Ми бачили в реальному часі все: банківські послуги, торги, рекомендаційні механізми, щоб мати можливість справлятися з реальними речами, які я особисто роблю як споживач.
І тоді ми бачимо дуже великий вплив, як ризики для безпеки навколо кібербезпеки. Раніше у нас були окремі хакери, потім у нас були до цього звертаються злочинні банди, зараз у нас цілі країни йдуть на війну через Інтернет, що реально і справді відбувається. Зверніть на це увагу, сядьте і погляньте на це, тому що це реально впливає на це, і деякі наші попередні покази були навколо обговорення ризику проникнення вашого власного комп'ютера або, принаймні, вашої мережі.
Ми бачили цю концепцію видобутку сутності. Вилучення особи - це коли ми повинні знайти цікаві речі у дуже великих наборах даних, особливо навколо шахрайства, незаконної та хакерської діяльності. Але частіше за все ми бачимо, що видобуток сутності стає орієнтиром для добрих речей і цінностей для нас, на відміну від пошуку речей, які атакують нас.
Ми також бачили вибух, який називають геопросторовими даними. Це дані, які насправді знають, звідки вони походять, або з яких інших даних, таких як. Ви можете уявити, що ви стоїте на вулиці, і хочете знайти найближчу станцію паркування або найближчий ресторан, програми, які можуть застосовувати геопросторові обчислення та дані, обчислюючи дані, які знають, де це в просторі, дуже важливо, тому що вам потрібно вміти знати, де знаходяться інші об’єкти та сутності, і робити це швидко.
Ми бачили постійно підключений мобільний телефон. Навіть коли ми лягаємо спати вночі, наші мобільні телефони все ще тикають, оновлюємо наші електронні листи, перевіряємо наші календарі, дивимося, яка погода і з'ясовуємо, чи буде доступне те, що ми хотіли б на сніданок. Там відбувається багато шуму, і це створює масовий вплив на те, що нам потрібно робити на задньому кінці, і на те, як швидко ми це робимо.
Загалом масштабність та вплив того, що називається Інтернетом речей, або частіше за все, підключенням машина-машина, де пристрої спілкуються з пристроями, і це іде аж до двигунів, прив'язаних до сторона літака, яка повідомляє самому літаку або системі управління літаком, що опора на двигуні номер чотири відчуває надмірний знос і тепло, і його слід замінити, коли ми приземлимося, а потім він передасть іншу машину, і тому він повинен розмістити замовлення, і магічно інженер з'являється під час польоту в аеропорту і готовий замінити його під час заправки.
І така велика і така велика шкала, що нам довелося вступити в те, про що я посилаюся, через доступ, щоб впоратися з нею. Тому що новий світ, і ласкаво просимо в новий світ, новий світ у всьому, що ми використовуємо, пов'язане між собою; колись це були супутники та мережеві пристрої, тепер це мобільні пристрої, наші ноутбуки та планшети та телефони, і навіть у мого абсолютно нового Audi вбудований знак, і він постійно звітує про власне здоров'я, але також оновлює себе, і знає, де це, і які карти застосовні, і навіть підказує мені, коли їхати іншим маршрутом, якщо попереду дорога.
Все, що ми зараз будуємо, все, що ми зараз говоримо з вами, створене для того, щоб підключитись та підключитися до інших речей, не лише від мене до системи, але від системи до системи, і щоб ми могли впоратися з цим ми доведеться застосовувати дуже різні думки на рівні інфраструктури, як на апаратному, так і на програмному забезпеченні, особливо шари баз даних, необхідні системам для цього, і багато в чому база даних стала двигуном, і програми справді просто маленькі боти, які роблять справи.
Я збираюся тут швидко завернутись із цим злегка жартівливим поглядом на те, куди ми йдемо з цими речами, і те, що я називаю «IoT одним натисненням кнопки». Був створений новий гаджет під назвою Amazon Dash Button, і це маленький гаджет розміром з великим пальцем. Насправді багато в чому це те саме, що і мій USB-накопичувач. Коли ви купуєте цю річ, це близько 4, 99 доларів США в Інтернеті від Amazon, вона доставляється вам, ви налаштовуєте її за допомогою мобільного телефону і ви буквально просто приєднаєте її до одного зі своїх пристроїв, наприклад, холодильника або пральної машини або будь-якого іншого. У прикладі вашої пральної машини, якщо в кінцевому підсумку у вас закінчиться пральний порошок, ви можете натиснути цю кнопку, і вона набере додому і автоматично замовить більше для вас, і чарівно більше надійде до вас через наших добрих друзів в Amazon.
Для мене це мене лякає, бо відбудеться вибух ряду речей, які підключаються до мережі та намагаються створити зв’язок та створити попит. Якщо ви можете собі уявити, одна чи дві речі, можливо, не такі страшні, але останній раз, коли я подивився, було понад 110 таких брендів, так що майже кожен бренд на планеті збирається спробувати отримати свій власний маленький потік - Кнопка IoT, ви йдете додому, і ви натискаєте кнопку, і вона говорить: "Замовте мені піцу". Ви натискаєте іншу кнопку, і вона замовляє завтра готовий обід для ваших дітей на завтра.
Це викликає такий масований попит на трансформацію на задньому кінці, на рівні додатків, зокрема на рівні бази даних, що, я думаю, ми лише побачили верхівку айсберга того типу трансформації продуктивності, який нам потрібно побачити . І з цим я збираюся передати його доктору Робіну Блору і зрозуміти, де ми знаходимось.
Ребекка Йозвяк: Добре Робін, я передав тобі м'яч.
Робін Блор: Хіба це не добре? Гаразд, ось ми йдемо, це я. Я бачив презентацію Деза ще до того, як я прийшов до цього, тому я сказав, що речі є безкоштовними, а не просто повторювати деякі речі, які сказав Дез. Я думав, що буду говорити про еволюцію баз даних з точки зору того, що насправді сталося з архітектурою тощо тощо з базами даних з історичної точки зору.
Основною проблемою, яку має будь-який постачальник баз даних, є підтримка гнучкої архітектури, яка масштабує та йде в ногу з еволюцією обладнання. Я буду говорити про це так, але коли ви насправді озираєтесь назад і бачите, як використовувались бази даних та спосіб їх побудови, вони насправді значно відрізняються від рівня архітектурного дизайну. . Варто лише переглянути, чому це так, або, принаймні, я думаю, що це так. Фактор обладнання, і Dez дав нам особливо гарне проходження нижніх шарів з точки зору пам'яті та диска. Що ми маємо зараз, і це майбутнє, наступний Intel, CP, який має FPGA на ньому. Що люди будуть робити з цим, я не маю поняття. AMD об'єднує процесори та графічні процесори, і яка різниця це буде робити? Це такі зміни, які насправді матимуть базу даних, і я підозрюю, що Aerospike серед інших, оскільки Aerospike керується продуктивністю, ймовірно, це вже дивиться на це і працює там, де він думає, що насправді буде йти з тим, як працює продукт.
У нас є система на чіпі, яка ще не знята. SSD-диски, про які ми знаємо, але важливо зазначити, що вони насправді збільшуються в швидкості, приблизно за нормою закону Мура, в 10 разів на кожні шість років. Але Intel збирається випустити тривимірну перехресну точку, яка стверджує, що здатна перейти в сто разів швидше, ніж SSD, насправді, це щось, що потрапляє в суміш, то це змінить швидкість, з якою фактично такі продукти, як Aerospike йти.
Тоді у нас є паралельні архітектури обладнання, іншими словами, таким чином, як ми побудували апаратне забезпечення в сенсі - спочатку це був лише процесор, що сидів над пам'яттю, який сидів над диском, але це стало набагато складніше, ніж це. Ідея системи на мікросхемі полягає в тому, що ви можете насправді мати чіп паралелізму, щоб чіп чипати і змусити все пройти з надзвичайною швидкістю, і ми не маємо ідеї, який саме з цих продуктів насправді буде домінувати.
Це лише погляд на майбутнє, але на апаратному рівні продуктивність прискорюється, а витрати продовжують падати, на зразок того, що описував Dez. Ваші процесори не обов’язково дешевшають, вони просто швидше і так далі.
З точки зору бізнесу, в деяких ситуаціях, і це ринкові ситуації, перше - це значення бізнесу. Якщо ви особливо - якщо ви абсолютно впевнені, що певна акція впаде в ціні, перша особа, яка отримує замовлення на продаж, отримує найкращу ціну. Це дійсно так просто. Отже, існує технологічна гонка, яка продовжує автоматизовану торгівлю в банках, щоб реально спробувати виграти ці ситуації. Що сталося після цього? Що станеться після того, як банки зробили свою справу з усім цим? Ви раптом починаєте бачити інші райони, заражаючись тими ж потребами в швидкості.
Дійсно, що відбувається, чи люди були вилучені з рівняння, і це сталося з Інтернет-рекламою дуже швидко. Але річ полягала в тому, що це не конкретна транзакція, виконання методів, це цілий бізнес-процес, це факт, що веб-сторінку щойно скинули, і потрібно прийняти рішення, яке може бути досить складним рішенням, щодо того, яку рекламу потрібно розмістити на цій веб-сторінці, виходячи з того, хто користувач веб-переглядача - це те, що було б найбільш підходящим для розміщення реклами та інше тощо. Це стало дуже складною справою, і я знову це згадаю.
Але справа в тому, що продуктивність і масштабованість бізнес-процесів - це не та сама проблема, як продуктивність і масштабованість можливостей запиту, і це я добре знаю, тому що нещодавно провели інструктаж, який ми зробили з Aerospike, що вони Ви також знаєте про це. Інша справа, коли ви фактично працюєте з цією швидкістю, властивості активів мають значення для транзакції, будь-якої обробки подій. Вони справді, дійсно мають значення. Отже, дуже багато того, що роблять деякі бази даних, а це втрачає лист або два від активу, може працювати досить добре в контексті - це буде добре працювати в контексті, про який ми говоримо. Чесно кажучи, це не прийнятно.
З технологічної точки зору ви насправді дивитесь - я знаю, що існує два види важелів, щоб створити таку архітектуру, яка насправді необхідна для надання швидкості, яка, наприклад, Aerospike, може зробити мільйон транзакцій за секунду Вам потрібно бути дуже точним щодо розробки програмного забезпечення. Ви не можете просто зламати. Вам потрібно потурбуватися про довжину кодового шляху. Вам потрібно чудово використовувати пам'ять, і ви фактично оптимізуєте цілі транзакції. Вам потрібен розумний паралелізм, а також вам потрібен безвідмовний паралелізм. Вам потрібно масштабувати масштаби, а не масштабувати, тому що як тільки ви залучаєте мережу до чого-небудь, це стає найімовірнішим покажчиком, на який ви збираєтесь натиснути на затримку, і ви почнете робити транзакції занадто повільними.
Ви повинні якомога більше потрапити на будь-яку інформацію про мережу, перш ніж ви дійсно масштабуєте, і ви дійсно не хочете швидко масштабувати, ви дійсно не хочете багато процесів. Вам потрібно мережу, якою ніхто інший не користується. І ви хочете мати неймовірно швидку мережу.
Прискорене зберігання SSD - це щось - насправді я думаю, що більшість цього стосується того, що робить Aerospike. Одна з цікавих речей - це база даних NoSQL. Це вважалося - я не знаю, кілька років тому - раніше вважалося, що реляційна база даних є єдиною базою даних, і вона домінувала над усім, і це була лише ця дивна маленька ніша, в якій вам не потрібно йти реляційними. Зараз це наче повернуто на голову. Це швидкі бази даних, які є в цих базах даних SQL, і одна з причин, головна причина цього - це те, що вони уникають приєднання до даних, вони зберігають дані досить об'єктно. Коли ви закінчите з об'єктом, ви просто зберігаєте його, а потім витягуєте весь об'єкт назад, він не з'єднує речі разом, щоб фактично їх обробити. Ось яка швидкість. Такі види методи, що генерують швидкість в контексті бази даних
Це слід сліз, це те, що трапилося з базою даних. Історія або розповідь реляційних баз даних закінчувалась базами даних, насправді не було правдою. Навіть коли вони почали домінувати, це все одно було необхідне. Об'єктні бази даних робили минулі транзакції в ті часи, оскільки реляційні бази даних насправді не могли їх робити, а потім виявилося, що реляційні бази даних, що використовують рядові сховища, також не могли робити швидкі запити, вам потрібні сховища стовпців. І тоді ми виявили, що якби ви насправді хотіли робити графічні запити на даних, ні стовпчик, ні реляційна база даних не принесуть користі, і вам фактично потрібно було створити спеціально базу даних, орієнтовану на графіки. Потім увійшли бази даних RDF, і як тільки ви насправді почали розглядати значення семантики, ми отримали бази даних NoSQL дуже швидко, дуже конкретно. Називати їх NoSQL - це майже так, ніби ви брендуєте всі ці бази даних так, ніби вони були однаковими, насправді вони кардинально відрізняються від того, що лежить внизу. Єдина причина, що вони носять ім'я NoSQL, це те, що вони не гребують SQL, оскільки це занадто дорого. Затримки транзакцій, які їм потрібні.
IoT - який я думав, що закінчу на тому ж самому етапі, що і Дез закінчив його, - це ще не все, і вся ця ситуація з точки зору швидкості та затримки не закінчилася, поки товста дама не почне виправдати ці дані, і це ще не почалося. Багато цих даних хочуть мати затримки, про які я вказував, тому я думаю, що це все, що я маю сказати. Давайте передамо його Aerospike та Брайану Булковському.
Брайан Булковський: Привіт, велике дякую за приєднання до групи Bloor та мене за сьогоднішню презентацію. Розмірковуючи про те, про що тільки говорили Dez та Робін, я хотів би розповісти вам трохи про шлях, який Aerospike взяв у наданні нової технології баз даних та технології баз даних NoSQL для багатьох галузей. Це був чудовий шлях. Ми почали Aerospike у 2008 році, побачивши багато тенденцій, про які згадували Дез та Робін. Зокрема, про те, що в базі даних пам’яті можна скористатись флеш-пам’яттю, а також виду хмарних систем масштабування, а також види масштабу, необхідного для персоналізації, аналізу поведінки та виду VIP-досвіду знаменитостей, про які йшлося.
Коли ми підійшли до проблеми бази даних, яка представляла собою оперативну базу даних передового рівня, яка була здатна надати підґрунтя додаткам, які можна було б написати для їх вирішення, ми почали з проблеми, як ми могли побудувати по суті розподілену хеш-таблицю, пам'ять -розподілена хеш-таблиця, яка була вражаюче швидкою і здатна до таких речей, як мільйони транзакцій в секунду, але за розумною ціною. Коли ми закінчили свій прототип, ми зрозуміли, що тоді нам доведеться з'ясувати, кому може знадобитися така швидкість. Будучи компанією «Силіконова долина», ми швидко виявили, що саме ця галузь реклами здатна споживати таку інформацію та зацікавила її, і тому я хотів би провести секунду, розмовляючи про те, як проводити торги в режимі реального часу та як це ринок працює.
Робін згадував, як працює фінансова торгівля, яка є першою транзакцією, яка часто є виграшною транзакцією, і, по суті, є час виходу на ринок затримок і значення затримки. Рекламна індустрія дещо інша, цікавим чином, оскільки мета реклами - це особливість - те, що називається враженням, здатність розміщувати рекламу - є аукціоном, і аукціон триває від десяти мілісекунд до п'ятдесяти мілісекунд. Назва гри, і часто сотні компаній, які зараз здійснюють ставки в реальному часі за кожне оголошення, розміщене в Інтернеті, полягає в тому, щоб отримати найбільшу кількість даних і привести найкращі алгоритми, які можна виконати протягом цих десяти-п’ятдесяти мілісекунд протягом найбільший обсяг даних.
Ці зміни та зрушення відбувалися в рекламній індустрії, за кожну з цих маленьких мілісекунд, обмежене часом ускладнення найкращих алгоритмів над найбільшою кількістю даних, і для цього ви збираєте безліч невеликих шматочків дані. Остання інформація про IP-адресу, недавня інформація про певну категорію пристроїв, недавня інформація про поведінку веб-сайтів, останні пошукові терміни - все це входитиме в секретний соус алгоритмів конкретної компанії для визначення ціни та ставки.
Це було захоплюючим ринком. Ми вперше здійснили своє перше розгортання в Aerospike в 2010 році з деякими першими компаніями, які серйозно працювали в економіці торгів в режимі реального часу, а потім досягли, в основному, того, що зберігає дані про поведінку на передньому рівні для більшості компаній, простір. Те, що ми знайшли з того часу, і це особлива архітектура, яку я детально деталізую в ході цієї презентації, - це те, що все відбувалося в 2010, 2011, 2013 роках і продовжує розвиватися. Реклама - дуже динамічний ринок.
Але такий VIP-досвід можна вважати розміщенням правильної реклами, розміщенням не реклами для дитячих товарів, тому що я не маю дітей, тому я не матиму ефективної реклами, якщо це розміщений на цьому, але якщо мова йде про швидкі автомобілі, це така реклама, яку слід розмістити Брайану. Це справді такий VIP досвід угод, знижувати чи ні, якщо ви знаходитесь на сайті роздрібної торгівлі, навіть у виявленні шахрайств. Це нормальна модель конкретної людини чи конкретної кредитної картки? Вся ця технологія технології аналітики в реальному часі, прогнозування поведінки, прогнозної аналітики зараз виходить з рекламної індустрії, яка займається цим з задоволенням і з метою отримання прибутку зараз уже кілька років, і дійсно приходить в роздріб і банківська справа, і виявлення шахрайства тощо, через певну архітектуру. Тож Aerospike отримав честь бути частиною ряду цих випадків.
Ми бачимо роботу архітектури, яка практична для цього - це те, де замість того, щоб створювати набір запитів із сервера додатків, замість цього переміщувати більшу частину своїх обчислень на сам сервер додатків, а потім використовувати базу даних, як по суті, сховище двигун для тих предметів, про які говорив Робін. У цьому випадку ці архітектури насамперед не плутають це з вашою фактичною аналітикою. На правій частині цього слайда ви бачите, що тут ще є аналітика для отримання уявлень. Це робочі місця, які часто працюють над петабайтами, десятками петабайт даних, навіть екбабайтами у випадках, коли деякі з наших великих клієнтів використовують різні технології. Потрібно мати велику команду даних, команду з аналітики, кількісну команду, яка з'ясовує, що, скажімо, мають значення геопросторові координати, які моделі працюють з точки зору пошуку цих відносин та створення VIP-досвіду. Це сама проблема, а не проблема, в якій безпосередньо брав участь Aerospike, і є маса чудових технологій, коли ви маєте справу з такою системою.
Те, що ми були раді та працюємо з галуззю, - це, як тільки ти маєш ці уявлення, як ти береш участь у виду машина-машина-машина або швидка машина-людина-транзакція, де ти береш цю думку та робиш вони реальні для кожної людини, мить за моментом? Архітектура, яку ми бачили за допомогою цієї, є такою, де є написаний сервер додатків, і він виконує всю цю математику і переглядає створені вами моделі, а також переглядає недавню поведінку і робить це над суттєво ключовою парадигмою або принаймні дуже легкий запит системи.
Коли ви маєте справу з типами даних, про які ми говоримо, типом потоків, про які ми говоримо, з мільйонами записів в секунду, мільйонами читань в секунду, мільйонами, сотнями і тисячами рішень за по-друге, побудова складних індексів, багатовимірних індексів просто не працює дуже добре, це не масштабується. Спосіб досягнення такої форми масштабу полягає в проведенні багато паралелізму. Ми трохи поговоримо про те, як це робити пізніше. Але частиною цього є сервер програм без громадянства, написаний вашою рідною мовою.
Що часто ми бачимо, це конкретний проект, який передбачає нову систему застосувань, засновану на людях, які там працюють, технології, яку вони використовують, та проблемі, до якої вони наближаються. Ми бачили людей, які використовують Python, багато людей використовують Java, ми все ще бачимо програмістів на C, тому що багато з них все ще мають високу продуктивність, можливо, навіть використовують такі речі, як старі бібліотеки MATLAB. І їм потрібно торкнутися тисяч до тисяч точок даних в секунду, щоб прийняти ефективне рішення.
Одне запитання, яке я задавав іноді, - це "Брайан, якщо ти здатний на мільйони транзакцій в секунду, кому це потрібно?" Якщо ви подивитеся, наприклад, на обробку платежів у Північній Америці, і Aerospike пов'язаний з Рішення, що здійснюють виявлення шахрайства в цій системі та підтримують розробників програм, які роблять деякі дуже інноваційні речі щодо виявлення шахрайств, є лише кілька тисяч платіжних операцій в секунду, що проходять навіть через найбільші платіжні процесори. І все ж, коли перша компанія прийшла до нас і сказала, що дивиться на використання NoSQL і хотіла побачити, як виглядає наше рішення, що лежить в основі їхньої програми, вони сказали, що хочуть торкнутися 5000 частин даних у вікні 750 мілісекунд. Отже, раптом у вас є кілька сотень ділових транзакцій і кілька тисяч фрагментів даних, які слід враховувати під час кожного обчислення, і тепер ви перебуваєте в області необхідності мільйонів транзакцій в секунду.
Випадок - відклавши рекламу на секунду, випадок шахрайства є захоплюючим, бо там, де є гроші, там є шахрайство, і запобігання шахрайству в реальному часі, на відміну від спроб аналітично розібратися після шахрайства, справді є Справа в тому, щоб донести до Інтернету якомога більше даних, і ви можете подумати про це як відображення цього VIP-досвіду. Чи поводиться ця людина так, як вони зазвичай не ведуть себе? Таким чином, шанси бути шахрайською системою, а не справді цією людиною, зростають. Чи зазвичай ця людина отримує доступ через певний пристрій або набір пристроїв з певним набором роздільної здатності екрана? Як правило, вони демонструють певну поведінкову модель покупок? Можливо, ми зможемо обманути шахрайство в ході самої транзакції. Це мало б нагадувати вам про те, що відбувається в рамках транзакції в рекламній системі.
Системи, які ми вирішуємо, - це такі, де кожен окремий платіжний процесор має велику команду даних, у них багато історичних даних, вони створюють нові моделі, вони не діляться з нами в Aerospike всіма моделями, тому що вони ти справді секретний соус. Якщо ви абонент Gartner, і ви чули, як Gartner розмовляє про економію алгоритму, це один алгоритм і одна компанія, яка бореться в голову, щоб знизити шахрайство і збільшити кількість успішних транзакцій, тому що ви також не робите ' не хочете блокувати транзакції. Ось такі проекти, які ми шукаємо в Aerospike на таких рівнях масштабу.
Інший випадок, з яким ми працювали з компаніями з фінансових послуг, - це те, що називається внутрішньоденною системою обліку. У цьому випадку те, що відбувається, багатший досвід навіть у системі роздрібної торгівлі - це той, де я хочу мати змогу подивитися на свою конкретну позицію, і хочу зробити це надзвичайно точно. Я не хочу мати вилов перед моєю системою DB2. Натомість я хочу переглянути точні дані та між мобільними, а також такі речі, як перерахунок ризиків, перерахунок ризиків тепер повинен здійснюватися щохвилинно, ви хочете мати можливість перерахувати ризик кожного, а також глобальний ризик, системний ризик для всієї компанії протягом декількох хвилин.
І знову це та сама проблема. Кожен окремий обліковий запис, який є певним, вважайте це ключовим пошуком значення певного об'єкта, тоді це можна зробити паралельно, і найголовніше, що ця парадигма дозволяє писати свій код і алгоритми мовою високого рівня, що простіше налагодження і швидше виходити на ринок. У цій економіці алгоритмів мені потрібно мати можливість передати свої алгоритми онлайн. Це зовсім інша проблема моделювання та ділових відносин, саме в цьому реляційні системи чудово підходять. Якщо у вас є таблиця деталей, і ці частини асоціюються з замовленнями, і ці замовлення пов’язані з людьми, у вас є бізнес-процес, який можна суворо моделювати і, ймовірно, не зміниться протягом життя вашого бізнесу. Однак новий алгоритм пошуку нової схеми шахрайства повинен бути написаний точно і швидко, і наблизитися до Інтернету, приймаючи ділові рішення за лічені дні, якщо не швидше. Рішення NoSQL для такої системи запису справді є дивовижною системою для цих хлопців, оскільки дозволяє їм дуже швидко обробляти дані, а також створювати нові алгоритми, тому не просто новий досвід клієнта у зверненні до мобільних, а справді розробка широкого спектру нових застосувань.
Що ми бачимо в Aerospike в довгостроковій перспективі, це той факт, що кожен тип бази даних, кожен фізичний макет даних на диску мають свої компоненти, і в Aerospike ми дійсно зосереджені на цьому ключовому значенні чи орієнтованій на роль системі, як сказав Робін, з високою транзакційною послідовністю і дійсно дозволяють людям, як магазини стовпців та озера даних з великим обсягом даних, а також жорсткі транзакційні системи, які також мали обмеження для звітування. Ми бачимо, що всі вони потребують введення в різні системи пошукових систем. Ми бачимо деякі двигуни на основі JSON. Ми бачимо такі речі, як еластичний пошук, ми бачимо іскру, всі потребують різних сортів у різний час, як у магазинах стовпців, так і в магазинах для рядків, в чому Aerospike найкраще.
Ми дійсно бачимо, що ці різні типи та галузь доходять до того, що вибір найкращого породи кожного з них стане необхідністю. На жаль, через реальність тривалої аналітики та аналітики віршованих завдань та оперативних обмежень ми, мабуть, не дістанемося до єдиного, одного розміру, який підходить усім, але ми дістанемося до того, що зможемо чітко вибрати один з основних макетів даних.
Давайте поговоримо хвилинку про інновацію спалаху. У мене все ще виникає питання, хоча, як було сказано раніше, спалах вже зараз з нами. Коли ми почали Aerospike в 2009 році, це було, я вважаю, 2009 рік, можливо, так, це був 2009 рік, коли Intel вийшла з X25, яка була справді першою флеш-пам’яткою SATA на масовому ринку, і до цього було багато флеш-систем, але насправді це був той, хто ввірвався у багато свідомості технологій. Fusion-io дійсно приніс спалах на широкий ринок підприємств після цього.
Зараз відбувається поява системи під назвою NVMe. NVMe - це стандарт, подібний до SATA або SAS або навіть SCSI, який дозволяє різним постачальникам карт взаємодіяти з драйверами в операційній системі з високим рівнем ефективності. Таким чином, це створює більш високий рівень продуктивності, перш за все тому, що NVMe базується на PCIE як його базовому транспорті, що набагато швидше, ніж SATA, SAS або що-небудь інше, але також дозволяє найкращим драйверам.
Наприклад, в Linux є цей хлопець Jens, а Jens - це керівництво драйверів NVMe, експозиція Jens, і він робить кращу роботу, ніж будь-який окремий tn Intel або Fusion-io міг зробити зі своїм індивідуальним драйвером з усіма своїми ресурсами. Коли у вас є сила, що сама операційна система зможе створити найкращий драйвер, ми бачимо кілька справді дивовижних рівнів продуктивності. Це все підкріплює ідею, що спалах дійсно може забезпечити малу затримку оперативної пам’яті.
Тепер Aerospike все ще є чудовою базою даних оперативної пам’яті завдяки своїй кластерній моделі, однак, ми виявляємо, що коли ви робите мережевий скачок, для якого вам потрібно мати масштабоване сховище, ви вже витрачаєте щонайменше п’ять - 50 мікросекунд, додаткові 70 мікросекунд NAND зазвичай не є перешкодою, і ви можете також використовувати спалах, враховуючи, що NAND спалах, враховуючи, що мережа вже в цьому задіяна. Тоді багато людей замислюються над тим, як - все це чудово звучить, якщо ви купуєте власне обладнання, як це роблять громадські хмари? Я думаю, ви зараз знайдете, незалежно від того, яку публічну хмару ви використовуєте, ці публічні хмари мають дуже сильні флеш-пропозиції. Він дещо відрізняється від хмарного постачальника послуг до хмарного постачальника. У Amazon є свої екземпляри I2, які я думаю, що рік, два роки, це справді досить високоякісні флеш-пристрої, і Aerospike має схему розгортання поверх них.
Я хотів би закликати Google Compute, Google Compute Engine, Google Cloud, тому що, на наш досвід, вони мають деякі пристрої з найвищою продуктивністю та найбільш гнучкі з точки зору моделей розгортання. Але ви також бачите нові шаблони розгортання на зразок Pivotal, який є свого роду приватним / приватним, тому ви можете робити правильні програми Pivotal як у місцях, що підтримують Flash, так і підтримують різні пристрої зберігання даних, а також Docker. Тож справді, це момент історії, коли флеш доступний не тільки для придбання та розміщення у ваших центрах обробки даних, але й справді занурився у всіх постачальників інфраструктури, адже це дійсно найкращий спосіб отримати системи з високим IOPS на дуже розумна затримка.
Всього один момент про Aerospike - Aerospike - це база даних, що розподіляється кластером, що робить її дуже придатною для розгортання хмарного стилю, а також центрів обробки даних. Ми виявляємо, що гнучкість можливості додавання більше даних та підвищення продуктивності абсолютно необхідні в таких нових чистих додатках, тому що ви починаєте проект, ви не знаєте, чи потрібні вам п'ятдесят тисяч транзакцій в секунду, сто тисяч, мільйон, два мільйони, тож ви хочете віддати собі змогу додавати сервери. І все ж, ви хочете розширити масштаб, щоб кожен сервер міг бути швидким самостійно. Ви насправді не хочете опинитися на п'ятистах чи тисячі серверів, які є повільними серверами баз даних. Масштаб - це не єдина гра в місті, її масштаб і масштаб, як говорив Дез раніше, є нова вісь Z.
Сподіваємось, це дає вам нові ідеї щодо того, як швидкість та масштабність стосується нових ринків, і, можливо, є проекти, над якими ви працюєте, де ви зможете розглянути справді створення більш багатих додатків та використання додаткової системи з більш ключовим значення або база даних NoSQL під ним. В Aerospike я, безумовно, бачив багато наших клієнтів, і багато наших користувачів з відкритим кодом досягли успіху за такою схемою, і я з нетерпінням чекаю, щоб галузь прийняла її в більшій мірі.
Ребекка Йозв'як: Дякую, Брайан, і я впевнений, що Дез і Робін мають гарні питання до вас. Робін?
Дез Бланчфілд: Я радий заскочити. Робін, у вас є питання? Інакше у мене є швидкий, який я можу почати.
Робін Блор: Вибачте, що я відключив звук. Я пірнав, але мене ніхто не чув. Мене одразу виникло питання, адже це дуже складний набір технологічних можливостей. Що стосується наявних у вас клієнтів, яка ескалація або швидкість транзакцій у вас є стосовно деяких із цих оголошень? Чи продовжує зростати швидкість транзакцій? І якщо так, то з якою ставкою?
Брайан Булковський: Цікаве питання, Робін. У кожної галузі є своя крива у кожній компанії. Візьмемо, наприклад, рекламу в Північній Америці, наприклад, в 2012 році північноамериканська реклама була, ймовірно, ближчою до 200 000 оголошень в секунду, на зразок стандартного внутрішньоденного, а не мого часу, і зараз вона зросла, ймовірно, до приблизно трьох-п'яти мільйонів оголошень в секунду. Але потім сталася цікава річ. Рекламна індустрія почала вирішувати деякі проблеми шахрайства, і частини галузі, які здатні блокувати шахрайство, побачили, що ставки транзакцій трохи знижуються, приблизно в два рази, в межах деяких наших більш досконалих клієнтів, які змогли визначити шахрайство. Звичайно, їм довелося зробити кілька пошукових запитів баз даних, щоб заблокувати шахрайство, тож це в кінцевому підсумку було таким самим.
Цікавий випадок використання в телекомунікаціях, я не дуже згадував про це, телеком бачив, що трансакції збільшуються через рахунок, що базується на кожному пакеті, який проходить через мережу мобільного телефону. За старих часів у нас були детальні записи про дзвінки, і раз на хвилину дзвінок, як ви знаєте, трохи пінг пройшов би через мережу і чи у цього хлопця ще залишилася хвилина? Тепер ми повинні будувати і рівномірний маршрут, виходячи з кожного пакету в Інтернеті. Це - вибачте в мобільній мережі, яка раптом зараз складає мільйони пакетів в секунду і щось зростає знову і знову. Отож один випадок, коли кожен додаток забезпечує 2X на рік. У деяких клієнтів ми бачимо: "Але зачекайте, у мене є нова програма. Я хочу додати трохи шахрайства до свого ризику. Я хочу додати трохи глибшого досвіду клієнтів до моїх шахрайств та мого ризику ». Кожен з них створює нове навантаження на базову базу даних.
Робін Блор: Так, я маю на увазі, я думаю, що саме на це я натякав у своїй короткій презентації, яку я дав, що це - ми думали, що транзакція є, хтось щось робить і, можливо, є каскад подій, і все це записується, і зараз багато транзакцій мають величезну кількість пошуку, і ви навели кілька прикладів у презентації. Отже, ви фактично не виконуєте транзакцію, ви фактично виконуєте такий собі додаток, який може містити до нього багато-багато елементів.
Інше питання, перш ніж я передам Dez - оскільки ми, очевидно, позначаємо групування з цього приводу - інше питання, на яке я хотів би, щоб ви відповіли, якщо ви отримали розумну відповідь на це, - це Dez, і я очікую, що Інтернет Речі, або Інтернет усього, як його іноді називають, створюють досить драматичну кількість транзакційного трафіку. Чи можете ви з цим говорити? Це ваш досвід, чи є у вас клієнти, які звертаються до вас з такою конкретною проблемою, і що ви бачите на цьому на даний момент?
Брайан Булковський: Звичайно, я думаю, що тут є невелика плутанина, і, м'яко кажучи, щодо Інтернету речей. Клієнти, яких я бачу до цих пір, просто доводять Інтернет до речей, які вони мають. Подумайте про ці кнопки Amazon - це все Amazon - ці кнопки, ви не можете їх змінити і перейти до Walmart в Інтернеті. Це не такий браузер, як ви можете змішувати і поєднувати все. З іншого боку, від машини до машини відбувається, і коли ви підключаєте свій автомобіль Tesla, щоб зарядити його, Tesla надсилає величезний зворотний потік інформації, кожен датчик в машину, але вона надходить у комп'ютер Tesla для аналізу та вдосконалення. якість. Те, що я бачу, це все те, що від машини до машини, і всі датчики в окремій компанії, що створюють нові вимоги.
В основному сьогодні, це впадає в ці аналітичні системи, і візьмемо справу Тесла; Першим використанням цього Tesla, наскільки я зрозумів, було покращення терміну служби акумулятора, під заголовком «Які робочі температури, які навантаження? Давайте подивимось на це, давайте розробимо кращий акумулятор ". Але потім вони починають думати, і все це чудово. Це якась захоплююча проблема глибокої аналітики, наступне питання:" Як я покращую досвід по моменту ? »
Тепер давайте візьмемо такий випадок, як Nest, де ти намагаєшся робити прогностичну аналітику, щоб змінити температуру будинку в мить за моментом. Ось такий випадок, коли ми починаємо бачити в аероспіку, де є це величезне озеро даних і є величезні аналітичні процеси, але що я зараз робитиму? Мені потрібно буде зберегти, подумати про це як про готівку, якусь частину останнього тижня, за останній місяць, можливо, навіть про інформацію, що варто останнього дня, мабуть, із зворотнього боку, тому що ми маємо справу з простим датчиком пристроїв, і я збираюсь робити аналітику в цей момент за моментом, щоб змінити досвід. Такий досвід, схожий на гніздо, для якого я бачу випадки використання Aerospike.
Робін Блор: Гаразд, я очікував з Інтернету речей - це те, що ти почнеш отримувати порогові тригери і вони почнуть створювати каскади подій. Ви бачили щось подібне, чи це ще не все, що ви бачили?
Брайан Булковський: Дез і я - я просто запитував думку Деза про це, коли ми попередньо показували балачки. Те, що я ще не бачив, - це такий тип каскаду даних однієї компанії, який впадає в іншу компанію, що мій холодильник Samsung розмовляє з моєю пральною машиною LG, тому що я просто зрозумів, що я просипав цілу купу шоколаду по підлозі, так таку компанію, яка продає компанію за пристроєм, я думаю, що я все ще чекаю цього в Інтернеті речей. Я думаю, що в бізнесі та безпеці є деякі проблеми, які в основному нетехнічні, на які потрібно відповісти, щоб це побачити.
Робін Блор: Гаразд, Дез?
Дез Бланчфілд: Насправді у мене дуже сильні погляди на цю конкретну точку, яку я лише коротко введу в розмову. Я думаю, що часто бізнес і технології думають, що вони насправді ведуть туди, звідки надходить попит, але коли ми дивимося, що сталося, коли iPhone став річчю, і на мою думку це був наче перший мобільний пристрій, якщо ви помилуєтеся каламбур, але пристрій, який можна було б перенести навколо, який насправді може запускати багато маленьких додатків у вашій кишені, і це спричинило значну трансформацію того, що ми думали про комп'ютер. Дуже багато людей думають про телефони iPhone або смартфони або телефони Android як телефони, але це не так, вони насправді є лише маленьким комп'ютером, який запускає додатки, і один із застосованих ним програм здійснює дзвінки, і вони не є дзвінки, про які ми думаємо більше, вони не є аналоговим дзвінком "точка-точка", як підкреслив Брайан, це маленькі пакети, які розбиваються навколо.
Але частіше за все, ми бачили, що це вбивство смартфонів насправді не використовується для здійснення дзвінків, які часто, ймовірно, 98% того, що я роблю на своєму смартфоні, не здійснює дзвінків. Це все, крім дзвінків, це додатки. Я думаю, що цей каскадний ефект - і я хочу швидко довести це до питання - але каскадний ефект насправді викликають споживачі, і насправді у мене є цей один вкладиш, який я викидаю досить часто, щоб отримати купу CXO сидіти в кімнаті і звертати увагу, якщо я думаю, що вони засинають із презентацією, яку я роблю, і це, сподіваємось, трапляється не так часто.
Я начебто це сказав у той зрив, який ви бачите у своєму бізнесі, насправді не керується виключно технологіями, це частіше, ніж не керувати вашими клієнтами. І вони начебто сидять і насправді задаються питанням, що він там має на увазі? Отже, коли я думаю про використання технології, я маю на увазі, що ми бачили USENET, ми бачили всі ці цікаві речі, що відбуваються в Інтернеті, але не багато людей прогнозували соціальне та вплив цього. Усі, хто хоче сказати всім, що вони мали на сніданок, і шум, який це створило, і технологію, що склалася у нас, і, звичайно, реклама намагається наповнити це речами.
Я думаю, що ми побачимо ефект каскаду до того моменту, коли пристрої розмовляють із пристроями, споживачі просто наздоганяють, що це насправді означає, і що це може зробити. Ви підняли цікаву точку, чому кнопка Amazon не розмовлятиме з Walmart. Я опублікую це питання, що станеться, коли Walmart отримає власну кнопку, а що робити, якщо двадцять амазонок та вальмартів та інших основних мереж розповсюдження та роздрібної торгівлі всі отримають свої кнопки? Куди нас це бере? Зокрема, моє питання з Брайаном буде: "Куди ми йдемо з цією новою парадигмою виконання? Ви перебуваєте на межі кровотечі, і ви працюєте з компаніями, які займаються цим як на рівні фізичної інфраструктури, так і на рівні передачі даних. Куди це нас веде, коли настає наступна велика хвиля? Яким розумінням ви можете поділитися навколо цього з тим, що відбувається на бекенді з вашого досвіду? "
Брайан Булковський: Безумовно, те, що я думаю про багато з цих речей, полягає в тому, щоб зосередитись на досвіді користувачів та саме на тому, що ви сказали, саме користувачі керують цим, хоча, як технологи та бізнесмени, ми можемо придумати розумна ідея, яку, на нашу думку, подобається користувачам, і я якось повернусь до прикладу Nest. Коли моя сестра встановила Nest у своєму будинку, вона сказала: «У моєму будинку тихіше, я чую речі. Справа навіть не в тому, що я плачу менше за енергію, - вона є, але ти зараз не можеш зірвати це Гніздо з рук, тому що їй подобається перебувати в тихішому будинку на відміну від того, де опалення нагнітається максимум. а потім вимкнути назад.
Питання, зрештою, що таке користувачі, які ми можемо надати можливість? Це в кінцевому підсумку є тим досвідом якості життя, що якби у нас є гроші і ми перебуваємо в першому світі, ми б платили багато за що. Наведу приклад з мого власного будинку, моя дівчина любить холодне молоко. Їй подобається по-справжньому холодне молоко, і тому нам часто доводиться намагатися з’ясувати, де в холодильнику буде досить холодно, а не решту речей перегрівати. Ну це чудово - і я сказав своїй подрузі: "Чи платите ви 10 доларів на місяць за холодне молоко і не заморожені холодці?" Вона виглядала так: "Абсолютно". І отримувала 10 доларів на місяць від будь-якого споживача важко.
Я думаю, що в цьому досвіді ми справді повинні слідкувати за тим, що є тим досвідом для споживачів, яким насправді можна керувати. Я думаю, це було частиною секрету iPhone. Я думаю, що це частина секрету Tesla будувати кращу машину з усіма даними, скасовуючи ідею про цикл продукції та щорічний випуск та постійно вдосконалюючись на кожній частині. Нам доведеться придумати кілька розумних ідей щодо того, як реально використовувати всі ці дані таким чином, що миттєво переважає життя людей.
Дез Бланчфілд: Так, це чудове розуміння. На основі цього, іншого кінця спектру, що саме перегукується з тими речами, які ми зараз бачимо, з тим, що споживачі просять, і в нас удома є щось, що холодно від цього і тепле від цього. Інший кінець спектру - це, і ми це бачили в традиційному "світі великих даних", коли призначення даних стає рідше, ніж зуби курей, а ті, що є на ринку, пропонуються більше, ніж заробляють CIO. в деяких випадках типи компаній, з якими ви працюєте, і типи розробок, які ви бачили, чи буває так, що типи розробника та тип архітектора даних та спеціальні мережі, чи їх все складніше і важче знайти ? Чи потрібні нам організації, щоб зараз почати думати про випередження кривої того типу набору навичок, який їм потрібен задньому для типу розробників та архітекторів даних? Що ви бачите на цьому рівні щодо ресурсів для майстерності, які вони зрозуміють, як зробити цю технологію корисною зараз?
Брайан Булковський: Так, я думаю, що це одне із викликів, з якими стикаються організації, з якими я спілкувався. Будь то - найгірші проблеми, про які я чув, - це насправді великі підприємства, тому що якщо ти кажеш: "Я з цього великого банку, я з Чейза і був архітектором даних", то ти " у вас є устриця у світі, і ваша зарплата зростає, тож проблема в тому, щоб знайти роботу в одному з таких місць, тому що там не вистачає людей, а потім можна просто переходити з роботи на роботу. Я нічого не чую, окрім подібних проблем, і це фактично одна з причин, чому я зосереджував Aerospike навколо використання інструментів, відповідних конкретній команді проекту.
Замість того, щоб намагатися зайти в команду проекту і сказати: "Ей, ви повинні використовувати нашу мову запитів". Подивіться, якщо ці хлопці, вони їдуть в автобусі сьогодні, хлопці та дівчата, і якщо вони використовують певну мову запитів і інструменти, вони збираються дотримуватися цього, і я не можу їх переслідувати ні на що інше. Моя мета полягає в тому, щоб мати можливість поставити тип енергії Aerospike як базу даних за будь-якими інструментами, якими вони користуються, і це частина цієї ідеї, слайди, які ви бачите про майбутнє бази даних Poliglot. Мені потрібно підтримувати схеми застосування та аналітики між цими хлопцями, тому що насправді важко знайти людей, які мають математичну основу, а також статистичні можливості для навігації по цьому світу.
Дез Бланчфілд: Ще одна цікава річ, про яку люди можуть не усвідомлювати, я маю на увазі, що Aerospike є дуже сильним гравцем у світі з відкритим кодом, я хочу дуже швидко зрозуміти, що це означає, наскільки це означає бізнес працює і що він робить для вас. Ви згадали, що працювали безпосередньо з фолк, які займаються справами до рівня ядра всередині, тому ядро Linux. Є кілька великих гравців, які є в цьому просторі, і є кілька відомих брендів, які ми не будемо згадувати, але така організація, як Aerospike, у вашій більш новітній недавній історії, досвід з відкритим кодом, як це вписується у велику картину і які конкурентні переваги ви бачили, що вам дають?
Брайан Булковський: Безумовно, коли ми перейшли до відкритого коду у 2014 році, ми це зробили, тому що ми зрозуміли, що основна інфраструктура, як база даних, має бути доступною для джерела, їй потрібно довіряти і природний лічильник балансу між старим світом закритого типу джерело, і як тільки ви інвестуєте в певну базу даних, ці хлопці вам на волю до технологічного циклу після технологічного циклу, і повинен бути баланс. Нам потрібно вміти виводити версії, які роблять нові речі, і, можливо, це у корпоративному варіанті, нам потрібно мати модель з подвійною ліцензією, яка має версію з відкритим кодом для людей, які б'ють шини, які роблять некомерційну роботу, а також корпоративна версія, яка є ліцензією власника і дозволяє необмежену роботу.
І звичайно, ми також матимемо найвищі рівні швидкості та масштабів, будучи корпоративною версією. Ми віримо у модель ліцензійної ліцензії, і це було чудово для нашого бізнесу. Ми хочемо, щоб люди почали працювати з Aerospike, ми хочемо, щоб невеликі проекти збивали шини, дуже просто просто поїхати в Amazon, запустити сценарій підтвердження і запустити кластер Aerospike протягом п'яти хвилин. З іншого боку, ми хочемо дати більше клієнтам підприємства.
Дез Бланшфілд: Ми наче близько наближаємося до вершини години, тож я за мить повернусь до Ребекки, але якби там був лише один лайнер, який ви викинете туди, на зразок поради ви б дали людям, які прагнуть потрапити у простір технології, яку ви впровадили на ринок, і як вони її приймуть, що б ви сказали, перший крок для них - це як мінімум занурити їх і почати дивитися, як вони збираються отримати конкурентну перевагу від вашої платформи?
Брайан Булковський: Безумовно, частина повідомлення тут полягає в тому, що зараз є рівні швидкості та майстерності, які зараз легкі. Для досягнення мільйонів транзакцій в секунду вам не потрібен кластер «Кассандра» на тисячі вузлів. Ви можете це зробити навіть на перших етапах свого проекту. Тож справи набагато простіші, ніж раніше. Тоді друга порада - вам потрібно буде придумати, як ви говорите, математичні моделі залучення клієнтів бізнес-процесів, які використовують усі ці дані, тож хороша новина - це доступні дані, погана новина - це те, що ти насправді маєш шукати певні зразки та деякі вагомі випадки використання.
Дез Бланчфілд: Так, чудова порада, тому я зараз повернусь до Ребекки. Дякую вам за це, це був чудовий маленький чат про технології, я ціную це.
Ребекка Йозвяк: Спасибі, Дез. У мене є кілька хороших запитань від аудиторії. Дозвольте підкинути цей слайд. Я знаю, що ви говорили про систему запису та мейнфрейм, але як часто ви бачите абсолютне завантаження або це тиражування примирення в кінці дня, яке ви бачите більше?
Брайан Булковський: Що ми бачимо в Aerospike, це використання бази даних NoSQL перед цією системою примирення кінця дня. Вам потрібна внутрішньоденна, правильна відповідь. Ви не можете отримати неправильну відповідь, і це те, що Робін сказав про активи, є недооціненим, але бізнес-процеси навколо юридичних вимог примирення можуть стати досить складними, і десятиліття технологій і десятиліття закону та юридичної практики навколо примирення. Отже, що ми бачимо в Aerospike - це ви будете робити свої алгоритми на більш гарячій базі даних з більшою кількістю транзакцій в секунду. Але з юридичних причин вам абсолютно потрібна система примирення, яка пройшла через ці юридичні процеси. Ми бачимо і те, і бачимо, що це, по суті, дворівнева ІТ-практика, до якої певною мірою піддаються люди, такі як Anderson Consulting та Gartner. Ми багато цього бачимо.
Ребекка Йозвяк: Добре, добре. Хтось інший виявив інтерес до цього конкретного слайду, він сказав, що це було справді цікаво, і запитав, чи можна просто зайнятися трохи більше порівнянням спалаху та пам'яті.
Брайан Булковський: Звичайно, добре, дозвольте мені зайняти швидку бічну смугу, знову ж таки, я знаю, що ми вже до кінця часу. Ну спалах - це пам'ять - це чіпи - я схильний думати про оперативну пам’ять. Таким чином, оперативна пам’ять має особливі характеристики, вимагає великої потужності, це дуже добре як у випадкових записах, так і у випадкових зчитуваннях. Там, де NAND здатний швидко читати випадковим чином і знижувати потужність, але це дуже погано у випадкових записах. Існують деякі тонкі відмінності в тому, як ці два мікросхеми діють на рівні літографії, які створюють ряд технічних відмінностей.
У випадку, коли ви робите аналітику, і вам доведеться пропустити багато даних, або у випадку Aerospike, де ви отримали індекси, індекси все ще дуже добре використовувати в оперативній пам'яті через паралелізм і випадковий доступ. Потрібен більш високий рівень випадкового доступу. В Aerospike, однак, ми знаходимо, використовуючи ці індекси, щоб знайти конкретний об'єкт або фрагмент даних, це відповідне місце для звернення до NAND, оскільки він стає на зразок більшого магазину під індексами. Тоді це одна транзакція на запам'ятовуючий пристрій, але все-таки після того, як ви зробите багато можливостей та фільтрів у вашій системі індексації.
Ребекка Йозвяк: Добре, добре. І тоді, я знаю, ми вже багато говорили про IoT, і один із учасників коментаря сказав, що IoT в значній мірі вигідний, але чи компанії, державні установи та розробники зростають надійно і забезпечують безпеку даних з однаковою швидкістю?
Брайан Булковський: Може, Дез, ти хотів би заскочити?
Дез Бланчфілд: Так, я щасливий стрибнути в це. Я думаю, що відповідь - ні. Насправді, одна з моїх улюблених викидних рядків на цю тему дуже, дуже коротко - це те, що я думаю, що вибух машини до машини та загального Інтернету речей, спілкування та безпеки, ризик навколо цього, ми знаходимось зараз у тому, де уряди не можуть йти в ногу зі швидкістю змін. Насправді ми знаємо, що багато організацій не можуть йти в ногу зі швидкістю змін. Насправді, якщо я перефразував це, швидкість змін сьогодні настільки велика, що організаціям доводиться спринтувати просто, щоб не відставати, але їм доводиться спринтувати на декількох перегонах. Я не думаю, що закон, і я не думаю, що уряд взагалі, ні на державному, ні на федеральному рівні, не в змозі йти в ногу зі швидкістю змін.
Тепер моя загальна порада людям - це такий собі вчинок і прохання пробачення пізніше. У минулому було багато прикладів цього. Вони наздогнатимуть, але я думаю, що зараз справді належить інноваціям у цьому просторі та провайдерам технологій та забезпеченню того, щоб ми були знайомі з ризиками безпеки чи ризиками конфіденційності, і нам потрібно з цим боротися. Зокрема, як ви вже згадували, банки, коли ви думаєте про те, що банківська організація традиційно робила з такими речами, як протидії відмиванню грошей, і знаєте свого клієнта, проблема AML / KYC, це було так, що ми намагатимемося кожні три-п’ять років і відповідати дотриманню.
Тепер я думаю, що це потрібно вбудовувати в кожну окрему транзакцію. Ви завжди могли це робити на рівні ставок з рекламою, акціями та облігаціями та акціями, я думаю, що ми перебуваємо в тій точці, коли ефективність, яку ви досягаєте на платформі Aerospike, дозволяє нам зараз подумати про те, як ми можемо запропонувати конфіденційність, як ми можемо ввести безпеку в цей негайний ланцюжок рішень у режимі реального часу? І тому відповідь "ні", я не думаю, що уряди не відстають. Я думаю, що компанії потрібно йти в ногу, і я думаю, що нам потрібно діяти зараз і пізніше просити пробачення.
Брайан Булковський: Дозвольте додати ще пару балів. Хлопці, з якими я маю справу, технологічні компанії, з якими я маю справу, дуже усвідомлюють, що вони впевнені, що вони є правою стороною закону, і справедлива кількість дискусій полягає в тому, чи є це ІПІ, чи можу я це використовувати? Я використовую цей конкретний фрагмент даних? Яким було її провидіння, і чи це захищене рішення чи досвід? Як я все це роблю? Тож це гарна новина. Мені інколи цікаво, як ми обговорюємо наше суспільство, куди ми прямуємо, і якщо навіть наша дискусія про суспільство знаходиться на відповідному рівні з точки зору використання нових можливостей від IoT аж до машинного навчання, це єдиний шлях сортувати за обсягом даних, які ми маємо. Але гарна новина полягає в тому, що хлопці, з якими я спілкувався, насправді з правого боку намагаються зробити правильно за допомогою прийнятих нами законних рішень.
Ребекка Йозв'як: Це кілька справді хороших відповідей від вас обох, і я цілком згоден. Я не думаю, що безпека рухається настільки швидкими темпами, як розвиток технологій, особливо, якщо мова йде про Інтернет речей, але я маю думати, що люди роблять все можливе, і, сподіваємось, ми туди потрапимо. Завжди трохи важко залишитися на десять кроків попереду кібер-злодіїв та кібер-злочинців, але ми туди потрапимо.
Ну, люди, ми пройшли вісім хвилин минулої години. Я хотів би подякувати нашим гостям Брайану Булковському з компанії Aerospike та Dez Blanchfield та Robin Bloor. Дуже дякую. Ви завжди можете знайти наші архіви на веб-сайті insideanalysis.com, SlideShare, YouTube, у нас багато хороших веб-трансляцій, які з’являються людьми, місяць був напружений. Наступний місяць буде зайнятим, тому слідкуйте за новими, і ми сподіваємось побачитися наступного разу. Дякую людям, до побачення.
