Проблема анализа данных в веб-приложениях: история и решение

Название работы: Проблема анализа данных в веб-приложениях: история и решение

Вид работы: Реферат

Описание: Реферат по истории и философии науки на тему "Проблема анализа данных в веб-приложениях: история и решение".

Обработка данных средствами вычислительной техники является одной из основных задач большинства информационных систем. Любая информация, структурированная определённым образом, может быть обработана как для получения непосредственных результатов вычислений, так и для подготовки к передаче по каналам связи или дальнейшей обработки. По мере развития средств хранения и коммуникаций, объёмы информации возрастают нелинейно. В соответствии с законами диалектики, количественное изменение массива обрабатываемой информации переходит в качественное новое состояние — большие данные.
Под большими данными обычно понимают такие массивы данных, которые не могут быть эффективно обработаны стандартными средствами вычислений и хранения, в силу качественно отличающего размера информационных блоков. Также подобные данные сильно отличаются по структуре, являясь менее упорядоченными и более комплексными по своей организации. Это вынуждает нас искать принципиально новые приёмы работы с подобными данными, по сравнению с традиционными способами обработки локальных данных, которые имеют в наши дни широкое применение.
Актуальность выбранной темы обусловлена трендом по “цифровизации” всех аспектов жизни современного общества. Как показали исследования, каждые два года в течение последних трёх десятилетий количество информации увеличивается приблизительно в десять раз – темп, который оставляет далеко позади даже закон Мура об удвоении мощности процессоров. Соответственно, перед современным обществом с каждым годом всё острее и острее будет вставать проблема хранения и, главное – обработки больших объёмов информации. Данная проблема будет становиться всё острее, т.к. темп роста информации превышает тем роста вычислительных мощностей в мире, в связи с чем потребуется разработка соответствующих алгоритмов, которые были бы способный оперировать такими большими объёмами данных.
Источники материалов и результаты изучения знаний в области больших данных, в том числе применительно к веб-данным, можно разбить на три группы:
1) Академические источники — словари, публикации в журналах
2) Технические источники — руководства пользователей программных продуктов, описания технологий, справочники разработчиков
3) Учебные пособия — разнообразные книги и статьи, предназначенные для изучения и введения в тематику.
В данном исследовании будет использовано 10 источников информации, 5 из которых — источники на русском языке, 1 — источник на иностранном языке (Английский язык), 4 — электронные ресурсы.
В ходе проводимого исследования будут рассмотрены труды следующих авторов: Барсегян Арменак, Куприянов Михаил, Степаненко Валентин, Холод Иван, Джеми Макленнен, Чжаохуэй Танг, Богдан Криват, Кабаков Роберт, Клеппман Мартин, Майер-Шенбергер Виктор, Кукьер Кеннет, Марц Натан и Уоррен Джеймс.
Поскольку, многие термины и определения данной области ещё не устоялись, и сама отрасль является достаточно новой в современной науке, мы будем полагать при выполнении обзора и исследования, что академические, технические и учебные источники имеют сравнимое значение и могут дополнять друг друга. По результатам изучения источников и исследования проблемы, мы сможем сделать вывод о современном состоянии отрасли, существующих проблемах и способах их решения.
Целью данной работы является исследование методов и принципов обработки больших данных, получаемых или сохраняемых в сети Интернет (веб-данных), а также выполнение обзора состояния этой проблемы при генерировании больших данных, а также развития этой ситуации в ближайшей перспективе времени. К большим данным, размещёнными в сети Интернет, применимы все те же проблемы хранения и обработки стандартных массивов информации, с добавлением некоторых дополнительных особенностей, обусловленных спецификой хранения веб-данных:
1) Веб-данные расположены в сети Интернет и к ним нет прямого доступа — вся обработка выполняется через межсетевое взаимодействие.
2) Скорость доступа к веб-данным существенно ниже скорости доступа к локальным данным.
3) Из-за нестабильных каналов связи, возможны ошибки передачи и последующей обработки этих данных, что потребует дополнительной интеллектуальной проверки результатов.
На данный момент не существует единых устоявшихся решений ни в области теоретических способов обработки, ни на рынке программных продуктов для подобных задач. Как правило, компании и разработчики, связанные с обработкой больших веб-данных, реализуют собственные решения или адаптируют существующие.
Объектом данного исследования являются веб-данные расположены в сети Интернет, являющие собой распределённый супер-массив гипертекстовой и мультимедиа информации, объем которого на начало 2018 года оценивается в 14-16 зеттабайт.
Предметом данного исследования является обработкой больших веб-данных, расположенных в сети Интернет, т.е. алгоритмы, которые могли бы на основе имеющихся сегодня в мире вычислительных мощностей вести обработку всех имеющихся веб-данных в режиме онлайн.
Исследовав существующие способы обработки веб-данных, мы попробуем обобщить различные направления, проанализировав современное состояние отрасли — сможем представить, какие направления исследования могут быть более перспективны или ещё ожидают своего углублённого изучения и разработки.
С точки зрения философии, Платоновский “мир идей” (эйдосов) в наши дни приобретает вполне реальные черты в виде виртуального цифрового мира, который произрастает параллельно с физическим миром и на его основе.

План реферата

ВВЕДЕНИЕ
1. ПРОБЛЕМА АНАЛИЗА БОЛЬШИХ ДАННЫХ
1.1 Масштабность
1.2 Распределённость
1.3 Многоструктурность
1.4 Протяженность по времени
2. ИСПОЛЬЗОВАНИЕ DATA MINING
3. СОВРЕМЕННОЕ СОСТОЯНИЕ ОТРАСЛИ DATAMINING
3.1 Язык программирования R
3.2 Базы данных NoSQL
3.3 Распределённая система Hbase
3.4 Фреймворк Hadoop
3.5 MapReduce
ЗАКЛЮЧЕНИЕ
БИБЛИОГРАФИЧЕСКИЙ СПИСОК

Год: 2018

Данный заказ (реферат) выполнялся нашим сайтом в 2018-м году, в рамках этого заказа была написана работа на тему "Проблема анализа данных в веб-приложениях: история и решение". Если у Вас похожее задание , пожалуйста заполните форму, приведённую ниже, после чего Ваше задание в первую очередь рассмотрит наш автор, выполнявший в 2018-м году этот заказ, если он откажется, то Ваше задание оценят другие наши авторы в течение 48-и часов, если оценка нужна срочно, просим Вас оставить пометку об этом - напишите в тексте задания фразу "СРОЧНЫЙ ЗАКАЗ".

Тел.: +79374242235 Viber: +79374242235 Telegram: kursovikcom ВКонтакте: kursovikcom WhatsApp +79374242235 E-mail: info@kursovik.com Skype: kursovik.com