Джордж Ципф эмпирически установил, что частота использования N-го наиболее часто используемого слова в естественных языках приблизительно обратно пропорциональна числу N и была описана автором в книге: Zipf G.R., Human Behavior and the Principle of Least Effort, 1949
«Он обнаружил, что самое распространённое в английском языке слово («the») используется в десять раз чаще, чем десятое по частоте употребления слово, в 100 раз чаще, чем 100-е по частоте употребления слово, и в 1000 раз чаще, чем 1000-е по частоте употребления слово. Кроме того, было выявлено, что такая же закономерность действует для доли рынка программного обеспечения, безалкогольных напитков, автомобилей, конфет и для частоты обращений к интернет-сайтам. [...] Стало ясно, что в практически в каждой сфере деятельности быть номером один намного лучше, чем номером три или номером десять. Причём распределение вознаграждения отнюдь не равномерно, особенно в нашем опутанном различными сетями мире. А в сети Интернет ставки ещё выше. Рыночная капитализация Priceline, eBay и Amazon достигает 95% совокупной рыночной капитализации всех остальных сфер электронного бизнеса. Вне сомнений, победитель получает очень много».
Сет Годин, Идея-вирус? Эпидемия! Заставьте клиентов работать на ваш сбыт, СПб, «Питер», 2005 г., с. 28.
«Смысл этого явления состоит в том, что […] способность участников творчества входить в законченные произведения распределяется по участникам в согласии с законом произведение числа вхождений на ранг участника (на число участников с той же частотой вхождения) величина постоянная: f r = Const. […] В ранговом списке всех участников творчества, в данном случае слов, как раз и выявляется свойство неравномерного распределения миграционной способности, а с ним и закономерность связи между количеством и качеством в творческой деятельности вообще. […]
Кроме литературных источников Ципф исследовал множество других подозрительных на ранговое распределение явлений - от распределения населения по городам до расположения инструментов на верстаке столяра, книг на столе и стеллаже ученого, повсюду натыкаясь на одну и ту же закономерность.
Независимо от Ципфа близкое распределение было вскрыто Парето при исследовании банковских вкладов, Урквартом при анализе запросов на литературу, Лоткой в анализе авторской продуктивности учёных. Даже боги Олимпа, с точки зрения их нагрузки навыкообразующими и навыкосохраняющими функциями, ведут себя по закону Ципфа.
Усилиями Прайса и его коллег, а позднее усилиями многих науковедов было выяснено, что закон Ципфа имеет прямое отношение к ценообразованию в науке.
Прайс по этому поводу пишет: «Все данные, связанные с распределением таких характеристик, как степень совершенства, полезности, продуктивности, размера подчиняются нескольким неожиданным, но простым закономерностям [...] Является ли точная форма этого распределения логарифмически нормальной или геометрической, или обратно-квадратичной или подчинена закону Ципфа , - это предмет конкретизации для каждой отдельной отрасли. То, что нам известно, состоит в констатации самого факта, что любой из этих законов распределения даёт близкие к эмпирическим результаты в каждой из исследуемых отраслей, и что такое общее для всех отраслей явление есть, видимо, результат действия одного закона». Price D., Regular Patterns in the Organisation of Science, Organon, 1965, N 2., р. 246 ».
Петров М.К. , Искусство и наука. Пираты Эгейского моря и личность, М., «Российская политическая энциклопедия, 1995 г., с. 153-154.
Кроме этого, Джордж Ципф также установил, что наиболее часто употребляемые слова языка, существующего длительное время, короче остальных. Частое употребление «истёрло» их...
РАНГОВЫЙ АНАЛИЗ КАК МЕТОД ИССЛЕДОВАНИЯ
Ульяновский государственный университет
К одному из наиболее общих законов развития биологической, технической, социальной систем относится закон рангового распределения. Теория рангового анализа ((РА) была перенесена из биологии и разработана для техноценозов более 30 лет назад профессором МЭИ и его школой (www kudrinbi . ru ) . Как затем оказалось, этот метод применим и к физическим, и к астрономическим , и к социальным системам. Методики построения ранговых распределений и их последующее использование в целях оптимизации ценоза составляют основной смысл рангового анализа (ценологического подхода) , содержание и технология которого представляют собой, по сути, новое направление, сулящее большие практические результаты. Целью настоящей работы является описание метода рангового анализа. Новым является включение в РА известного в физических исследованиях «метода спрямления» полученного исследователем экспериментального графика (построение и спрямление в соответствующих координатах) для определения вида его математической зависимости и вычисления его конкретных параметров.
1. Понятийный аппарат ценологической теории. Закон рангового распределения .
Ценозом называют многочисленную совокупность особей.
Количество особей в ценозе определяет мощность популяции. Такая терминология пришла из биологии, из теории биоценозов. «Биоценоз» – это сообщество. Термин биоценоз , введённый Мёбиусом (1877), лёг в основу экологии как науки. Профессор МЭИ перенес понятия «ценоз», «особь», «популяция», «вид» а из биологии в технику: в технике «особи» - отдельные технические изделия, технические параметры, а многочисленную совокупность технических изделий (особей) называют техноценозом . определяет техническую особь как выделенный, далее неделимый элемент технической реальности, обладающий индивидуальными особенностями и функционирующий в индивидуальном жизненном цикле . Вид – основная структурная единица в систематике особей. Вид – группа особей, имеющих качественные и количественные характеристики, отражающие сущность этой группы. Вид в технике именуется маркой или образцом техники и изготавливается по одной конструкторско-технологической документации (трактор "Белорусь", сапёрная лопата, автомобиль ЗИЛ-131 и др.) .
В социальной сфере «особи» - это люди, организованные социальные группы людей (классы, учебные группы) а также социальные системы (учреждения), например, образовательные – школы. Тогда по аналогии, социоценозом будем называть любую совокупность социальных особей . Каждая особь представляет собой структурную единицу ценоза. Особью может быть любая единица из социальной сферы, это зависит от масштабов объединения и от того, что объединяется в ценоз. Например класс, учебная группа - это социоценоз, состоящий из особей – учащихся. Тогда мощность популяции – это количество учащихся в классе. Школа – это тоже социоценоз, состоящий из особей - отдельных структурных единиц – классов. Здесь мощность популяции – количество классов в школе. Совокупность школ – это ценоз более крупного масштаба, где особью, структурной единицей данного ценоза является школа .
В систематике средних общеобразовательных учреждений можно выделить следующие виды: средние общеобразовательные школы, лицеи, гимназии, частные школы. Эти виды отличаются по содержанию программ, задачам и составляют видовой ценоз , где каждый вид уже является особью .
Под ранговым распределением понимается распределение, полученное в результате процедуры ранжирования последовательности значений параметра, поставленных соответственно рангу. Ранжирование - процедура упорядочения объектов по степени выраженности какого-либо качества. Особь – это объект ранжирования. Ранг - это номер особи по порядку в некотором распределении. По, закон рангового распределения особей в техноценозе (Н-распределение) имеет вид гиперболы :
Где W - ранжируемый параметр особей; r – ранговый номер особи (1,2,3….); А – максимальное значение параметра лучшей особи с рангом r =1, т. е. в первой точке (или коэффициент аппроксимации); β – ранговый коэффициент, характеризующий степень крутизны кривой распределения (наилучшим состоянием техноценоза, например, является такое состояние, при котором параметр β находится в пределах 0,5 < β < 1,5).
Если ранжируется какой-либо параметр ценоза (системы), то распределение называется ранговым параметрическим .
В качестве ранжируемых параметров в техноценозах выступают технические параметры (физические или технические величины), характеризующие особь, например, размер, масса, мощность потребления, энергия излучения и т. д. В социоценозах, в частности педагогических ценозах, ранжируемыми параметрами могут быть успеваемость, рейтинг в баллах участников олимпиад или тестирования; число учащихся, поступивших в вузы и так далее, а ранжируемыми особями – сами учащиеся, классы, учебные группы, школы и так далее.
Если в качестве параметра рассматривается мощность популяции (численность особей, составляющий вид в социоценозе), то в этом случае распределение называется ранговым видовым . Таким образом, в ранговом видовом распределении ранжируются виды. То есть особью является вид.
2. Методика применения рангового анализа
Ранговый анализ включает следующие этапы-процедуры :
1. Выделение ценоза.
2. Задание видообразующих параметров. Видообразующими параметрами техники могут выступать стоимость, энергетическая надежность, численность обслуживающего персонала, массогабаритные показатели и т. д.
3. Параметрическое описание ценоза . Внести в базу данных ценоза конкретные значения параметров. Это статистическая работа значительно облегчается применением компьютера. Работа по созданию информационной базы ценоза завершается после того как будет создана электронная таблица (база данных), которая вбирает в себя систематизированную информацию о значениях видообразующих параметров отдельных особей, входящих в социоценоз.
4. Построение табулированного рангового распределения Табулированное ранговое распределение по форме представляет собой таблицу из двух столбцов: параметров особей W выстроенных по рангу и рангового номера особи r (параметрического или видового).
Первый ранг присваивается особи, имеющей максимальное значение параметра, второй – особи, имеющей наибольшее значение параметра среди особей, кроме первой, и так далее.
5. Построение графического рангового параметрического распределения или графического рангового видового распределения. Параметрическая ранговая кривая имеет вид гиперболы, причём по оси абсцисс откладывается ранговый номер r, по оси ординат – исследуемый параметр W. График рангового видового распределения есть совокупность точек: каждой точке графика соответствует определенная особь или вид ценоза. При этом абсцисса на графике – ранг, а ордината – параметр особей (параметрическое распределение) или число особей, которым этот вид представлен в ценозе (ранговое видовое распределение). Все данные берутся из табулированного распределения.
6. Аппроксимация распределений. Суть метода заключается в отыскании таких параметров аналитической зависимости, которые минимизируют сумму квадратов отклонений реально полученных в ходе рангового анализа социоценоза эмпирических значений y от значений, рассчитанных по аппроксимационной зависимости. Следует отметить, что произвести аппроксимацию и определить параметры выражения можно с помощью компьютерных программ. Находятся параметры кривой распределения: А, b. Как правило, для техноценозов 0,5.< β < 1,5.
7. Оптимизация ценоза.
Оптимизация является одной из сложнейших операций ценологической теории. Этому направлению исследований посвящено значительное число работ . Процедура оптимизации системы (ценоза) состоит в сравнении идеальной кривой с реальной, после чего делают вывод: что практически нужно сделать в ценозе, чтобы точки реальной кривой стремились лечь на идеальную кривую. Рассмотрим несколько простейших оптимизационных процедур для ценозов, широко апробированных нами на практике. Рассмотрим этап 7 подробнее.
Как правило, реальное Н-распределение отличается от идеального следующими отклонениями:
1) некоторые экспериментальные точки выпадают из идеального распределения;
2) экспериментальный график не является гиперболой;
3) экспериментальная кривая, в целом, имеет характер Н-распределения но по сравнению с теоретической, имеют «горбы», «впадины» или «хвосты».
4) реальная гипербола лежит ниже идеальной гиперболы, или наоборот, реальная гипербола лежит выше идеальной.
Процедура оптимизации любого ценоза (определение способов, средств и критериев его улучшения) направлена на устранение аномальных отклонений на ранговом распределении. После выявления аномалий на графическом распределении по табулированному распределению определяются особи, «ответственные» за аномалии, и намечаются первоочередные мероприятия по их устранению.
Оптимизация ценоза осуществляется двумя путями :
1. Номенклатурная оптимизация - целенаправленное изменение численности ценоза (номенклатуры), устремляющее видовое распределение ценоза по форме к каноническому (образцовому, идеальному). В биоценозе – стае это изгнание или уничтожение слабых особей, в учебной группе это отсев неуспевающих.
2. Параметрическая оптимизация - целенаправленное изменение (улучшение) параметров отдельных особей, приводящее ценоз к более устойчивому и, следовательно, эффективному состоянию. В педагогическом ценозе – учебной группе (классе) – это работа с неуспевающими – улучшение параметров особей.
Чем ближе экспериментальная кривая распределения приближается к идеальной кривой вида (1), тем устойчивее система. Любые отклонения свидетельствуют о том, что нужна либо номенклатурная, либо параметрическая оптимизация. Отклонения от идеального Н-распределения (гиперболы) представляются в виде выпадающих из графика точек, «хвостов» «горбов», «впадин», а также вырождение гиперболы в прямую или другие графические зависимости.
На наш взгляд методика применения рангового анализа разработана недостаточно. В частности, определение параметров ранговой системы осуществляется, в основном, методом аппроксимации экспериментальных кривых с помощью компьютерных технологий. Метод спрямления, широко используемый физиками-исследователями, в исследованиях ценозов методом рангового анализа не применяется.
Нами дополнена методика рангового анализа этапом спрямления графического рангового Н-распределения в двойных логарифмических координатах (дополнение этапа 6 или выделение отдельного этапа между 6 и 7). Тангенс угла наклона прямой к оси абсцисс определяет параметр β.
Рассмотрим этот этап подробнее для общего случая – гиперболе, смещённой вверх по оси ординат на величину В.
3. Аппроксимация гиперболы математической зависимостью методом спрямления (рис. 1, а, б).
Применение метода спрямления к гиперболе, смещённой вверх относительно оси ординат (рис.1, а) подробно описана в работе .
W Ось У или ln (W-В)
1 r ln r1 ось х
Рис. 1. Гипербола (а) и «спрямленная» гиперболическая зависимость в двойном логарифмическом масштабе (б)
Исследуем функцию вида:
W = В + А/ r β , (2)
где В – постоянная: при r, стремящемуся к бесконечности, W= В.
Исследование включает следующие этапы.
1. Перенесём постоянную В в левую часть уравнения
W – В = А/ r β (2а)
2. Прологарифмируем зависимость (2а):
Ln (W – В) = lnA – β ln r (3)
3. Обозначим:
Ln(W – В) = у ; LnА = b = const; Ln r = х . (4)
4. Представим функцию (3) с учётом (4) в виде:
У = b – β х (5)
Уравнение (5) – это линейная функция вида рис.1,б. Только по оси ординат откладывается Ln(W – В), а по оси абсцисс - Ln r.
5. Составим таблицу экспериментальных значений ln (W-В) и ln r
Название особей (объектов ранжирования) | |||||||
6. Построим экспериментальный график зависимости
ln (W– В) = f (ln r).
7. Проведём линию спрямления таким образом, чтобы большинство точек легло на прямую линию и оказалось вблизи неё (рис. 1,б).
8. Найдём коэффициент β по тангенсу угла наклона прямой к оси абсцисс из графика рис. 1, б, рассчитав его по формуле:
β = tg α = (b – b1) : ln r1 (6)
9. Рассчитаем коэффициент В, используя формулу (2). Из (2) следует, чт:
При r ∞, W = В
10. Найдём значение величины А из графика, используя равенство (2а):
при r = 1 , W – В = А, но W = W1 ,
Следовательно:
Где W1 – значение параметра W с рангом r = 1.
11. Совместная работа с табулированным и с графическим распределениями по этапам:
Нахождение аномальных точек по графику;
Определение их координат и их идентификация с особями по табулированному распределению;
Анализ причин аномалий и поиск способов их устранения.
Примечание
Если В=0 то гипербола и спрямлённая зависимость имеют вид (рис.2,а, б):
W ln Whttps://pandia.ru/text/80/082/images/image016_8.gif" height="135">
А
· Коэффициент β определяется по формуле:
β = tg α = lnA: ln r
· Коэффициент А определяется из условия:
Выводы
Описанная методика может быть применена к исследованию различных ценозов: физических, технических, биологических, экономических социальных и пр.
Этап 7 аппроксимации и нахождения параметров распределения рангового анализа дополнен методом «спрямления», который можно применять как метод, альтернативный компьютерной аппроксимации (даже вручную).
Экспериментальное сравнение двух методик определения параметров гиперболического рангового распределения (компьютерной аппроксимации непосредственно экспериментального Н-распределения и метода спрямления гиперболы в двойном логарифмическом масштабе также с помощью компьютера) показало их адекватность. При этом метод спрямления имеет следующие преимущества. Во-первых, он позволяет определить более точно параметр β. Во-вторых, он более нагляден: на спрямлённом графике более явно выступают аномалии в виде точек, выпадающих из прямой.
Список литературы:
1. Кудрин библиография по технике и электрике. К 70-летию со дня рождения проф. /Составители: , . Общая редакция: . Вып.26 «Ценологические исследования». – М.: Центр системных исследований, 2004. – 236 с.
2. Кудрин в технетику. 2-е изд., перераб., доп. –Томск: ТГУ, 1993. –552 с.
3. Кудрин Б. В., Ошурков определение параметров эдлектропотребления многоменклатурных производств,– Тула. Приок. кн. изд-во, 1994. –161 с.
4. Кудрин самоорганизация. Для технариев электрики и философов //Вып. 25. «Ценологические исследования». - М.: Центр системных исследований. – 2004. – 248 с.
5. Математическое описание ценозов и закономерности технетики. Философия и становление технетики /Под ред. // Ценологические исследования. –Вып. 1-2. – Абакан: Центр системных исследований. – 1996. – 452 с.
6. Кудрин раз о третьей научной картине мира. Томск. Изд-во Томск. ун-та, 2001 –76 с.
7. , Кудрин аппроксимирование ранговых распределений и идентификация техноценозов// Вып.11. «Ценологические исследования». – М.: Центр системных исследований.- 1999. – 80 с.
8. Чирков в мире машин // Вып. 14. «Ценологические исследования». – М.: Центр системных исследований. – 1999. –272 с.
9. Гнатюк построение техноценозов. Теория и практика // Вып. 9. «Ценологические исследования». – М.: Центр системных исследований. – 1999. – 272 с.
10. Гнатюк оптимального построения техноценозов. /Монография – Выпуск 29. Ценологические исследования. – М.: Изд-во ТГУ – Центр системных исследований, –2005. – 452 с. (компьютерный вариант ISBN 5-7511-1942-8). – http://www. baltnet. ru/~gnatukvi/ind. html.
11.Гнатюк анализ техноценозов // Электрика.–2000. №8. –С.14-22.
12. , В, Белов оценка электропотребления ряда образовательных учреждений // Электрика. – №5. – 2001. – С.30-35.
14. Гурина анализ образовательных систем (ценологический подход). Методические рекомендации для работников образования Вып.32. «Ценологические исследования». –М.: Технетика. – 2006. – 40 с.
15. Гурина исследования педагогических образовательных систем //Ползуновский вестник. –2004. –№3. – С.133-138.
16. Гурина анализ или Ценологический подход в образовании//Школьные технологии. – 2007. – №5. – С.160-166.
17. Гурина, -исследовательский эксперимент по физике с компьютерной обработкой результатов: лабораторный практикум. Методические рекомендации для учителей физики профильных физико-математических классов. – Ульяновск: УлГУ, 2007. – 48 с.
Планировение и проведение экспериментов по определению параметров сетевых атак
На следующем этапе по проверке модели трафика необходимо выяснить, можно ли применить данную модель для задач сетевой безопасности, в частности, - для обнаружения сетевых атак.
Для того чтобы выяснить детали несанкционированного вторжения было решено провести эксперименты, имитирующие попытки атак. Они проводились на сети Самарского государственного аэрокосмического университета (СГАУ).
В качестве источника атаки использовались удаленные персональные компьютеры, подключенные к сети Интернет, находящиеся во внешней сети по отношению к исследуемой. Целью атаки являлся один из внутренних серверов сети СГАУ. В качестве NetFlow-сенсора был выбран пограничный маршрутизатор сети СГАУ Cisco 6509, NetFlow-коллектор - тот же сервер, который подвергался атаке.
При проведении сканирования был задействован только один компьютер, поскоольку атака сканирования портов производится с одиночных источников. Для сканирования применялась программа Nmap , которой было предписано провести полное сканирование всех портов атакуемого сервера.
Nmap - свободная утилита, предназначенная для разнообразного настраиваемого сканирования IP-сетей с любым количеством объектов, определения состояния объектов сканируемой сети (портов и соответствующих им служб). Nmap использует множество различных методов сканирования, таких как UDP, TCP (connect), TCP SYN (полуоткрытое), FTP proxy (прорыв через ftp), Reverse-ident, ICMP (ping), FIN, ACK, Xmas tree, SYN- и NULL-сканирование.
При осуществлении DDoS-атаки в качестве атакуемой цели был выбран тот же веб-сервер, что и при сканировании. Источниками атаки служили несколько компьютеров, находящихся во внешней сети. В первой части эксперимента атакующие компьютеры одновременно отправляли в течение получаса ping-запросы, осуществляя атаку ICMP-flood. Во второй части эксперимента атакующие компьютеры проводили DDoS-атаку при помощи специализированной программы LOIC. В течение часа веб-сервер подвергался атаке с применением различных типов трафика: HTTP, UDP, TCP. В ходе всех экспериментов производился сбор данных, которые впоследствии анализировались для выявления закономерностей разных типов атак.
Рисунок 1.16 – Схема эксперимента
Данные о потоках, которые служат основой для анализа, собирались с пограничного маршрутизатора сети Cisco 6509. Для сбора данных с маршрутизатора использовался NetFlow-коллектор nfdump . Экспорт NetFlow данных для анализа проводится с периодичностью пять минут. Каждые пять минут формируется файл с указанием параметров всех потоков, зафиксированных на маршрутизаторе в это время. Эти параметры перечислены во введении и включают в себя: время начала потока, длительность потока, протокол передачи данных, адрес и порт источника, адрес и порт назначения, число переданных пакетов, число переданных данных в байтах.
В результате анализа данных, собранных во время сканирования сети, было выявлено резкое увеличение числа активных потоков при практически неизменном количестве переданного трафика (см. Рис.1.16). Каждый сканирующий компьютер генерировал в течении 5 минут порядка 10-20 тысяч очень коротких потоков (размером до 50 байт). При этом суммарное число активных потоков на маршрутизаторе, генерируемое всеми пользователями, составляло порядка 50-60 тысяч.
На рисунке 1.17 изображен график состояния сети, по оси абсцисс откладывается число завершившихся потоков N, по оси ординат - суммарная нагрузка канала в Мегабит в секунду (Мбит/с). Каждая точка на графике отражает состояние исследуемой сети за предшествующий пятиминутный интервал, показывая зависимость средней нагрузки канала от числа активных потоков. Точки соответствуют нормальным состояниям сети, а треугольники - состояниям сети, зафиксированным во время сканирования портов. Отрезки, изображенные на графике и параллельные оси ординат, показывают доверительные интервалы для средней нагрузки, рассчитанные для пяти промежутков потоков (20000-30000, 30000-40000, 40000-50000, 50000-60000, 60000-70000).
Рисунок 1.17 – Сканирование портов
По итогам эксперимента с ping-запросами было выяснено, что на каждый атакующий компьютер приходился всего один очень длинный поток ICMP трафика, если посылать запросы по единственному порту. Поскольку данные об одном потоке записываются только по его завершению, то необходимые данные были записаны в файл nfdump уже по завершению атаки. Было обнаружен один аномально длинный поток трафика по протоколу ICMP, источником являлся атакующий компьютер. Таким образом, в результате анализа экспериментальных данных удалось определить атаку типа ICMP-flood. Следует отметить, что для достижения результата – сбоев в работе информационной системы одного активного потока ICMP-трафика явно недостаточно, счет должен идти на десятки тысяч запросов.
Анализ эксперимента по моделированию DDoS атаки утилитой LOIC также показал резкое увеличение числа активных потоков наряду с увеличением передаваемого трафика. Утилита параллельно отсылает данные на разные порты цели, создавая тем самым большое количество коротких потоков длительностью до минуты (см. Рис.1.18). Треугольниками изображены состояния сети, зафиксированные во время атаки.
Рисунок 1.18 – DDoS-атака
Таким образом, стало очевидным, что при помощи протокола NetFlow возможно выявить не только момент начала атаки, но и определить ее тип. Подробное описание алгоритмов обнаружения атак и работ по созданию защищенного хостинга можно найти в следующих разделах.
Литература
1. Bolla R., Bruschi R. RFC 2544 performance evaluation and internal measurements for a Linux based open router //High Performance Switching and Routing, 2006 Workshop on. – IEEE, 2006. – С. 6 pp.
2. Fraleigh C. et al. Packet-level traffic measurements from the Sprint IP backbone //IEEE network. – 2003. – Т. 17. – №. 6. – С. 6-16.
3. Park K., Kim G., Crovella M. On the relationship between file sizes, transport protocols, and self-similar network traffic //Network Protocols, 1996. Proceedings., 1996 International Conference on. – IEEE, 1996. – С. 171-180.
4. Fred S. B. et al. Statistical bandwidth sharing: a study of congestion at flow level //ACM SIGCOMM Computer Communication Review. – ACM, 2001. – Т. 31. – №. 4. – С. 111-122.
5. Barakat C. et al. A flow-based model for internet backbone traffic //Proceedings of the 2nd ACM SIGCOMM Workshop on Internet measurment. – ACM, 2002. – С. 35-47.
6. Sukhov A. M. et al. Active flows in diagnostic of troubleshooting on backbone links //Journal of High Speed Networks. – 2011. – Т. 18. – №. 1. – С. 69-81.
7. Lyon G. F. Nmap network scanning: The official Nmap project guide to network discovery and security scanning. – Insecure, 2009.
8. Haag P. Watch your Flows with NfSen and NFDUMP //50th RIPE Meeting. – 2005.
Ранговые распределения для определения пороговых значений сетевых переменных и анализа DDoS атак
Введение
Экспоненциальный рост интернет трафика и числа информационных источников сопровождается быстрым увеличением числа аномальных состояний сети. Аномальные состояния сети объясняются как причинами техногенного характера, так и человеческим фактором. Распознание аномальных состояний, созданных злоумышленниками достаточно тяжело из-за того, что они имитируют действия обычных пользователей . Поэтому такие аномальные состояния крайне сложно выявить и заблокировать. Задачи обеспечения надёжности и безопасности Интернет сервисов требуют изучения поведения пользователей на конкретном ресурсе.
В данной статье пойдёт речь о выявлении аномальных сетевых состояний и методах противодействия DDoS атакам . (Distributed Denial of Service, распределённая атака типа «отказ в обслуживании») – это такой тип атак, при котором некоторое множество компьютеров в сети Интернет, называемых «зомби», «ботами» или бот сетью (ботнет), по команде злоумышленника начинают отправлять запросы на сервис жертвы. Когда число запросов превышает возможности серверов жертвы, новые запросы от настоящих пользователей перестают обслуживаться и становится недоступным. При этом жертва несёт финансовые убытки.
Исследования, которые описаны в данной главе учебного пособия, используют унифицированный математический подход. Был выделен ряд важнейших сетевых переменных, которые генерирует внешний единичный IP адрес при обращении к заданному серверу или локальной сети. К таким переменным относятся: частота обращения к веб серверу (по заданному порту), число активных потоков, величина входящего TCP, UDP и ICMP трафика и т.д. Построенная инфраструктура позволила измерять величины для вышеперечисленных сетевых переменных.
После нахождения данных величин для анализируемых переменных в произвольный момент времени необходимо построить ранговое распределение. Для этого найденные значения располагаются в порядке убывания. Анализ сетевых состояний будет производиться путем сравнения соответствующих распределений. Особенно наглядно это сравнение, когда распределения для аномального и обычного состояния сети построены на одном графике. Подобный подход позволяет легко определить границу между обычным и аномальным состоянием сети.
Эксперименты по DDoS атаке на сервис можно провести с помощью эмуляции в лабораторных условиях. При этом ценность полученных результатов значительно меньше, чем при DDoS атаке на введённый в эксплуатацию коммерческий сервис, так как эмулятор не может полностью воспроизвести реальную компьютерную сеть. Кроме того, для полноценного понимания принципов и методов DDoS атаки необходим опыт работы с ней. Поэтому авторы анонимно договорились о проведении реальной DDoS атаки на специально подготовленный веб сервис. В процессе атаки был записан сетевой трафик, собрана статистика NetFlow. Изучение ранговых распределений для числа потоков и различных типов входящего трафика, генерируемых единичным внешним IP адресом, что позволило определить пороговые значения. Превышение пороговых значений можно классифицировать как признак атакующего узла, что позволяет сделать выводы об эффективности способов обнаружения и методов противодействия.
Первое, что обращает на себя внимание в царстве документов, – это чрезвычайно быстрый рост его населения.
Этот общеизвестный факт заставляет всерьез задуматься о том, к чему может привести такой рост. Но, может быть, наши опасения напрасны, и в дальнейшем темпы прироста числа документов замедлятся? Пока что статистика утверждает обратное.
Вот как, например, изменялись документальные информационные потоки по химии. В 1732 г все наследие химии было обобщено и опубликовано голландским профессором в книге объемом 1433 страницы. В 1825 г шведский ученый Берцелиус опубликовал все, что было известно по химии, в 8 томах общим объемом 4150 страниц. В настоящее время американский реферативный журнал «Chemical Abstracts», издаваемый с 1907 г, публикует почти всю информацию по химии, при этом первый миллион рефератов был опубликован спустя 31 год с момента основания, второй – спустя 18 лет, третий – через 7 лет, а четвертый – через 4 года!
Примерно такой же характер роста количества документов можно проследить и в других областях науки. Было замечено, что рост документов носит экспоненциальный характер. При этом ежегодный прирост потоков научно-технической информации составляет 7...10%. В настоящее время каждые 10...15 лет происходит удвоение объемов научно-технической информации (НТИ) Кривая роста числа документов, таким образом, может быть описана экспонентой вида
y = Ae kt
где y – сумма знаний, унаследованных от предыдущих поколений, е – основание натуральных логарифмов (е = 2,718...), t – индекс времени (г); A – сумма знаний в начале отсчета (при t = 0), K – коэффициент, характеризующий скорость знаний, эквивалентом которых принимаются потоки научно-технической информации. При t ≈ 10...15 лет у = 2A .
Легко представить себе, что такой характер роста числа научных документов не предвещает нам в будущем, даже ближайшем будущем, ничего хорошего. Леса, превращенные в горы бумаги, в которых тонет беспомощный исследователь...
Однако, как показывает история науки и техники, условия, в которых они развиваются, не являются постоянными, а поэтому механизм экспоненциального роста потоков НТИ часто нарушается. Это нарушение объясняется рядом сдерживающих факторов, в частности войнами, нехваткой материальных и человеческих ресурсов и т.д. В действительности рост числа документов не подчиняется поэтому экспоненциальной зависимости, хотя в определенные периоды развития науки и техники в отдельных областях знаний она проявляется достаточно четко. В чем же причина такого стремительного нарастания потоков документальной информации?
В предыдущих разделах мы обращали внимание на то, что информация играет огромную роль в развитии человеческого общества, поэтому оно сопровождается опережающим по темпам ростом объемов информации. Рост документальных потоков научной информации можно связывать с ростом числа создателей научной информации. Темпы этого роста описываются показательной функцией. Например, в течение последних 50 лет число научных работников в СССР удваивалось каждые 7 лет, в США – каждые 10 лет, в европейских странах – каждые 10...15 лет.
Конечно, темпы роста числа научных работников должны подвергнуться замедлению и достигнуть какой-то более или менее постоянной величины по отношению ко всему количеству работающего населения. В противном случае все население через какое-то время будет занято исследовательскими и опытно-конструкторскими работами, что нереально. Поэтому в будущем следует ожидать замедления темпов роста числа научных документов. В настоящее время эти темпы все еще высоки и внушают потребителям информации тревогу: как хранить и обрабатывать документы, как найти среди них тот, который нужен?
Положение кажется безвыходным: действующий пока в царстве документов закон экспоненциального роста документов резко обострил в нем как «жилищную», так и «транспортную» проблемы.
Однако, как оказывается, здесь существует закон, несколько смягчающий создавшееся положение...
В конце 40-х годов нашего столетия Дж. Ципф, собрав огромный статистический материал, попытался показать, что распределение слов естественного языка подчиняется одному простому закону, который можно сформулировать следующим образом. Если к какому-либо достаточно большому тексту составить список всех встретившихся в нем слов, затем расположить эти слова в порядке убывания частоты их встречаемости в данном тексте и пронумеровать в порядке от 1 (порядковый номер наиболее часто встречающегося слова) до R , то для любого слова произведение его порядкового номера (ранга) / в таком списке и частоты его встречаемости в тексте будет величиной постоянной, имеющей примерно одинаковое значение для любого слова из этого списка. Аналитически закон Ципфа может быть выражен в виде
fr = c ,
где f
– частота встречаемости слова в тексте;
r
– ранг (порядковый номер) слова в списке;
с
– эмпирическая постоянная величина.
Полученная зависимость графически выражается гиперболой. Исследовав таким образом самые разнообразные тексты и языки,
в том числе языки тысячелетней давности, Дж. Ципф для каждого из них построил указанные зависимости, при этом все кривые имели одинаковую форму – форму «гиперболической лестницы», т.е. при замене одного текста другим общий характер распределения не изменялся.
Закон Ципфа был открыт экспериментально. Позднее Б. Мандельброт предложил его теоретическое обоснование. Он полагал, что можно сравнивать письменный язык с кодированием, причем все знаки должны иметь определенную «стоимость». Исходя из требований минимальной стоимости сообщений, Б. Мандельброт математическим путем пришел к аналогичной закону Ципфа зависимости
fr γ = c ,
где γ – величина (близкая к единице), которая может изменяться в зависимости от свойств текста.
Дж. Ципфом и другими исследователями было установлено, что такому распределению подчиняются не только все естественные языки мира, но и другие явления социального и биологического характера: распределения ученых по числу опубликованных ими статей (А. Лотка, 1926 г.), городов США по численности населения (Дж. Ципф, 1949 г.), населения по размерам дохода в капиталистических странах (В. Парето, 1897 г.), биологических родов по численности видов (Дж. Уиллис, 1922 г.) и др.
Самым важным для рассматриваемой нами проблемы является тот факт, что и документы внутри какой-либо отрасли знаний могут распределяться согласно этому закону. Частным случаем его является закон Брэдфорда, непосредственно связанный уже не с распределением слов в тексте, а с распределением документов внутри какой-либо тематической области.
Английский химик и библиограф С. Брэдфорд, исследуя статьи по прикладной геофизике и смазке, заметил, что распределения научных журналов, содержащих статьи по смазке, и журналов, содержащих статьи по прикладной геофизике, имеют общий вид. На основании установленного факта С. Брэдфорд сформулировал закономерность распределения публикаций по изданиям.
Основной смысл закономерности состоит в следующем: если научные журналы расположить в порядке убывания числа статей по конкретному вопросу, то журналы в полученном списке можно разбить на три зоны таким образом, чтобы количество статей в каждой зоне по заданному предмету было одинаковым. При этом в первую зону, так называемую зону ядра, входят профильные журналы, непосредственно посвященные рассматриваемой тематике. Количество профильных журналов в зоне ядра невелико. Вторую зону образуют журналы, частично посвященные заданной области, причем число их существенно возрастает по сравнению с числом журналов в ядре. Третья зона, самая большая по количеству изданий, объединяет журналы, тематика которых весьма далека от рассматриваемого предмета.
Таким образом, при равном числе публикаций по определенной тематике в каждой зоне число наименований журналов резко возрастает при переходе от одной зоны к другой. С. Брэдфорд установил, что количество журналов в третьей зоне будет примерно во столько раз больше, чем во второй зоне, во сколько раз число наименований во второй зоне больше, чем в первой. Обозначим р 1 – число журналов в 1-й зоне, р 2 – во 2-й, р 3 – число журналов в 3-й зоне.
Если a – отношение количества журналов 2-й зоны к числу журналов 1-й зоны, то закономерность, вскрытая С. Брэдфордом, может быть записана так:
P 1: P 2: P 3 = 1: a : a 2
P 3: P 2 = P 2: P 1 = a .
Эту зависимость называют законом Брэдфорда.
Б. Викери уточнил модель С. Брэдфорда. Он выяснил, что журналы, проранжированные (выстроенные) в порядке уменьшения в них статей по конкретному вопросу, можно разбить не на три зоны, а на любое нужное число зон. Если периодические издания расположить в порядке уменьшения в них количества статей по конкретному вопросу, то в полученном списке можно выделить ряд зон, каждая из которых содержит одинаковое количество статей. Примем следующие обозначения х – количество статей в каждой зоне. Т x – количество журналов, содержащих х статей, Т 2x – количество журналов, содержащих 2х статей, т.е. сумма наименований журналов в 1-й и во 2-й зонах, Т 3x – количество журналов, содержащих 3х статей, т.е. сумма наименований журналов в 1-й, 2-й и в 3-й зонах, Т 4x – количество журналов, содержащих 4х статей.
Тогда эта закономерность будет иметь вид
T x : T 2x : T 3x : T 4x : ... = 1: a : a 2: a 3: ...
Данное выражение называют законом Брэдфорда в толковании Б. Викери.
Если закон Ципфа характеризует многие явления социального и биологического характера, то закон Брэдфорда – это специфический случай распределения Ципфа для системы периодических изданий по науке и технике.
Из этих закономерностей можно извлечь выводы огромной практической пользы.
Так, если расположить какие-либо периодические издания в порядке убывания количества статей по определенному профилю, то, согласно Брэдфорду, их можно разбить на три группы, содержащие равное количество статей. Пусть мы отобрали группу из 8 наименований журналов, занимающих первые 8 мест в полученном списке. Тогда для того, чтобы удвоить количество статей по интересующему нас профилю, нам придется добавить к имеющимся 8 еще 8 · a наименований журналов. Если a = 5 (это значение найдено экспериментальным путем для некоторых тематических областей), то число этих наименований равно 40. Тогда общее число наименований периодических изданий составит 48, что, конечно, значительно больше, чем 8. При попытке же получить втрое большее количество статей нам придется охватить уже 8 + 5 · 8 + 5 2 · 8 = 256 наименований! Из них треть интересующих нас статей сосредоточена всего в 8 журналах, т.е. статьи распределяются по наименованиям журналов неравномерно. С одной стороны наблюдается концентрация значительного количества статей по определенной тематике в нескольких профильных журналах, с другой – рассеяние этих статей в огромном количестве изданий по смежной или далекой от рассматриваемой тематике, в то время как на практике необходимо выявить основные источники по интересующей нас области научно-технических знаний, а не случайные издания.
Закономерности концентрации и рассеяния научно-технической информации в царстве документов позволяют выбирать именно те издания, которые с наибольшей вероятностью содержат публикации, соответствующие определенному профилю знаний. В массовом процессе информационного обеспечения в масштабах страны использование этих закономерностей позволяет сократить для народного хозяйства огромные расходы.
Существующее рассеяние публикаций нельзя оценивать только как вредное явление. В условиях рассеяния улучшаются возможности для межотраслевого обмена информацией.
Попытка сконцентрировать все публикации одного профиля в нескольких журналах, т.е. не допустить их рассеяния, будет иметь отрицательные последствия, не говоря уж о том, что точное отнесение документа к тому или иному профилю не всегда представляется возможным.
Результаты проверок закона рассеяния Брэдфорда, как показал С. Брукс, имеют различные степени соответствия. Несмотря на внесенные поправки, модель Брэдфорда не отражает разнообразия реальных распределений. Это несоответствие можно объяснить тем, что Брэдфорд сделал свои выводы, основываясь на выборе массивов, относящихся только к узким тематическим областям.
Огромная заслуга Дж. Ципфа и С. Брэдфорда состоит в том, что они положили начало строгому исследованию документальных информационных потоков (ДИП), которые представляют собой совокупности научных документов-публикаций и неопубликованных материалов (например, отчетов по научно-исследовательским и опытно-конструкторским работам). Дальнейшие исследования, среди которых видное место занимают работы советского специалиста в области информатики В.И. Горьковой, показали, что можно определять не только количественные параметры совокупностей научных документов, но и совокупностей элементов признаков научных документов: авторов, терминов, индексов классификационных систем, наименований изданий, т.е. наименований элементов, характеризующих содержание научных документов. Например, можно расположить журналы в порядке убывания числа печатающихся в них авторов, в порядке убывания средней величины публикующихся в них статей или упорядочить совокупность документов по любому ее элементу.
Упорядоченность задается ранжированием (порядком размещения) наименований элементов по частоте их появления в порядке ее убывания. Такая упорядоченная совокупность наименований элементов называется ранговым распределением. Распределения, которые в свое время изучал Ципф, – это типичные примеры ранговых распределений. Оказалось, что вид рангового распределения, его строение характеризуют ту совокупность документов, к которой относится данное ранговое распределение. Выяснилось, что при построении ранговые распределения в большинстве случаев имеют форму закономерности Ципфа с поправкой Мандельброта:
fr γ = c .
При этом коэффициент γ – величина переменная. Постоянство коэффициента γ сохраняется только на среднем участке графика распределения. Этот участок принимает форму прямой, если график вышеприведенной закономерности построить в логарифмических координатах. Участок распределения с γ = const называется центральной зоной рангового распределения (значение аргумента на этом участке изменяется от Inr 1 , до Inr 2). Значениям аргумента от 0 до Inr 1 соответствует зона ядра рангового распределения, а значениям аргумента от Inr 2 до Inr 3 – так называемая зона усечения.
Какой же смысл заложен в существовании трех явно различаемых зон ранговых распределений? Если последнее относится к терминам, составляющим какую-либо область знании, то ядерная зона, или зона ядра рангового распределения, содержит наиболее общеупотребительные, общенаучные термины. Центральная зона содержит термины, наиболее характерные для данной области знаний, которые в совокупности выражают ее специфичность, отличие от других наук, «охватывают ее основное содержание». В зоне усечения же сосредоточены термины, сравнительно редко употребляющиеся в данной области знаний.
Таким образом, основа лексики какой-либо области знаний сосредоточена в центральной зоне рангового распределения. При помощи терминов ядерной зоны эта область знаний «стыкуется с более общими областями знаний», а зона усечения играет роль авангарда, как бы «нащупывающего» связи с другими отраслями науки. Так, если несколько лет назад в ранговом распределении терминов тематической области «Обработка металлов» встретился бы термин «лазеры», то ввиду его низкой встречаемости он, наверняка, попал бы именно в зону усечения: связи между лазерной техникой и обработкой металлов еще только «нащупывались». Однако сегодня этот термин, без сомнения, попал бы в центральную зону, что отразило бы уже его достаточно высокую встречаемость и, следовательно, устойчивую связь лазерной техники с обработкой металлов.
График рангового распределения наполнен глубоким смыслом: ведь по относительной величине той или иной зоны на графике можно судить о характеристиках всей области знаний. График с обширной ядерной зоной и малой зоной усечения относится к достаточно широкой и скорее всего консервативной области знаний. Для динамичных отраслей науки характерна увеличенная зона усечения. Малая величина ядерной зоны может говорить об оригинальности области знаний, к которой относится построенное ранговое распределение и т.д. Так, на основании анализа рангового распределения оказалось возможным дать качественные оценки документальным информационным потокам в соответствии с теми отраслями, науки, где они формировались. Царство документов приобретает очертания системы, в которой элементы взаимосвязаны, а закономерности, управляющие этими связями, могут быть изучены!
Как информация стареет...
Старение... Смысл этого понятия, не требует объяснений, оно хорошо знакомо каждому. Стареет наша планета, стареют деревья. Стареют вещи и люди, которым они принадлежат. Стареют и документы. Желтеют листы книг, выцветают буквы, разрушаются обложки. Но что это? Студент, отмахиваясь в библиотеке от предлагаемой ему книги, пренебрежительно замечает: «Она уже устарела!», хотя книга с виду еще совершенно новая! Никакого секрета здесь, конечно, нет. Книга нова, однако информация, которая в ней содержится, могла устареть. Применительно к документам старение понимается не как физическое старение носителя информации, а как довольно сложный процесс старения содержащейся в нем информации. Внешне этот процесс проявляется в утрате учеными и специалистами интереса к публикациям с увеличением времени, прошедшего со дня их издания. Как показало обследование 17 библиотек, проведенное одним из отраслевых органов информации, 62% обращений приходится на журналы, возраст которых не превышает 1,5 года; 31% обращений – на журналы возрастом 1,5...5 лет; 6% – на журналы возрастом от 6 до 10 лет; 7% – на журналы более чем 10-летнего возраста. К вышедшим сравнительно давно публикациям обращаются гораздо реже, что дает повод для утверждения об их старении. Какие же механизмы управляют процессом старения документов?
Один из них непосредственно связан с кумуляцией, агрегированием научной информации. Часто материал, на изложение которого сто лет назад требовался целый курс лекций, теперь можно объяснить за несколько минут с помощью двух-трех формул. Соответствующие курсы лекций безнадежно стареют: ими никто уже не пользуется.
После получения более точных стареют приблизительные данные, а следовательно, и документы, в которых они опубликованы. Поэтому, когда говорят о старении научной информации, чаще всего имеют в виду именно ее уточнение, более строгое, сжатое и обобщенное изложение в процессе создания новой научной информации. Это возможно благодаря тому, что научная информация обладает свойством кумулятивности, т.е. допускает более краткое, обобщенное изложение.
Иногда старение документальной информации имеет другой механизм: объект, описанием которого мы располагаем, с течением времени изменяется настолько, что информация о нем становится неточной. Так стареют географические карты: на смену пустыням приходят пастбища, возникают новые города и моря.
Процесс старения можно рассматривать и как утрату информацией практической полезности для потребителя. Это означает, что он уже не может пользоваться ею для достижения стоящих перед ним целей.
И, наконец, этот процесс может быть рассмотрен с позиций изменения тезауруса человека. С этих позиций одна и та же информация может быть «устаревшей» для одного человека и «неустаревшей» для другого.
Степень старения документальной информации неодинакова для разных видов документов. На скорость ее старения влияют в разной степени очень много факторов. Особенности старения информации в каждой области науки и техники не могут быть выведены на основе абстрактных соображений или усредненных данных статистики – они органически связаны с тенденциями развития каждой отдельной отрасли науки и техники.
Для того чтобы как-то количественно оценить скорость старения информации, библиотекарь Р. Бартон и физик Р. Кеблер из США по аналогии с периодом полураспада радиоактивных веществ ввели «полупериоды жизни» научных статей. Полупериод жизни – это время, в течение которого была опубликована половина всей используемой в настоящее время литературы по какой-либо отрасли или предмету. Если полупериод жизни публикаций по физике равен 4,6 года, то это означает, что 50% всех ныне используемых (цитируемых) публикаций по этой отрасли имеют возраст не более 4,6 года. Вот какие результаты получили Бартон и Кеблер: для публикаций по физике – 4,6 лет, физиологии – 7,2, химии – 8,1, ботанике – 10,0, математике – 10,5, геологии – 11,8 лет. Однако, хотя свойство старения информации и носит объективный характер, но оно не раскрывает внутреннего процесса развития данной области знания и имеет скорее описательный характер. Поэтому к выводам о старении информации следует относиться очень осторожно.
Тем не менее, даже приблизительная оценка скорости старения информации и документов, ее содержащих, имеет огромную практическую ценность: она помогает держать в поле зрения только ту часть царства документов, в которой, вероятнее всего, находятся документы, несущие основную информацию о данной науке. Это важно не только для работников научно-технических библиотек и органов научно-технической информации, но и для самих потребителей НТИ.
Выход в автоматизации?
