Table Of ContentУчебниНко вВавеяд сенеиреи яв! RСвободный инструментарий
для статистической обработки данных
Введение в R
ЧАСТЬ 1 Вы ещё анализируете данные по старинке, методом внимательного
вглядывания в набор точек на графике, изредка подгоняя их к прямой с помощью
многочисленных «мышекликов»? Пусть это делает за вас компьютер и R – это
именно тот язык, который поможет доходчиво разъяснить ему вашу проблему.
Нашы эксперты
Шипунов Алексей Евгений Балдин
Биолог, преподаватель, Физик, преподава-
сотрудник американс- тель, научный сотруд-
кого университета ник ИЯФ им. Будкера,
Айдахо, использующий профессионально
R для обработки занимается обработ-
информации во всех кой эксперименталь-
своих проектах, начи- ных данных в области
ная с 2001 года. физики высоких
Русский переводчик R. энергий. Давний сто-
ронник свободного
ПО, впечатлённый
мощью R.
П
режде всего, R – язык программирования для статистической
обработки данных и работы с графикой, и в то же время – это
свободная программная среда с открытым исходным кодом,
развиваемая в рамках проекта GNU. R можно найти в любом дистрибу-
тиве, не ставящем своей целью уместиться на одну дискетку. Например, была перенесена в UNIX, и с этого момента S стал распространяться, в
в Debian GNU/Linux базовый пакет носит имя r-base, а подключаемые основном, в научной среде. Начиная с третьей версии (1988 г.), коммер-
модули проще всего искать по акрониму «cran». ческая реализация S называется S-PLUS. Последняя в настоящее время
R применяется везде, где нужна работа с данными. Это не только продвигается компанией Insightful, и доступна под Windows и различ-
статистика в узком смысле слова, но и первичный анализ (графики, ными версиями UNIX, естественно, за плату, причем весьма и весьма
таблицы сопряжённости), и продвинутое математическое моделиро- немаленькую (для UNIX, например, S-PLUS предлагается за $6500).
вание. R без особых проблем может использоваться и там, где сей- Собственно говоря, именно высокая цена и сдерживала широкое рас-
час принято использовать коммерческие программы анализа уровня пространение этого во многих отношениях замечательного продукта.
MatLab/Octave. С другой стороны, вполне естественно, что основная Тут-то и начинается история R.
вычислительная мощь R лучше всего его проявляется при статисти- В августе 1993 г. двое молодых новозеландских ученых анонси-
ческом анализе: от вычисления средних величин до вейвлет-преобра- ровали свою новую разработку, которую они назвали R. По замыслу
зований временных рядов. создателей, Роберта Джентльмена [Robert Gentleman] и Росса Ихака
География использования R очень разнообразна. Трудно найти [Ross Ihaka], она должна была стать новой реализацией языка S, отли-
американский или западноевропейский университет, где бы не рабо- чающейся от S-PLUS некоторыми деталями, например, обращением с
тали бы с R. Очень многие серьезные компании (например, Boeing) глобальными и локальными переменными, а также работой с памятью.
используют R в своей деятельности. R для статистиков – это действи- Фактически, они создали не полный аналог S-PLUS, а новую «ветку»
тельно глобально. на «дереве S». Многие вещи, которые отличают R от S-PLUS, связаны
с влиянием языка Scheme [функциональный язык программирования,
один из наиболее популярных диалектов языка Lisp, – прим. авт.].
Немного истории
Сначала проект развивался довольно медленно, но когда в нём поя-
вилось достаточно возможностей, в том числе уникальная по лёгкости
R возник как свободный аналог среды S-PLUS, которая, в свою оче- система написания дополнений или пакетов, всё большее количество
редь, является коммерческой реализацией языка расчётов S. людей стало переходить с S-PLUS на R. Когда же, наконец, были уст-
Язык S – довольно старая разработка (почти как TeX). Он возник ранены свойственные первым версиям проблемы с памятью, то среди
ещё в 1976 году в компании Bell Labs, и был назван, естественно, «по пользователей R стали появляться и любители других статистичес-
мотивам» языка С. Первая реализация S была написана на FORTRAN и ких пакетов (прежде всего тех, которые имеют интерфейс командной
работала под управлением операционной системы GCOS. В 1980 г. она строки: SAS, Stata, SYSTAT). Количество книг, написанных про R, за
98 Linux Format Январь 2008
Введение в R Учебник
последние годы выросло в несколько раз, а количество пакетов уже
приближается к полутора тысячам. R -- это свободное ПО, и оно поставляется безо всяких
Идея центральной системы хранения и распространения пакетов, гарантий. Вы вольны распространять его при соблюдении
CRAN или Comprehensive R Archive Network (http://cran.r-project.org/), некоторых условий. Введите ‘license()’ для получения
была заимствована из TeX-сообщества (CTAN или Comprehensive TeX более подробной информации.
Archive Network; аналогичной схемой пользуется и Perl-сообщество:
CPAN или Comprehensive Perl Archive Network). Все три упомянутых R -- это проект, в котором сотрудничает множество
проекта объединяет одно: стабильная база и множество дополнений. разработчиков. Введите ‘contributors()’ для получения
В отличие от добавления новой функциональности в монолитную про- дополнительной информации и ‘citation()’ для ознакомления
грамму, качественный пакет может сравнительно легко написать один с правилами упоминания R и его пакетов в публикациях.
человек за вполне обозримый промежуток времени.
Введите ‘demo()’ для запуска демонстрационных программ,
‘help()’ -- для получения справки, ‘help.start()’ --
Как скачать и установить R для доступа к справке через браузер. Введите ‘q()’, чтобы
выйти из R.
Поскольку R – свободное ПО, его можно скачать и установить совер-
шенно бесплатно. Конкретный способ, конечно, будет зависеть от уста- >
новленной у вас ОС. Как уже говорилось выше, R входит в репозитории и появится приглашение в виде символа >. Теперь можно приступать
большинства распространенных дистрибутивов Linux, единственное, к работе.
что нужно учесть – обновление пакетов часто отстает от выхода офици- Если терминал запущен вне графической среды, то все изобра-
альных версий (релиз-цикл R длится примерно три месяца, на момент жения будут скидываться в один многостраничный PostScript-файл –
написания статьи актуальной была версия 2.6.0). Версия R нумеруется Rplots.ps. В Mac OS X это будет происходить, даже если X11 запущен,
тремя числами: первые два – это главная версия, которая обновляется так что полноценно использовать R под Mac можно только в GUI-вари-
два раза в год. С каждой главной версией в R привносятся изменения, анте. Терминальный запуск под Windows таких ограничений не имеет.
причём часто – довольно значительные. Как правило, это множество На будущее договоримся, что под «сессией R» мы будем иметь
новых команд, улучшенные алгоритмы выполнения старых, и, разуме- в виду терминальный запуск под X11 в GNU/Linux и GUI-запуск в
ется, исправления ошибок. К недостаткам смены версии можно отнес- Windows и Mac. GUI под эти операционные системы построены так, что
ти возможные проблемы с обратной совместимостью. Естественно, они всё равно запускают терминал-подобное окно. Общение с R воз-
разработчики стараются свести такие изменения к минимуму. С дру- можно только в режиме диалога «команда-ответ». Полноценного GUI
гой стороны, написанные на R программы пяти-семилетней давности, с R не поставляется: хотя предпринимаются многочисленные попыт-
как правило, работают без проблем. В общем и целом, мораль такова: ки создать такую систему, но пока что все они далеки от завершения.
обновляйте R смело, но при этом всегда читайте список изменений. Возможно, это и к лучшему, так как система из меню-окошек-опций не
На каждую главную версию выходит, как правило, две минорных способна заменить полноценный интерфейс командной строки, осо-
(нулевая и первая). Первая минорная версия обычно ничего нового, бенно в случае таких сложных систем, как R. Интересно, что S-PLUS
кроме исправления ошибок, не привносит. Таким образом, если Вы имеет очень приличный GUI, но если открыть любой учебник по этой
хотите всегда иметь самую свежую версию, то репозиторий пакетов, системе, то можно заметить, что автор настоятельно рекомендует
особенно в случае стабильных дистрибутивов, не годится. В этом слу- пользоваться командной строкой.
чае надо будет скачивать R из CRAN (http://cran.r-project.org/). У этого
Первые шаги
сайта довольно много зеркал, так что можно выбрать подходящее.
Процедура компиляции R из исходного кода вполне стандартная: Перед тем как начать работать, надо понять, как выйти. Для этого
./configure, make и make install от имени суперпользователя. В общем, достаточно ввести одну команду и ответить на один вопрос:
если процесс компиляции как таковой вас не пугает, собрать R из > q()
исходных текстов не составит труда. > Save workspace image? [y/n/c]: n
Есть одна, важная для всех операционных систем особенность: R Уже такой простой пример демонстрирует, что любая команда
(в отличие от того же S-PLUS) держит все свои вычисления в опера- в R – это функция, которой можно передать аргумент. Даже если
тивной памяти, поэтому, если в процессе работы, скажем, выключится
электропитание, то результаты сессии, не записанные явным обра-
зом в файл, пропадут. Эта особенность, к сожалению, не позволяет R
работать с действительно большими объёмами данных (порядка сотен
тысяч и более записей), отдавая их на откуп гораздо менее удобной
системе анализа ROOT (http://root.cern.ch), про которую мы уже гово-
рили в LXF83.
Запуск
Опять-таки, каждая операционная система имеет свои особенности
работы. Но, в целом, можно сказать, что и в Linux, и в Mac OS X, и в
Windows существует так называемый «терминальный» способ запуска
(для Mac и Windows имеется и штатный GUI с некоторыми дополни-
тельными возможностями).
Терминальный способ прост: достаточно набрать в командной
строке:
=> R
R version 2.4.0 Patched (2006-11-25 r39997)
Copyright (C) 2006 The R Foundation for Statistical Computing
ISBN 3-900051-07-0
Январь 2008 Linux Format 99
Учебник Введение в R
аргумент не указан, то скобки всё равно надо ввести. Если этого не Результатом выполнения будет список команд с кратким описа-
сделать, то вместо выхода из R на экран будет выведено определе- нием их действия. Команда apropos() выдает простой список команд,
ние функции: содержащих строку, которая была указана в кавычках. Кстати, обрати-
> q те внимание – кавычки следует использовать обязательно. Их можно
function (save = “default”, status = 0, runLast = TRUE) использовать и в обычных командах помощи, например, help(“q”) или
.Internal(quit(save, status, runLast)) ?“q”, причём иногда эти команды без кавычек просто не работают
<environment: namespace:base> (например, нельзя получить справку по символу плюса, введя ?+, надо
Чтобы узнать, как правильно вызывать функцию, следует вос- использовать ?“+”). Если ничего не помогает, и найти нужную функцию
пользоваться встроенной справкой. Есть два пути. Первый – вызвать не удается, то приходится обращаться за справкой в Интернет или в
команду справки: список рассылки R-help.
> help(q)
Калькулятор-переросток
или
> ?q Так назвал один из вводных разделов своей книги «Introduction to R»
Текст справки будет выведен в основном окне программы. Если один из создателей системы, Питер Далгаард [Peter Dalgaard]. Это зна-
внимательно прочитать его, то станет ясно, что выйти из R можно, и чит, что R можно использовать, в том числе, и как обычный калькуля-
не отвечая на дополнительный вопрос, если ввести: тор. Например:
> q(“no”) > 3+2
Зачем же нужен этот вопрос? Или, другими словами, что будет, [1] 5
если ответить положительно? В этом случае в рабочую папку R (ту, > 16+3/5-11*8^2
из которой он вызван), запишутся два файла: бинарный .RData и тек- [1] -687.4
стовый .Rhistory. Первый содержит все объекты, созданные за время > ((((16+3)/5)-11)*8)^2
сессии. Второй – полную историю введённых команд. R работает с [1] 3317.76
историей команд стандартным образом: доступ к предыдущей команде Для знакомых с интерактивными языками программирования
осуществляется через клавишу-стрелку «вверх». типа Python здесь нет ничего необычного. Единственная любопытная
Если при выходе сохранить файл .Rhistory, то команды из этой сес- деталь – это единичка в квадратных скобках. Она означает номер эле-
сии будут доступны и в следующей, при условии, что R будет вызван из мента вектора. Отсюда сразу два логических вывода:
того же самого каталога. И наоборот, если случайно сохранить рабо- 1 R трактует результат любой операции с числами как вектор единич-
чую среду (эти два файла), то при следующем старте они загрузятся ной длины. Скаляров в R, вообще говоря, нет;
автоматически. Иногда такое поведение R становится причиной раз- 2 Элементы векторов нумеруются с единицы, а не с нуля, как принято
личных недоумений, так что необходимо быть внимательным. во многих языках программирования.
Итак, как войти и как выйти, уже понятно. Осталось сказать ещё Для читателей, менее знакомых с программированием, отметим,
немного про помощь. Её можно вызвать несколькими различными что порядок арифметических действий в R стандартный, знакомый со
способами. Во-первых, посредством команд ? или help(), как описано школьной математики. Скобки (раскрывающиеся изнутри наружу) поз-
выше. Во-вторых, можно вызвать команду help.start(). В этом случае воляют этот порядок изменять:
откроется окно браузера, в котором будет демонстрироваться так > # Первый пример
называемая HTML-помощь. Основное её преимущество перед обычной > 3/7
текстовой в том, что разделы соединены гиперссылками (в Mac OS X [1] 0.4285714
такая помощь вызывается обычными командами). В-третьих, вместе > 3/7-0.4285714
с R устанавливается несколько руководств в формате PDF. Их можно [1] 2.857143e-08
найти в папке, содержащей документацию. > # Второй пример
Наконец, часто бывает нужна «обратная» помощь – вы знаете, что > sqrt(2)*sqrt(2)
вы хотите, но не знаете, как это сделать (какую команду вызвать). [1] 2
В этом случае могут помочь две команды: help.search() и apropos(). Вот > (sqrt(2)*sqrt(2))-2
как их надо вызывать: [1] 4.440892e-16
> help.search(“vector”) Эти примеры посложнее; кроме того, в них есть подводные камни.
Почему разность 3/7-0.4285714 не равна нулю, должно быть понятно,
всем, знающим арифметику. При выводе на консоль, R неявно исполь-
зует функцию print(), которая округляет бесконечную периодическую
дробь 0,428571. Второй пример интереснее. Произведение двух квад-
ратных корней из двойки должно давать 2, что и происходит. Однако
если вычесть из результата 2, получится какое-то очень маленькое
число (4,440892·10-16). Это происходит потому, что вычисления выпол-
няются на компьютере, который только притворяется, что работает с
дробями, в то время как на самом деле оперирует только с целыми
числами. Любая компьютерная система расчётов работает подобным
образом, и с этим можно только смириться. Ещё один момент: при-
ведённые примеры показывают, как можно пользоваться символом
комментария (#).
Скажем ещё немного о работе с аргументами на примере команды
round() (округлить). Она принимает два аргумента: число, которое нуж-
но округлить, и значение digits, сообщающее, до какого знака округ-
лять. Система аргументов работает разумно, так что все равно, как
именно написать команду:
> round(1.5, digits=0)
[1] 2
> round(1.5, d=0)
100 Linux Format Январь 2008
Введение в R Учебник
[1] 2 Есть ещё более эффективный способ работы: вы открываете скрипт
> round(d=0, 1.5) в текстовом редакторе, а потом посылаете отдельные его строки прямо
[1] 2 в R. Есть несколько редакторов, которые умеют так делать. Во-первых,
> round(1.5, 0) это Emacs с установленным пакетом ESS (Emacs Speaks Statistics).
[1] 2 Прелесть этой системы в том, что R запускается прямо в одном из
> round(1.5,) окон редактора. Во-вторых, штатные R GUI под Windows и под Mac
[1] 2 также имеют встроенные редакторы скриптов. Правда, Windows-редак-
> round(1.5) тор не подсвечивает синтаксис, и вообще довольно неудобен. Вместо
[1] 2 него тем пользователям, которых пугает перспектива освоения Emacs,
Так происходит благодаря тому, что есть значения аргументов по можно порекомендовать специализированный редактор Tinn-R (www.
умолчанию. Например, в данном случае значение по умолчанию для sciviews.org/Tinn-R/).
аргумента digits – 0. Об этом говорит и результат вывода команды Скрипт R можно выполнить, и не запуская интерактивную сес-
args(): сию. Для этого используются специальные опции командной строки.
> args(round) Например, можно поступить вот так:
> function (x, digits = 0) => R --no-save < myscript.r > out
Можно также заметить, что некоторые аргументы имеют имена. Опция --no-save предписывает R не сохранять результаты сессии
Значит, аргументы можно задавать не по порядку, а по именам. Имена в файлах .RData/.Rhistory (фактически, отвечает «no» на упомянутый в
можно сокращать вплоть до одной буквы, но только если нет разных начале статьи заключительный вопрос).
аргументов, которые от такого сокращения станут неразличимыми.
Можно также перечислять аргументы по порядку, через запятую (не
Пакеты
забудьте, что для десятичных дробей используется точка!), тогда име-
на можно опускать.
Ещё одно важное преимущество R – наличие для него многочисленных
расширений или пакетов буквально на все случаи жизни.
Скрипты
Несколько пакетов присутствуют сразу после установки R на ком-
пьютер – это так называемые базовые пакеты, без которых система
Просто открыть сессию R и вводить в окно программы команды, одну просто не работает (скажем, пакет, который так и называется base, или
за другой – это лишь один из возможных способов работы. Гораздо пакет grDevices, который управляет выводом графиков), а также «реко-
более продуктивный метод, который является заодно и серьёзнейшим мендованные» пакеты (пакет для специализированного кластерного
преимуществом R – это создание скриптов, иначе говоря – программ, анализа cluster, пакет для анализа нелинейных моделей nlme и другие).
которые потом загружаются в R и интерпретируются им. С самого нача- Кроме того, можно поставить любой из почти полутора тысяч (!)
ла работы следует создавать скрипты, даже для таких задач, которые доступных на CRAN пакетов. При наличии доступа в Интернет, это мож-
кажутся пустяковыми – в будущем это значительно сэкономит ваше но сделать прямо из R командой install.packages() (в Mac и Windows
бесценное время. Создание скриптов по любому поводу и даже без есть соответствующие пункты меню). Если соединение с сетью похуже,
особого повода – одна из основ культуры работы в R. то можно скачать исходные тексты (под GNU/Linux) или скомпилиро-
Создать скрипт очень просто. Допустим, после открытия сессии ванные пакеты (под Mac или Windows) и установить их прямо с диска.
была введена необходимая для получения искомого результата после- Поскольку многие пакеты написаны на FORTRAN или C, перед исполь-
довательность команд. Чтобы сделать эту работу воспроизводимой, зованием их необходимо скомпилировать. Для этого существует спе-
надо просто сохранить историю. Лучше всего это делать с помощью циальная форма вызова R:
команды: => R CMD INSTALL package.tar.gz
> savehistory(file=”myscript.r”) Естественно, это всё следует делать, если R устанавливается не из
После этого в текущем каталоге будет создан файл myscript.r, кото- стандартного репозитория дистрибутива GNU/Linux. В противном слу-
рый легко отредактировать в любимом текстовом редакторе, а потом чае можно поискать пакеты по сочетанию “cran”. В Debian GNU/Linux
загрузить обратно в R командой: Etch таких ровно 85 – это, конечно, не 1500 пакетов с CRAN, но скорее
> source(“myscript.r”, echo=TRUE) всего, там уже есть многое из того, что вам необходимо.
Опция echo добавлена для того, чтобы можно было видеть сами Пакет готов к работе сразу после установки – нужно только ини-
команды, а не только результат их выполнения. циализировать его перед употреблением. Для этого служит команда
library().
Полезные ссылки
В заключение хотелось бы представить список самых полезных, на
наш взгляд, сетевых ресурсов по R:
http://www.r-project.org/ – сайт проекта
http://cran.r-project.org/ – CRAN
https://stat.ethz.ch/pipermail/r-help/ – список рассылки R-help
http://finzi.psych.upenn.edu/nmz.html – поиск в материалах по R
http://www.statmethods.net/index.html – хороший справочный ресурс
http://zoonek2.free.fr/UNIX/48_R/all.html – ещё один справочный
ресурс
http://pj.freefaculty.org/R/Rtips.html} – советы по использованию R
Пожалуй, для первого раза достаточно. LXF
Через месяц Мы узнаем, как подготавливать данные и строить по ним графики.
Январь 2008 Linux Format 101
УчебнRи кС вАонбаолдинзы дйан иннысхт рсу Rментарий для
статистической обработки данных
Данные и графики
ЧАСТЬ 2 Анализ «хороших» данных – это просто. А вот чтобы сделать ваши данные
«хорошими», а затем и представить их – придётся попотеть. К счастью, Алексей
Шипунов и Евгений Балдин знают, как облагородить невзрачные столбцы чисел.
> dir()
Нашы эксперты
[1] “mydata.txt”
Вот теперь можно и загрузить данные. За чтение табличных тексто-
Алексей Шипунов Евгений Балдин вых данных отвечает команда read.table():
Биолог, преподаватель, Физик, преподава- > read.table(“mydata.txt”, sep=”;”, head=TRUE)
сотрудник американс- тель, научный сотруд- а б в
кого университета ник ИЯФ им. Будкера,
1 1 2 3
Айдахо, использующий профессионально
2 4 5 6
R для обработки занимается обработ-
информации во всех кой эксперименталь- 3 7 8 9
своих проектах, начи- ных данных в области Все очень просто, за исключением того, что перед чтением нужно
ная с 2001 года. физики высоких знать, в каком формате хранятся данные – а именно, что у столбцов
Русский переводчик R. энергий. Давний сто-
есть имена (head=TRUE) и что разделителем является точка с запятой
ронник свободного
(sep=”;”). Функция read.table() очень хороша, но не настолько умна, что-
ПО, впечатлённый
мощью R. бы определять формат данных на лету. Чтобы просмотреть содержимое
файла, не выходя из R, можно воспользоваться функцией file.show():
> file.show(“mydata.txt”)
П
одготовка данных к работе – одна из самых больших проблем а;б;в
для новичка в R. Сама по себе обработка данных подробно 1;2;3
описана в разных руководствах и пособиях, а вот информация, 4;5;6
как добиться того, чтобы R прочитал приготовленные в другой про- 7;8;9
грамме данные, как правило, опускается. Почему – вполне очевидно: Многие команды R, включая и read.table(), имеют для аргумен-
входные данные могут иметь слишком разный формат, чтобы написать тов значения по умолчанию. Например, значение sep по умолчанию
по этому вопросу исчерпывающее и компактное руководство. равно “”. В данном случае это означает, что разделителем является
любое количество пробелов или знаков табуляции, поэтому если дан-
R и работа с данными
ные вместо точек с запятыми разделены пробельными символами,
Данные можно представить в текстовом или в двоичном виде. Не вда- то аргумент sep можно не указывать. Естественно, бывает безумное
ваясь в детали, примем, что текстовые данные – это те, которые мож- множество различных частных случаев, и сколько бы усилий ни было
но прочитать и отредактировать в текстовом редакторе (Emacs/Vi и приложено, все не описать. Отметим, однако, еще несколько важных
прочее). Чтобы отредактировать двоичные данные, как правило, нужна моментов:
программа, которая эти данные произвела. 1 Файлы можно загружать и из других директорий, при этом можно
Текстовые данные для статистической обработки – это текстовые использовать относительную адресацию:
таблицы, где каждая строка соответствует строчке таблицы, а колонки > read.table(“../workdir/mydata.txt”)
определяются при помощи разделителей. Обычно в качестве раздели- 2 Русский текст в файлах читается без проблем, если он набран
телей текстовых данных используются пробельные символы (пробел, в кодировке, совпадающей с текущей локалью. Пусть локаль – ru_
табуляция и тому подобное), запятые или точки с запятой. RU.KOI8-R, а сам файл закодирован в UTF-8; тогда при его чтении сле-
Первое, что надо сделать перед чтением данных – это убедиться, что дует воспользоваться функцией file():
текущая директория в R и та директория, где находятся данные, есть > read.table(
одно и то же. Для этого в запущенной сессии R надо ввести команду: + file(“mydata-unicode.txt”, encoding=”UTF-8”),
> getwd() + sep=”;”, head=TRUE)
[1] “/home/username/” а б в
Пусть это вовсе не та директория, в которой лежат данные. Тогда 1 1 2 3
поменять ее можно командой: 2 4 5 6
> setwd(“./workdir”) 3 7 8 9
> getwd() Иногда нужно, чтобы R прочитал, кроме имен столбцов, еще и имена
[1] “/home/username/workdir” строк. В этом случае в первой строке должно быть на одну колонку мень-
Как обычно, развернутую справку можно получить с помощью ше, чем в теле таблицы (в данном примере – три вместо четырех):
вызова help(getwd). > file.show(“mydata2.txt”)
Далее следует проверить, есть ли в текущей директории нужный а б в
файл: раз 1 2 3
Месяц назад Мы узнали, что такое R, и выяснили, чем этот язык может быть полезен.
90 Linux Format Февраль 2008
Анализ данных с R Учебник
два 4 5 6 > rm(x)
три 7 8 9 > x
> read.table(“mydata2.txt”, head=TRUE) Ошибка: объект “x” не найден
а б в > dir()
раз 1 2 3 [1] “x.rd”
два 4 5 6 > load(“x.rd”)
три 7 8 9 > x
3 По отечественным правилам, в качестве десятичного разделителя [1] “яблоко”
нужно использовать запятую, а не точку. Если кто-то при подготовке Для сохранения и загрузки двоичных файлов служат команды
исходных данных этим правилам последовал, то необходимо перео- save() и load(), для создания объекта – <-, а для удаления – rm().
пределить аргумент dec: Для R написано множество интерфейсов к базам данных, в частно-
> read.table(“mydata3.txt”, dec=”,”, h=T) сти, для MySQL, PostgresSQL и SQLite (последний может вызываться
а б в прямо из R, см. пакеты RSQLite и sqldf).
раз 1.1 2.2 3.3 Наконец, R сам может записывать таблицы и другие результаты
два 4.4 5.0 6.0 обработки данных, и, разумеется, графики. Об этом мы и поговорим
три 7.0 8.0 9.0 ниже.
Обратите внимание на сокращенное обозначение аргумента и его
Графики
значения (h=T). Сокращать можно и нужно, но с осторожностью, поэто-
му в тексте мы всегда будем использовать TRUE/FALSE. Несмотря на то, что «настоящие» статистики часто относятся к гра-
В целом, с текстовыми таблицами больших проблем не возникает. фикам почти с презрением, для «широких масс» одним из основных
Разные экзотические текстовые форматы, как правило, можно пре- достоинств R служит именно удивительное разнообразие типов гра-
образовать к «типичным» если не с помощью R, то с помощью каких- фиков, которые он умеет строить. R в этом смысле – один из рекорд-
нибудь многочисленнейших текстовых утилит (вплоть до «тяжелове- сменов. В базовом наборе есть несколько десятков типов графиков,
сов» типа языка Perl). А вот с «посторонними» двоичными форматами еще больше в рекомендуемом пакете lattice, и, естественно, намного
дело обстоит гораздо хуже. Здесь, прежде всего, возникают проблемы, больше в пакетах с CRAN. По оценочным прикидкам получается, что
связанные с полностью закрытыми форматами, например, такими, разнообразных типов графиков в R никак не меньше тысячи. При
как формат популярной в определенных кругах электронной таблицы этом они еще и достаточно хорошо настраиваются, то есть пользова-
Microsoft Excel. Вообще говоря, ответ на вопрос: «Как прочитать двоич- тель при желании может легко разнообразить эту исходную тысячу на
ный формат в R?» часто сводится к совету по образцу известного анек- свой вкус.
дота: «выключим газ, выльем воду и вернемся к условию предыдущей
задачи». То есть надо найти способ, как преобразовать двоичные дан- Два типа графических команд
ные в обычные текстовые таблицы. Проблем на этом пути возникает Для правильного отображения кириллицы в X-окне (если это действи-
обычно не слишком много, но уж больно они разнообразные. тельно необходимо) следует правильно указать шрифты, например,
Второй путь – это найти способ прочитать данные в R без преоб- так:
разования. Специально для этих целей в R есть пакет foreign, который > X11(fonts = c(
может читать двоичные данные, выводимые пакетами Minitab, S, SAS, + “-rfx-helvetica-%s-%s-*-*-%d-*-*-*-*-*-koi8-r”,
SPSS, Stata, Systat, а также формат DBF. Чтобы узнать подробнее об + “-adobe-symbol-medium-r-*-*-%d-*-*-*-*-*-*-*”))
определенных в этом пакете командах, надо загрузить пакет и вызвать Опция fonts команды X11 принимает вектор из двух элементов,
общую справку: формируемый командой c(). Первый соответствует шрифту, исполь-
> library(foreign) зуемому для обычных текстовых меток, а второй предназначен для
> help(package=foreign) отображения стандартных спецсимволов, например, греческого алфа-
Что же касается пресловутого формата Excel, то здесь дело обстоит вита. С помощью программы xfontsel можно подобрать себе шрифт по
хуже. Существует не меньше пяти разных способов загрузить эти фай- вкусу. Подробности в ищите разделе Fonts в документации, выдавае-
лы в R, но все они имеют ограничения. К тому же новый формат MS мой по help(X11).
Excel 2007 пока вообще не поддерживается. Из всех способов наибо-
лее привлекательным представляется обмен с R через буфер. Если
открыть в OpenOffice Calc XLS-файл, то можно скопировать в буфер
обмена любое количество ячеек, а потом загрузить их в R:
> read.table(“clipboard”)
Это очень просто, и главное, работает с любой Excel-подобной
программой.
Тут следует отметить еще одну вещь: ни в коем случае не рекомен-
дуется производить какой-либо статистический анализ в программах
электронных таблиц. Не говоря уже о том, что Интернет просто забит
статьями об ошибках в этих программах и/или в их статистических моду-
лях, это еще и крайне неверно идеологически. Иначе говоря: Use R!
Добавим еще несколько деталей:
R может загружать изображения. Для этого есть сразу несколько
пакетов. Наиболее продвинутый из них – pixmap. R также может загру-
жать карты в формате ArcInfo и др. (пакеты maps, maptools) и много
чего еще.
У R есть собственный двоичный формат. Он быстро записыва-
ется и быстро загружается, но его нельзя использовать с другими
программами:
> x <- “яблоко” Рис. 1. Окна X11 с простейшим
> save(x, file=”x.rd”) графиком.
Февраль 2008 Linux Format 91
Учебник Анализ данных с R
Рассмотрим пример: > pdf(“1-20.pdf”, family=”NimbusSan”, encoding=”KOI8-R.enc”)
> plot(1:20, main=”Заголовок”) > plot(1:20, main=”Заголовок”)
legend(“topleft”, pch=1, legend=”Мои точки”) > dev.off()
Тут много такого, о чем пока речи не шло. Но самое главное – то, > embedFonts(“1-20.pdf”)
что первая команда рисует график «с нуля», тогда как вторая только Как видно, требуется указать, какой шрифт мы будем использо-
добавляет к уже нарисованному графику детали. Это и есть два типа вать, а также кодировку, с которой мы работаем. Помимо KOI8-R, из
графических команд, используемых в базовом графическом наборе восьмибитных кириллических кодировок доступны CP-1251 и KOI8-U.
R. Теперь немного подробнее: plot() – основная графическая команда, Затем нужно закрыть графическое устройство и встроить в полученный
причем команда «умная» (правильнее сказать «generic», или общая). файл шрифты с помощью команды embedFonts(). Следует отметить,
Это значит, что она распознает тип объекта, который подлежит рисо- что шрифт NimbusSan и возможность встраивания шрифтов коман-
ванию, и строит график в соответствии с ним. Например, в приведен- дой обеспечивается взаимодействием R со сторонней программой
ном примере 1:20 – это последовательность чисел от 1 до 20, то есть Ghostscript, в поставку которой входят шрифты, содержащие русские
вектор, а для одиночного вектора предусмотрен график, где по оси буквы. Кроме PDF, R «знает» и другие векторные форматы, например,
абсцисс расположены индексы (номера каждого элемента вектора по PostScript, xfig и picTeX. Есть отдельный пакет RSvgDevice, который под-
порядку), а по оси ординат – сами элементы. Если в аргументе коман- держивает популярный векторный формат SVG. График в этом форма-
ды будет что-то другое, то будет построен иной график, более подхо- те можно, например, открыть и видоизменить в свободном векторном
дящий для этого объекта. Вот пример: редакторе Inkscape.
> plot(cars)
> title(main=”Автомобили 20-х годов”) Графические опции
Здесь тоже использованы команды обоих типов, но оформлены
они немного иначе. Не беда, что мы забыли дать заголовок в коман-
де plot(), так как его всегда можно добавить потом, командой title().
«cars» – это встроенная в R таблица данных (подробности – в выводе
команды ?cars), которая использована здесь по прямому назначению,
то есть для демонстрации возможностей программы. Для нас сейчас
важно, что это не вектор, а таблица из двух колонок: speed и distance
(скорость и тормозной путь). Функция plot() автоматически нарисова-
ла так называемый scatterplot, когда по оси X откладывается значение
одной переменной (колонки), а по оси Y – другой, и еще присвоила
осям имена этих колонок. Любопытным советуем проверить, что нари-
сует plot(), если ему «подсунуть» таблицу с тремя колонками, скажем,
встроенную таблицу «trees». Кстати говоря, узнать, какие еще есть
встроенные таблицы, можно с помощью команды data() (именно так,
без аргументов).
Графические устройства
Встретив команду plot(), R открывает так называемое экранное гра-
фическое устройство (в случае X Window это стандартное окно X11) и
начинает вывод на него. Если следующая команда того же типа, то есть
не добавляющая, то R «сотрет» старое изображение и начнет выводить
новое в этом же окне. Если ввести команду:
> dev.off()
то R закроет графическое окно, что, впрочем, можно сделать, просто Рис. 2. Две гистограммы друг под другом.
щелкнув на кнопке в рамке оконного менеджера. Экранных устройств
в R предусмотрено несколько – в каждой операционной системе свое Как уже говорилось, графика в R настраивается в очень широких пре-
(а в Mac OS X даже два). Но все это не так важно, пока вы не захотите делах. Один из способов настройки – это видоизменение графических
строить графики и сохранять их в виде графических файлов. В этом опций, встроенных в R. Вот, к примеру, распространенная задача: нари-
случае придется познакомиться с другими графическими устройства- совать две гистограммы одну под другой на одном рисунке. Чтобы это
ми. Их несколько (количество опять-таки зависит от операционной сделать, надо изменить исходные опции – а именно, разделить про-
системы), а пакеты предоставляют еще около десятка. Работают они странство рисунка на две части, примерно так:
примерно так: > # Создается eps-файл размером 6 на 6 дюймов
> png(file=”1-20.png”, bg=”transparent”) > postscript(“2hist.eps”,width=6.0,height=6.0,
> plot(1:20) + horizontal=FALSE,onefile=FALSE,paper=”special”)
> dev.off() > # Изменяется одно из значений по умолчанию
Команда png() открывает одноименное графическое устройство, > old.par <- par(mfrow=c(2,1))
причем задается параметр, включающий прозрачность базового фона > hist(cars$speed)
(удобно, например, для Web). Такого параметра у экранных устройств > hist(cars$dist)
нет. Как только вводится команда dev.off(), устройство закрывается, и на > # Восстанавливаем старое значение по умолчанию
диске появляется файл 1-20.png. png() – одно из самых распространен- > par(old.par)
ных устройств при записи файлов. Недостатком его является, разумеет- > dev.off()
ся, растровая природа формата. Аналогичным по своей функционально- Ключевая команда здесь par() – изменяется один из ее параметров,
сти является и устройство jpeg(), которое производит JPEG-файлы. mfrow, который регулирует, сколько изображений и как будет разме-
R поддерживает и векторные форматы, например, PDF. Здесь, одна- щено на «листе». Значение mfrow по умолчанию – c(1,1), то есть один
ко, могут возникнуть специфические для русскоязычного пользователя график по вертикали и один по горизонтали. Чтобы не печатать каж-
трудности со шрифтами. Остановимся на них чуть подробнее. Вот как дый раз команду par() без аргументов (для выяснения «умалчиваемых»
надо «правильно» создавать PDF-файл, содержащий русский текст: значений каждого из 71 параметра), мы «запомнили» старое значение
92 Linux Format Февраль 2008
Анализ данных с R Учебник
в объекте old.par, а в конце вернули состояние к сохраненному. То, что Особенно активно Кливленд (и не только он) возражал против
команда hist() строит гистограмму, очевидно из названия. использования трехмерных графиков и так называемых «пирогов».
Поначалу «пирожных» графиков в R вовсе не было, причем по принци-
Идеологически верная графика пиальным соображениям. Сегодня они есть, но если вы откроете стра-
При всем своем разнообразии, графическая система в R построена ницу помощи, то узнаете, что «Pie charts are a very bad way of displaying
на основе строгих правил. Выбор типа графика, основных цветов и information». Трехмерных графиков в R и сейчас немного (правда, есть
символов для изображения точек, расположение подписей и т.д. были особый пакет rgl, позволяющий строить такие графики через OpenGL),
тщательно продуманы создателями. Одним из ключевых для R иссле- а если вы хотите узнать, как меняется поведение двух переменных по
дований является книга Уильяма Кливленда «Элементы графической отношению к третьей, предлагаются так называемые «Trellis graphs»
обработки данных». Многие его идеи были осуществлены именно в или графики-решетки:
S-PLUS, а затем и в R. Например, Кливленд нашел, что традиционные > coplot(log(Volume) ~ log(Girth) | Height, data = trees)
«столбчатые» графики очень плохо воспринимаются, особенно когда При выполнении этой команды на рисунке отображается, как зави-
сит объем древесины от объема кроны (в логарифмической шкале)
у деревьев различной высоты. Действительно, такое представление
гораздо эффективнее трехмерного. Странно, что распространенные
пакеты статобработки почти не используют графики-решетки, хотя их
наличие неоднократно называлось одной из главных причин коммер-
ческого успеха S-PLUS.
Интерактивность
Интерактивная графика позволяет выяснить, где именно на графике
расположены нужные вам точки, и поместить объект (скажем, под-
пись) в нужное место, а также проследить «судьбу» одних и тех же
точек на разных графиках. Кроме того, если данные многомерные, то
можно вращать облако точек в плоскости разных переменных, чтобы
выяснить структуру данных.
Еще несколько лет назад пришлось бы написать, что здесь вместо
R следует воспользоваться другими аналитическими инструментами,
но R развивается так быстро, что все эти методы теперь доступны, при-
чем в нескольких вариантах. Например, так можно добавлять подписи
в указанную мышью область графика:
> plot(1:20)
Рис. 3. Точечная диаграмма.
> text(locator(), “Моя любимая точка”, pos=4)
речь идет о близких значениях данных, и предложил им на замену После того как введена вторая команда, надо щелкнуть левой кноп-
«точечные диаграммы». Вот так они реализованы в R: кой мыши на выбранной точке в графике, а затем – неважно, где – щел-
> dotchart(Titanic[,,”Adult”,”No”], кнуть правой кнопкой мыши.
+ main=’Погибшие на “Титанике”’) Интерактивная графика других типов реализована командой
Встроенная таблица данных Titanic – это четырехмерная матрица, identify(), а также пакетами rggobi, TeachingDemos и iplot.
которая отражает статистику по возрастным группам, типу билета и
Как сохранять результаты
полу.
Начинающие работу с R обычно просто копируют результаты работы
(скажем, данные тестов) из консоли R в текстовый файл. И действитель-
но, на первых порах этого может оказаться достаточно. Однако рано или
поздно возникает необходимость сохранять созданные объемные объек-
ты (например, таблицы данных). Можно использовать уже упомянутый
в начале статьи внутренний двоичный формат, но это не всегда удобно.
Лучше всего сохранять таблицы данных в виде текстовых таблиц, кото-
рые потом можно будет открывать другими приложениями или тексто-
выми редакторами. Для этого служит команда write.table():
> write.table(file=”trees.csv”, trees,
+ row.names=F, sep=”;”, quote=F)
В текущую рабочую директорию будет записан файл trees.csv,
образованный из встроенной в R таблицы данных trees. А что, если
надо записать во внешний файл результаты выполнения команд? В
этом случае используется команда sink():
> sink(“1.txt”, split=T)
> 2+2
[1] 4
> sink()
При этом во внешний файл запишется строчка “[1] 4”, то есть
результат выполнения команды. Сама команда записана не будет, а если
хочется, чтобы она была записана, то придется ввести что-то вроде:
> print(“2+2”)
[1] “2+2”
Рис. 4. График-решетка. > 2+2
[1] 4
Февраль 2008 Linux Format 93
Учебник Анализ данных с R
то есть повторять каждую команду два раза. Для сохранения истории поистине незаменимым. Для создания подобного отчета, для начала
команд служит команда savehistory(), а для сохранения всех созданных надо набрать простой файл c LaTeX-подобной структурой и назвать его,
объектов – save.image(). Последняя может оказаться также полезной например, test-Sweave.Rnw:
для сохранения промежуточных результатов, если вы не уверены в \documentclass[a4paper,12pt]{scrartcl}
стабильности работы компьютера. % Стандартная шапка для LaTeX-документа
\usepackage[T2A]{fontenc}
Мастера отчетов
% В зависимости от используемой локали вместо koi8-r нужно
Таблицы, созданные в R, можно сохранять и в более «приличном» %поставить cp1251 или utf8
виде: например, в форматах LaTeX или HTML, при помощи пакета \usepackage[koi8-r]{inputenc}
xtable. Естественно, хочется пойти дальше, и сохранять в каком-нибудь \usepackage[english,russian]{babel}
из этих форматов вообще всю R-сессию. Для HTML такое возможно, \usepackage{indentfirst}
если использовать пакет R2HTML с CRAN:
> library(R2HTML) \title{Тест Sweave}
> dir.create(“example”) \author{А.В.\,Тор}
> HTMLStart(“example”) \begin{document} % Тело документа
HTML> 2+2 \maketitle
HTML> plot(1:20)
HTML> HTMLplot() \textsf{R} как калькулятор:
HTML> HTMLStop() <<echo=TRUE,print=TRUE>>=
В рабочей директории будет создана поддиректория example, и 1 + 1
туда будут записаны HTML-файлы, содержащие полный отчет о теку- 1 + pi
щей сессии, в том числе и созданный график. sin(pi/2)
@
Картинка:
<<fig=TRUE>>=
plot(1:20)
@
\end{document}
Затем этот файл необходимо обработать в R:
> Sweave(“test-Sweave.Rnw”)
Writing to file test-Sweave.tex
Processing code chunks ...
1 : echo print term verbatim
2 : echo term verbatim eps pdf
You can now run LaTeX on ‘test-Sweave.tex’
При этом создается готовый LaTeX-файл test-Sweave.tex. И, нако-
нец, при помощи latex/dvips или pdflatex получить результирующий
файл:
=> latex test-Sweave.tex
=> dvips test-Sweave.dvi
=> gv test-Sweave.ps
# или
=> pdflatex test-Sweave.tex
=> acroread test-Sweave.pdf
Такой отчет можно расширять, шлифовать, изменять исходные
данные, и при этом усилия по оформлению практически сводятся на
нет. Если есть желание, чтобы код R набирался моноширинным шриф-
том, то в LaTeX-преамбуле RNW-файла следует добавить строчку:
\usepackage[noae]{Sweave}
Рис. 5. Пример отчета, полученного с помощью команды Sweave. Исходный код и авторскую документацию профессора Фридриха
Лайша (Friedrich Leisch) можно найти здесь: http://www.ci.tuwien.
Можно пойти и еще дальше. Что если создать файл, который ac.at/~leisch/Sweave/.
будет содержать код R, перемешанный с текстовыми коммента- Помимо Sweave, есть и другие системы генерации отчетов: напри-
риями, и потом «скормить» этот файл R так, чтобы фрагменты мер, уже упомянутый пакет R2HTML умеет производить похожие
кода заменились на результат их исполнения? Идея эта называется отчеты в HTML. Есть пакет brew, который позволяет создавать авто-
«literate programming» (грамотное программирование) и принадлежит матические отчеты в текстовой форме (разумеется, без графиков), и
Дональду Кнуту, создателю TeX. В случае R такая система использу- совсем новый пакет odfWeave, который может работать с ODF (формат
ется для автоматической генерации отчетов – функции, которая фак- OpenOffice.org). LXF
тически отсутствует в остальных статистических пакетах и делает R
Через месяц Мы узнаем, какие типы данных предоставляет R, и как с ними работать.
94 Linux Format Февраль 2008
УчебниRк С Авноаблоидзн ыдайн ниынсхт ср уRментарий для
статистической обработки данных
Типы данных в R
ЧАСТЬ 3 Теперь, когда мы уже знаем достаточно для того, чтобы суметь
загрузить данные в R, рассмотрим, что же происходит с ними внутри
системы, и как, собственно, они обрабатываются.
> str(x)
Нашы эксперты
num [1:7] 174 162 188 192 165 168 172
то есть x – это числовой (num, numerical) вектор. В других язы-
ках программирования бывают ещё скаляры, но в R, как мы знаем
Алексей Шипунов Евгений Балдин
Биолог, преподаватель, Физик, преподава- (LXF100/101), их нет. «Одиночные» объекты трактуются как векторы
сотрудник американс- тель, научный сотруд- из одного элемента.
кого университета ник ИЯФ им. Будкера, Вот так можно проверить, вектор ли перед нами:
Айдахо, использующий профессионально
> is.vector(x)
R для обработки занимается обработ-
[1] TRUE
информации во всех кой эксперименталь-
своих проектах, начи- ных данных в области Вообще говоря, в R есть множество функций вида is.что-то()
ная с 2001 года. физики высоких для подобной проверки, а ещё есть функции вида as.что-то() – мы
Русский переводчик R. энергий. Давний сто- будем использовать их далее по тексту. Называть объекты можно, в
ронник свободного
принципе, как угодно, но лучше придерживаться некоторых простых
ПО, впечатлённый
мощью R. правил:
Использовать для названий только латинские буквы, цифры и точку
(имена объектов не должны начинаться с точки или цифры);
В
статистике, данные принято делить на различные типы, в зависи- Помнить, что R чувствителен к регистру: X и x – это разные имена;
мости от того, насколько близко их можно представить при помо- Не давать объектам имена, уже занятые распространенными функция-
щи известной метафоры числовой прямой. Например, возраст ми (типа c()), а также ключевыми словами (особенно T, F, NA, NaN, Inf).
человека легко выразить подобным образом, за тем исключением, что он Для создания «искусственных» векторов очень полезен оператор :,
не может быть отрицательным. Размер ботинок представить уже слож- а также функции seq() и rep().
нее, поскольку между двумя соседним размерами, как правило, не бывает
Факторы
промежуточного значения, в то время как между двумя любыми числами
на числовой прямой всегда можно найти нечто промежуточное. Зато раз- Для обозначения категориальных данных в R есть несколько способов,
меры можно хотя бы расположить по возрастающей или по убывающей. разной степени «правильности». Во-первых, можно создать текстовый
А вот c полом человека так уже не получится: есть только два значения, (character) вектор:
и «промежуточного» просто не бывает. Мы, конечно, можем обозначить > sex <- c( “male”, “female”, “male”, “male”,
женский пол единицей, а мужской – нулем (или двойкой), но никакой + “female”, “male”, “male”)
числовой информации эти обозначения нести не будут – их даже нельзя > is.character(sex)
отсортировать. Есть ещё и другие специальные виды данных, например, [1] TRUE
углы, географические координаты, даты и т.п., но все они так или иначе > is.vector(sex)
могут быть представлены с помощью чисел. Таким образом, наиболее [1] TRUE
принципиальное различие между типами данных – возможность или > str(sex)
невозможность отобразить их на числа. Если этого сделать нельзя, такие chr [1:7] “male” “female” “male” “male” “female” “male” ...
данные принято называть категориальными. Статистические законы, а Предположим, что sex – это описание пола сотрудников небольшой
значит, и статистические программы, работают с этими данными, толь- организации. Вот как R выводит содержимое этого вектора*:
ко если заранее указан их тип. Остальные типы данных в разных книгах > sex
называют по разному: числовые, счётные, порядковые или некатегори- [1] “male” “female” “male” “male” “female” “male” “male”
альные. Мы же примем название «числовые», как самое простое. Наверное, пора раскрыть загадку единицы в квадратных скобках –
это просто номер элемента вектора. Вот как его можно использовать :
Числовые векторы
> sex[1]
Допустим, у нас есть данные о росте семи сотрудников небольшой [1] “male”
компании. Вот так можно создать из этих данных простейший вектор: «Умные», то есть объект-ориентированные команды R кое-что
> x <- c(174, 162, 188, 192, 165, 168, 172) «понимают» про объект sex, например, команда table() выводит:
x – это имя объекта R, <- – функция присвоения, c() – функция созда- > table(sex)
ния вектора (от англ. «concatenate», собрать). Собственно, R и работа- sex
ет, в основном, с объектами и функциями. У объекта может быть своя female male
структура: 2 5
* Да-да, квадратные скобки – это тоже команда. Можно это проверить, набрав помощь ?”[“.
Месяц назад Мы научились загружать в R данные и строить по ним графики.
86 Linux Format Март 2008
