Меню Рубрики

Установка sarg ubuntu server

Для системного администратора

Настройка SARG

На данный момент имеем полностью настроенный Squid, но расслабляться пока еще рано. В одно прекрасное утро начальство захочет узнать, на каких сайтах бывают сотрудники компании, и сколько времени они там проводят.

Всю нужную информацию можно найти в логах сквида, но считать вручную вроде:

$ sudo tail -f /var/log/squid/access.log | awk ‘

Хотя и вполне реально, но уж очень не удобно, да и не нужно. Для этого прокси-сервера написано невероятное количество анализаторов логов. Одним из самых популярных решений является SARG (Squid Analysis Report Generator), который выдает подробную статистику по пользователям. На сайте проекта sarg.sf.net, кроме исходных текстов, можно найти пакеты для большого количества систем: Gentoo, RedHat/Fedora, Debian, Slackware, SUSE, *BSD, Mac OS X и даже Windows с OS/2. Хотя в репозитариях пакетов большинства дистрибутивов все, что нужно, уже есть. Для просмотра отчетов SARG нам понадобится веб-сервер. В Ubuntu/Debian вводим:

$ sudo apt-get install sarg apache2

В Ubuntu настройки Apache можно не трогать, все будет работать с параметрами по умолчанию. В различных дистрибутивах и операционных системах файлы могут быть помещены в разные каталоги. В Ubuntu место дислокации – /etc/squid, конфигурационный файл называется sarg.conf.

$ sudo mcedit /etc/squid/sarg.conf

# Указываем язык, возможные значения: Russian-koi8,
# Russian_UTF-8, Russian-windows1251
language Russian_UTF-8
charset Cyrillic

# Файл со статистикой, обрати внимание, что в некоторых
# дистрах каталоги для Squid 3.0 называются squid3
access_log /var/log/squid3/access.log

# Включаем построение графиков
graphs yes
graph_days_bytes_bar_color green

# При необходимости можно ограничить просмотр отчетов
# password /etc/squid/sarg.passwd

# Каталог, в который помещаются отчеты
output_dir /var/www/squid-reports

# Сортировка юзеров в выводе по USER CONNECT BYTES TIME
topuser_sort_field BYTES reverse
user_sort_field BYTES reverse

# Установка лимита в мегабайтах, пользователи, превысившие его, попадают в файл блокировок
# per_user_limit /etc/squid/sarg.user-deny 300

# Тип отчета, включаем все
report_type topusers topsites sites_users users_sites date_time denied auth_failures site_user_time_date downloads

# Для удобства можно конвертировать логины и IP-адреса в реальные имена
# (файл должен содержать записи вида “userid/IP-address имя”)
usertab /etc/squid/sarg.usertab

Если output_dir находится вне корневого каталога Apache, в apache2.conf необходимо создать алиас с указанием пути и дать нужные права. К сожалению, при помощи per_user_limit можно указать лимит один на всех, без учета пользователей и групп.
Создание отчетов производится при помощи скрипта /usr/sbin/sarg-reports, который запускается при помощи cron:

$ sudo crontab –e

00 08-18/1 * * * sarg-reports today
00 00 * * * sarg-reports daily
00 01 * * 1 sarg-reports weekly
30 02 1 * * sarg-reports monthly

Теперь открываем браузер и заходим на страницу отчетов.

В последнее время вместо SARG многие рекомендуют использовать Free-SA (free-sa.sf.net).

Он более легок, имеет большую скорость создания отчетов, в перспективе кроме Squid, Postfix, Qmail и CGP будут поддерживаться журналы других серверов. Еще один быстрый конкурент – (lightsquid.sf.net) – прост в установке и по сравнению с SARG занимает меньше места на жестком диске.

У нас Вы найдете как новинки кинопроката, так и старые фильмы всех жанров! Только у нас Вы можете качать фильмы со скоростью более 400Мегабит в секунду! В нашей базе более 2000 фильмов!

Этот пост November 1, 2008 at 12:00 pm опубликовал molse в категории Linux, Ubuntu, Администрирование. Желающие могут оформить RSS подписку на комменты. Both comments and trackbacks are currently closed.

One Comment

День добрый.
Столкнулся с проблемой при конфигурированиb SARG.
Суть проблемы: авторизация на SQUID сделана по ncsa.
Имме файл для USERTAB в котром сперва логин, через пробел ФИО пользователя.
Вся связка на одно сервере работает нормально. Все отображает
Через год установаливаю новый сервер. Переношу на него конфиги со старого и имею проблему: в статистике где обший список пользователей – указаны логины пользователей, а не расшифоровк. Если войти в детальную статистику – то там показывается ФИО.
Как сделать что бы и в общем списке было расшифровка ФИО ?

источник

Записки IT специалиста

Технический блог специалистов ООО»Интерфейс»

SARG — анализируем логи прокси-севера Squ >

  • Автор: Уваров А.С.
  • 21.03.2011

Одним из насущных вопросов для системного администратора является получение статистики использования интернета в организации. Располагая такими данными всегда можно ответить на вопрос руководства «куда ушел весь интернет», обосновать необходимость расширения канала, своевременно выявлять и пресекать нежелательный трафик. Сегодня мы рассмотрим такое решение для нашего роутера на платформе Ubuntu Server.

Основной интересующий нас тип траффика — HTTP, который составляет львиную долю входящего интернет-трафика в организации и наиболее интересен, так как позволяет судить об активности и предпочтениях пользователей (а также о том, как они проводят рабочее время). Все необходимые нам данные имеются в логах прокси-сервера Squid, но не будем же мы просматривать их вручную! Необходим инструмент, позволяющий анализировать и предоставлять отчеты на основе этих логов. Одним из таких инструментов является SARG — Squid Analysis Report Generator, что и отражено в его названии.

Приступим. Прежде чем браться за установку SARG необходимо подготовить сервер, данная утилита выдает отчеты в формате HTML и для работы с ними потребуется установленный веб-сервер. Если вы не собираетесь использовать роутер в качестве полноценного веб-сервера, то будет вполне достаточно легкого сервера lighttpd:

Сервер начинает работать сразу после установки, для проверки наберите в браузере адрес сервера и вы увидите стандартную страницу. По умолчанию lighttpd принимает соединения на всех интерфейсах, что нас никоим образом не устраивает, ограничим его работу внутренней сетью. Открываем конфигурационный файл /etc/lighttpd/lighttpd.conf, находим и приводим к следующему виду опцию:

где 10.0.0.1 — внутренний адрес роутера, также не забудьте раскомментировать эту строку и перезагрузить веб-сервер:

Настройка анализатора логов довольно проста и сводится к выбору языка, кодировки и формата отчета, а также пути для его размещения. Все изменения вносим в файл /etc/sarg/sarg.conf:

Также находим и комментируем строку:

Теперь можем проверить работу анализатора:

После того как утилита закончит работу набираем в браузере http://10.0.0.1/squid-reports, вы должны увидеть следующую страницу:

По умолчанию SARG формирует отчет за весь доступный период, отчет содержит детализацию по пользователям (адресам) и посещенным ими сайтам, использованию трафика и кэша, загрузкам. Отдельно можно просмотреть наиболее посещаемые сайты, данный отчет сортирует сайты не по трафику, а по количеству посещений.

По каждому пользователю можно получить исчерпывающую статистику:

Можно также просмотреть график потребления трафика и статистику работы по датам и времени.

Если есть желание, можете настроить отображение отчетов по собственному вкусу, конфигурация SARG использует для задания параметров вывода отчетов стандартные HTML теги и неплохо документирована. Если вы владеете HTML на базовом уровне, эта операция не должна вызвать у вас затруднений.

Анализатор настроен и работает, это хорошо. Но запускать его каждый раз вручную не очень интересно, поэтому настроим систему на получение ежедневных, еженедельных и ежемесячных отчетов. Для этого откроем файл /etc/sarg/sarg-reports.conf и укажем путь для размещения отчетов, а также адрес и ссылку для логотипа.

Учтите, что изображение логотипа должно находиться в пределах корневой папки веб-сервера (/var/www) и пути указываются от корня веб-сервера, а не файловой системы.

Теперь зададим расписание для формирования отчетов, которое необходимо добавить в /etc/crontab

Данное расписание означает, что каждый час с 9:00 до 18:00 (рабочий день организации) запускается скрипт формирования ежедневной статистики, каждый день в 22:00 формируется статистка за день, в 22:30 Воскресенья — статистка за неделю и первого числа каждого месяца в 23:30 статистика за месяц.

источник

Анализируем трафик Squ > 08.09.2016 Автор:Жаконда

В этой статье мы разобрали как развернуть прокси-сервер Squid 3.5.19 на Ubuntu 14.04 Trusty Tahr . В этой статье мы разберем как развернуть анализатор логов прокси-сервера Squid и просмотр сформированных с помощью Sarg логов в удобном для нас виде через Web браузер.

Разворачивать я буду Sarg на той же машине где и стоит Squid, ОС используемая Ubuntu 14.04 Trusty Tahr. Устанавливать Sarg будем из репозитариев Ubuntu. На момент написания статьи в репозитария доступна 2.3.6 версия Sarg.

Первым делом обновляем систему до актуального состояния

Устанавливаем Sarg

После установки выполним конфигурацию Sarg. Выполним резервное копирование файла конфигурации.

Я делаю конфигурацию на чистом файле, мне так удобней. Но на всякий случай у нас есть бекап оригинального файла конфигурации. Удаляю оригинальный файл конфигурации.

И создаю пустой файл конфигурации

Вот мой итоговый конфиг Sarg

Теперь создадим файлы зависимости которые мы указывали в нашем конфигурационном файле.

exclude_hosts — вносим IP адреса тех людей которых не хотим отображать в отчете

exclude_users — вносим пользователей который не хотим отображать в отчете

С установкой Sarg и его настройкой разобрались. Теперь нужно настроить apache чтобы удобно просматривать сформированные отчеты через Web браузер. Если при установке Ubuntu 14.04 вы не указывали устанавливать LAMP сервер, то его нужно установить.

[tip]Подсказка: Для установки LAMP выполним команду:

sudo tasksel install lamp-server

При установке будет запрошен пароль для создания администратора БД MySQL.[/tip]

Первым делом в конфиге apache пропишем имя сервера, дабы он не ругался на его отсутствие.

[tip]Заметка: Вместо srv-squid пишите свое название вашей машины[/tip]

Создадим необходимые каталоги

Создадим виртуальный хост

Отредактируем файл настройки виртуальных хостов, открываем файл

Сохраняем и закрываем файл конфигурации Ctrl+O и Ctrl+X

Включаем созданный нами вирутальный хост

Все готово, apache настроен. Теперь запустим создание отчета Sarg и проверим что у нас получилось.

Открываем браузер и переходим на http:// /sarg. И смотрим что у нас получилось.

Таблица с пользователями Squid, если нажать на IP адрес, то можно увидеть детальную статистику по каждой машине.

Вывод детальной статистике посещений сайтов.

Мы и разобрали как формировать и удобно просматривать отчеты работы Squid через утилиту Sarg.

Теперь немного разберем как создавать ежедневные, еженедельные и ежемесячные отчеты. Для этого случая у Sarg имеется утилита sarg-reports. Первым делом настроим ее. Открываем для правки конфигурационный файл /etc/sarg/sarg-reports.conf

sudo nano /etc/sarg/sarg-reports.conf

По большому счету в данном конфиге нас интересуют только вот эти важные пункты SARG= (путь к исполняемому файлу Sarg), CONFIG= (путь к конфигурационному фалу Sarg), HTMLOUT= (путь куда выгружать сформированные отчеты). Все остальные носят только косметический и информационных характер, не влияющий на процесс формирования отчета.

источник

Настройка интернет шлюза для небольшого офиса CentOS, Iptables, NAT, Squid Transparent, Sarg

Прошли времена, когда в нашем офисе было 2 компьютера, и DSL модем на 4 порта с интернетом в 2 мегабита
спасал ситуацию. Сейчас в офисе 5 рабочих машин и 1 сервер для задач разработчиков.

При соединении всех в свич со стандартным Tp Link шлюзом, если кто начинал качать, интернет зависал у всех. Было принято решение создать свой шлюз интернета, с шейпером трафика, DNS, DHCP и статистикой ( squid + sarg) и прокси.

В качестве сервера был выбран DualCore pentium, 4 GB RAM с установленной на борту CentOS 6.4 minimal.
Итак, приступим к конфигурации нашего будущего интернет шлюза.

Задача стоит, настроить:
Раздачу интернета через NAT (iptables, htb), DHCP,DNS, HTTPD, NGINX, SARG

Первый шаг, установка необходимого базового софта

Добавим необходимые репозитории

Установим софт для сборки

Установим другие необходимые утилиты

Второй шаг, установка nginx
Третий шаг, установка httpd

Для Апача поставим APR, APR-UTIL, PCRE
Установка APR

Поправим httpd.conf к такому виду:

Создадим файл для запуска:

Четвертый шаг, настройка раздачи интернета

На сервере установлено два сетевых интерфейса:
eth0 — Интернет от провайдера
eth1 — Наша локальная сеть

Создаем файл /iptables с содержимым:

Даем права на запуск файла:

Редактируем сетевой интерфейс:

GATEWAY — айпи eth0 интерфейса

Пятый шаг, настройка dhcpd

Устанавливаем его через yum

Здесь мы указали dns сервер, айпи нашего шлюза. В качестве DNS логично использовать что то простое, я выбрал dnsmasq

Шаг шестой, настройка dns сервера

DHCP у нас уже установлен, остальной функционал нам не нужен, конфиг файл довольно простой по принципу включать только то, что нужно

В /etc/hosts для нашей локальной сети необходимы были некоторые хосты:

SARG — генератор логов для SQUID

Шаг седьмой, установка squid

Конфигурационный файл правим до такого состояния:

Шаг восьмой, установка sarg

Т.к в нашей локальной сети не важны настройки, стандартные вполне подходят, единственное нужно было указать папку, куда сохранять логи, правим конфигурационный файл до такого состояния:

SARG желательно добавить в крон, что бы он каждый день сохранял статистику. Генерация логов производится запуском команды:

Шаг девятый, настройка HTB

Настройки шейпера зависят от ваших нужд. В нашем случае исходные данные были:
Ширина канала: 6Mbit/sec
Пользователей: 5
Примечание: Пользователи редко скачивают, часто «серфят» в интернете.

eth1 — Корневой файл нашего интерфейса
# — Точность шейпера

eth1-2.root — Задаем правила для всей цепочки

eth1-2:06.astraPC1 — Файл для машины, для удобства расширение файла — хост компьютера, а префикс — последний октет айпи

Остальные файлы сделаны по аналогии.

источник

Установка sarg ubuntu server

Squid — программный пакет, реализующий функцию кеширующего прокси-сервера для протоколов HTTP, FTP, Gopher и (в случае соответствующих настроек) HTTPS. Разработан сообществом как программа с открытым исходным кодом (распространяется в соответствии с GNU GPL). Все запросы выполняет как один неблокируемый процесс ввода/вывода. Используется в UNIX-системах и в ОС семейства Windows NT. Имеет возможность взаимодействия с Active Directory Windows Server путём аутентификации через LDAP, что позволяет использовать разграничения доступа к интернет ресурсам пользователей, которые имеют учётные записи на Windows Server, также позволяет организовать «нарезку» интернет трафика для различных пользователей.

Sarg (Squid Analysis Report Generator) — генератор отчетов на основании анализа лог-файла прокси сервера Squid. Отчеты позволяют выяснить какой пользователь в какое время обращался к какому сайту.Суммарный отчет может оказать большую помощь в тарификации работающих через Squid пользователей, так как включает в себя суммарный трафик и число коннектов для каждого пользователя за определенный период времени.

Установка и настройка Squid

Существует две версии Squid — 2.x и 3.x. Последняя бета версия — 3.1. Мы будем ставить третью ветку прокси-сервера. На момент написания статьи, стабильной версией была 3.0.STABLE15.

Пока искал описания всех опций на английском, понял, что если опция не будет использована в течении месяца, то ставить ее нет смысла, т.к. если я правильно понял, то часть опций, начиная с релиза 3.1 будут активироваться в конфиге (например SQUID_PINGER). По этому, я не стал отмечать те опции, которые не планирую использовать после начальной конфигурации. Иными словами, мне нужен простой кеширующий прокси сервер.

В опциях установки я выбрал SQUID_SSL, SQUID_IDENT, SQUID_PF, SQUID_KQUEUE.

Все конфигурационные файлы squid находятся в папке /usr/local/etc/squid/
Директория с кешем: /usr/local/squid/cache/
Логи пишутся в /usr/local/squid/logs/

Добавляем следующую строчку в /etc/rc.conf:

Перед началом работы, надо инициализировать директории с кешем. Делается это командой:

Команду надо выполнять от пользователя root или squid. И выполнять ее надо после того, как вы создали готовый конфигурационный файл, а то могут выдаваться ошибки.

По умолчанию, конфигурация Squid будет запрещать всем доступ к proxy-серверу. Чтобы это изменить, надо отредактировать параметры http_access в файле /usr/local/etc/squid/squid.conf.

Документация рекомендует перед началом работы всегда проверять конфигурационный файл на наличие ошибок командой:

Первоначальный файл конфигурации представляет из себя файл, где все установлено по умолчанию. Как сказано в документации, если вы не будете менять какую-то опцию и хотите ее значение по умолчанию, то не надо ее раскомментировать. Из-за этого могут быть ошибки во время выполнения. Так же, надо знать, что значение NONE иногда означает, что не надо использовать вообще никакое значение определенной опции, а иногда является валидной опцией. Так что, если есть недопонимания того или иного параметра в конфигурационном файле, следует обратиться к официальной документации (ссылку на сайт с документацией можно найти в самом низу статьи).

В конфигурационном файле предусмотрено использование директивы include для подключения дополнительных конфигурационных файлов, например:

Следует учитывать, что количество уровней include ограничено 16. Сделано это для того, чтобы предотвратить «петли», когда Squid бесконечно включал файлы конфигурации, указанные в других файлах.

Моя конфигурация будет актуально для сетей, где Squid в связке с PF используется в качестве прозрачного прокси-сервера (transparent proxy). Весь доступ будет открыт из внутренней локальной сети и закрыт всем извне. По этому, никакие параметры авторизации использоваться не будут. Так же, т.к. это прозрачные прокси-сервер, то надо перенаправлять все запросы через PF на порт 3128.

Так же, надо помнить, что по умолчанию Squid принимает запросы на порте 3128.

Теперь, когда покончено с небольшой теоретической частью, пора приступать к конфигурационной части. В целях экономии места, здесь я буду указывать лишь те параметры, которые я менял, и те параметры, на которые стоит обратить внимание. Итак, приступим. Файл конфигурации:

И вот теперь стоит инициализировать директории с кешем. Чтобы его сделать «прозрачным», надо в конфигурационный файл Packet Filter /etc/pf.conf добавить следующую строчку:

Напоминаю, что пример настройки PF можно посмотреть тут.

Проблемы, с которыми я столкнулся

1. При переадресации заменяется ip-адрес отправителя, адресом сервера. Т.е. например, если я (192.168.0.3) пытаюсь через прокси подключиться к 192.168.0.10:8080 (веб сервер), но при этом, на веб-сервере стоит ограничение на подключение только с IP 192.168.0.3, то подключение НЕ произойдет. Т.к. в логах будет написано, что подключение шло с адреса 192.168.0.10. Способа решения два. Первый — это заморачиваться с NAT, второй — просто поправить конфиг Apache. Ведь прокси сервер все равно запрещен для пользования из вне. Мы лишь теряем защиту сайта в локальной сети. Что, конечно же, не очень хорошо, но терпимо.

Установка и настройка Sarg

Сразу приступим к установке:

Единственная доступная опция установки — GD. Отмечаем ее. GD — это графическая библиотека, скорее всего отвечает за отображение красивых графиков. Если выскочет окошко, где надо будет выбрать опции установки для GD, то не надо ничего выбирать.

Все конфигурационные файлы лежат в /usr/local/etc/sarg/. Нам нужен файл sarg.conf, открываем его в любом редакторе и приводим примерно вот к такому виду:

Все! Теперь, чтобы сгенерировать отчеты, надо лишь выполнить команду:

Чтобы постоянно не выполнять эту команду, можно добавить следующую запись в crontab. Sarg будет запускаться каждый день в полночь.

источник

Читайте также:  Установка автосигнализации с автозапуском на шкоду

Добавить комментарий