├── .gitignore ├── connstr ├── 1C_erf ├── АнализЖурналовРегистрацииПоБД_Clickhouse.erf └── Сервис_агрегации_данных_журналов_регистрации_1С_в_СУБД_Yandex_ClickHouse.pptx ├── log-exporter ├── Dockerfile └── entrypoint.sh ├── one-more-collector.yml ├── docker-compose.yml ├── LICENSE └── README.md /.gitignore: -------------------------------------------------------------------------------- 1 | **/.idea/* 2 | **/.vscode/* 3 | **/log-exporter/app/* -------------------------------------------------------------------------------- /connstr: -------------------------------------------------------------------------------- 1 | Driver=ClickHouse ODBC Driver (Unicode); 2 | Host=localhost; 3 | Port=8123; 4 | User=default; 5 | Database=v8logs -------------------------------------------------------------------------------- /1C_erf/АнализЖурналовРегистрацииПоБД_Clickhouse.erf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Dach-Coin/CllickHousePlayground/HEAD/1C_erf/АнализЖурналовРегистрацииПоБД_Clickhouse.erf -------------------------------------------------------------------------------- /1C_erf/Сервис_агрегации_данных_журналов_регистрации_1С_в_СУБД_Yandex_ClickHouse.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Dach-Coin/CllickHousePlayground/HEAD/1C_erf/Сервис_агрегации_данных_журналов_регистрации_1С_в_СУБД_Yandex_ClickHouse.pptx -------------------------------------------------------------------------------- /log-exporter/Dockerfile: -------------------------------------------------------------------------------- 1 | FROM mcr.microsoft.com/dotnet/runtime:5.0 2 | 3 | COPY ./app /opt/EventLogExporter 4 | COPY entrypoint.sh /opt/EventLogExporter/ 5 | 6 | RUN chmod +x /opt/EventLogExporter/entrypoint.sh 7 | 8 | WORKDIR /opt/EventLogExporter 9 | ENTRYPOINT /opt/EventLogExporter/entrypoint.sh -------------------------------------------------------------------------------- /log-exporter/entrypoint.sh: -------------------------------------------------------------------------------- 1 | #/bin/bash 2 | 3 | export CLICKHOUSE__CONNECTIONSTRING="Host=$CH_HOST;Port=$CH_PORT;Username=default;password=!QAZ1qaz;" 4 | echo Clickhouse Connection = $CH_HOST:$CH_PORT 5 | dotnet /opt/EventLogExporter/EventLogExportersManager.dll --ClickHouse:ConnectionString=$CLICKHOUSE__CONNECTIONSTRING -------------------------------------------------------------------------------- /one-more-collector.yml: -------------------------------------------------------------------------------- 1 | version: "3.3" 2 | services: 3 | collector2: 4 | build: ./log-exporter 5 | image: v8logexporter 6 | environment: 7 | CH_HOST: clickhouse 8 | CH_PORT: 8123 9 | volumes: 10 | - "D:/1C_srvinfo/8.3.18.1433/reg_1541:/var/logdata" 11 | depends_on: 12 | - clickhouse -------------------------------------------------------------------------------- /docker-compose.yml: -------------------------------------------------------------------------------- 1 | version: "3.3" 2 | services: 3 | clickhouse: 4 | image: yandex/clickhouse-server 5 | ulimits: 6 | nofile: 7 | soft: 262144 8 | hard: 262144 9 | ports: 10 | - "8123:8123" 11 | volumes: 12 | - "clickhouse-data:/var/lib/clickhouse" 13 | restart: always 14 | click-ui: 15 | image: spoonest/clickhouse-tabix-web-client 16 | environment: 17 | CH_NAME: 1C_Logs 18 | CH_HOST: localhost:8123 19 | depends_on: 20 | - clickhouse 21 | ports: 22 | - "8085:80" 23 | restart: always 24 | collector: 25 | build: ./log-exporter 26 | image: v8logexporter 27 | environment: 28 | CH_HOST: clickhouse 29 | CH_PORT: 8123 30 | volumes: 31 | - "D:/1C_srvinfo/8.3.18.1289/reg_2541:/var/logdata" 32 | depends_on: 33 | - clickhouse 34 | restart: always 35 | volumes: 36 | clickhouse-data: -------------------------------------------------------------------------------- /LICENSE: -------------------------------------------------------------------------------- 1 | MIT License 2 | 3 | Copyright (c) 2021 Andrei Ovsiankin 4 | 5 | Permission is hereby granted, free of charge, to any person obtaining a copy 6 | of this software and associated documentation files (the "Software"), to deal 7 | in the Software without restriction, including without limitation the rights 8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 9 | copies of the Software, and to permit persons to whom the Software is 10 | furnished to do so, subject to the following conditions: 11 | 12 | The above copyright notice and this permission notice shall be included in all 13 | copies or substantial portions of the Software. 14 | 15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE 21 | SOFTWARE. 22 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # Сверхбыстрый Журнал Регистрации 1C с помощью Yandex Clickhouse 2 | 3 | Скрипты из видео с канала "Веселый1С": https://youtu.be/HnZ0Of-YpW0 4 | 5 | Экспортер файлов ЖР: https://github.com/akpaevj/OneSTools.EventLog 6 | 7 | Скрипты доработаны для экспорта файлов ЖР серверных баз кластера 1С. 8 | 9 | Для установки и запуска выполнить: 10 | 11 | - Скачать релиз `OneSTools.EventLog` и распаковать в папку `log-exporter/app/` 12 | 13 | - Файл `appsettings.json` должен выглядеть так: 14 | 15 | ```json 16 | 17 | { 18 | "Logging": { 19 | "LogLevel": { 20 | "Default": "Debug", 21 | "Microsoft": "Warning", 22 | "Microsoft.Hosting.Lifetime": "Information" 23 | } 24 | }, 25 | "Manager": { 26 | "ClstFolders": [ 27 | { 28 | "Folder": "/var/logdata", 29 | "Templates": [ 30 | { 31 | "Mask": "", 32 | "Template": "[IBNAME]_reglogs" 33 | } 34 | ] 35 | } 36 | ] 37 | }, 38 | "Exporter": { 39 | "StorageType": 1, 40 | "Portion": 10000, 41 | "TimeZone": "Europe/Moscow", 42 | "WritingMaxDegreeOfParallelism": 1, 43 | "CollectedFactor": 3, 44 | "ReadingTimeout": 1, 45 | "LoadArchive": false 46 | }, 47 | "ClickHouse": { 48 | "ConnectionString": "" 49 | } 50 | } 51 | 52 | ``` 53 | 54 | - В `docker-compose.yml` указать свой путь к каталогу кластера 1С (`collector-volumes`) 55 | 56 | - Выполнить `docker compose up -d` 57 | 58 | - Подключиться к консоли `Tabix`: http://localhost:8085 59 | 60 | ## Примечание 61 | 62 | В строке подключения к ClickHouse для пользователя `default` задан пароль (перед компоновкой можно установить любой свой). 63 | А контейнер с сервером ClickHouse поднимается из образа, в котором никакой пароль не задан. 64 | Поэтому, после компоновки контейнеров, нужно остановить сервис `collector`, далее в файловой системе контейнера `clickhouse` изменить файл: `/etc/clickhouse-server/users.xml` (добавить пароль внутри тегов `password`). 65 | После чего перезапустить контейнер `clickhouse` и запустить контейнер `collector` 66 | 67 | ## Дополнение: как поднять несколько экземпляров экспортера (каждый из которых "прослушивает" свой каталог кластера 1С) 68 | 69 | В общем случае, на одном и том же хосте можно поднять несколько контейнеров с сервисом `collector`. 70 | Пример можно посмотреть в файле `one-more-collector.yml`. 71 | Последовательность действий остается той же самой: должен быть уже создан контейнер с ClickHouse Server, затем на него можно "завязать" произвольное количество экспортеров (каждый из которых должен анализировать свой собственный каталог кластера 1С). 72 | 73 | Для создания еще одного контейнера с сервисом `collector` следует переименовать файл `one-more-collector.yml` в `docker-compose.yml`. 74 | Необходимо убедиться, что имя нового контейнера отличается от имен ранее созданных аналогичных контейнеров (секция файла "services"). 75 | При совпадении имен вместо создания нового контейнера система пересоберет существующий. 76 | 77 | Команда для создания еще одного экземпляра `collector` (без запуска после создания): `docker compose up -d --no-start` 78 | 79 | Таким образом, хост с N сервисов `collector` может экспортировать данные из N каталогов кластеров 1С в одну и ту же БД ClickHouse. Главное условия - имена ИБ 1С в них должны различаться. 80 | 81 | ## Внешний отчет для работы с данными журналов регистрации 1С непосредственно в режиме Предприятия 82 | 83 | [АнализЖурналовРегистрацииПоБД_Clickhouse](/1C_erf/АнализЖурналовРегистрацииПоБД_Clickhouse.erf) 84 | 85 | Данный отчет универсален и может работать в любой конфигурации 1С, даже в пустой. 86 | Для http-запросов к Clickhouse используется функционал подсистемы "Коннектор": https://github.com/vbondarevsky/Connector 87 | 88 | Если просматривать записи журнала в "родной" для этих записей базе - будет доступно преобразование уникальных идентификаторов в ссылки на объекты. 89 | 90 | Доработки отчета могут быть произведены простым добавлением новых вариантов, как в пользовательском режиме, так и созданием предопределенных (в конфигураторе). "Движок" отчета построит запрос к Clickhouse с учетом выбранных полей и настроенных отборов. 91 | 92 | Сохранена вся функциональность СКД (отборы, расшифровки, детализация и т.д.) 93 | В конфигурациях на базе БСП дополнительно будут работать варианты отчета, связанные с отображением изменений пользователей ИБ (изменение прав, реквизитов). При выполнении детализаций все отборы из "родительского" отчета наследуются "дочерним" (плюс прибавляется указанный новый отбор). В этом случаем удобно просматривать общую таблицу записей журнала и по ПКМ открывать новый отчет (в соседнем окне), с фильтром на значение любой колонки. 94 | 95 | Несмотря на то, что отчет позволяет получать и отображать 500к+ записей - не рекомендуется использовать эту возможность в рабочих ИБ (так как это приводит к перерасходу ОЗУ клиентом 1С и к перерасходу ОЗУ самим Clickhouse - вплоть до падения его сервиса). 96 | 97 | Скриншоты работы с отчетом можно посмотреть здесь: 98 | [Описание_сервиса](/1C_erf/Сервис_агрегации_данных_журналов_регистрации_1С_в_СУБД_Yandex_ClickHouse.pptx) 99 | --------------------------------------------------------------------------------