Реализованы сервисы ВМ2 - проверка сообщений и синхронизация с Б24 (деплой еще без перевода в боевой режим)

backlog.md

@@ -15,98 +15,68 @@
 ## На главном экране две кнопки: чат и звонок оператору. На кнопке с чатом уведомление при наличии непрочитанных сообщений.
 
 # Закрыто 28.07-03.08
-## Подключить OTLP-провайдер
-## Отправлять на UI информацию разные ошибки при попытках авторизации в зависимости от события: код неверен, истёк или уже использован; превышен лимит попыток авторизации, попробуйте через 24 часа (в случаях превышения otp.phone.max_send_attempts_per_24h); превышен лимит неуспешных авторизаций, начните процедуру заново (в случае превышения otp.phone.max_verify_attempts). 
-## При отрицательном результате проверки сообщения через message-safety, если сообщение отправлялось с главного экрана, то пользователь не переводится в чат, ему под окном главного экрана выпадает сообщение об ошибке. Не на всех устройствах это видно. Воспринимается как UX-дефект. Как надо: вне зависимости от решения message-safety, если пользователь отправил сообщение, то он переводится на экран с чатом. Далее, сейчас отрицательный результат message-safety выводится пользователю как техническая ошибка (красным цветом под полем ввода сообщения) и опять же воспринимается не как бизнес-логика, а как техническая ошибка. Это поведение нужно поменять. Если сообщение пользователя не прошло проверку, нужно ему в окне чата прислать ответ: Для сообщений: К сожалению, ваше сообщение не соответствует правилам данного чата и не может быть отправлено. Попробуйте переформулировать. Для документов: К сожалению, ваш документ не прошел проверку и не может быть доставлен. 
+## #MONITORING Подключить OTLP-провайдер (Signoz)
+## #UI Отправлять на UI информацию разные ошибки при попытках авторизации в зависимости от события: код неверен, истёк или уже использован; превышен лимит попыток авторизации, попробуйте через 24 часа (в случаях превышения otp.phone.max_send_attempts_per_24h); превышен лимит неуспешных авторизаций, начните процедуру заново (в случае превышения otp.phone.max_verify_attempts). 
+## #UI При отрицательном результате проверки сообщения через message-safety, если сообщение отправлялось с главного экрана, то пользователь не переводится в чат, ему под окном главного экрана выпадает сообщение об ошибке. Не на всех устройствах это видно. Воспринимается как UX-дефект. Как надо: вне зависимости от решения message-safety, если пользователь отправил сообщение, то он переводится на экран с чатом. Далее, сейчас отрицательный результат message-safety выводится пользователю как техническая ошибка (красным цветом под полем ввода сообщения) и опять же воспринимается не как бизнес-логика, а как техническая ошибка. Это поведение нужно поменять. Если сообщение пользователя не прошло проверку, нужно ему в окне чата прислать ответ: Для сообщений: К сожалению, ваше сообщение не соответствует правилам данного чата и не может быть отправлено. Попробуйте переформулировать. Для документов: К сожалению, ваш документ не прошел проверку и не может быть доставлен. 
 ## UX-дефект: frontend показывает «Не удалось завершить вход» при ошибке отправки отложенного сообщения, хотя вход завершён. Это следует исправить: завершать экран авторизации после bootstrap, а ошибку Bitrix показывать уже в чате (если сообщение отклонено сервисом message-safety, учесть реализацию предыдущего пункта)
-## Ограничить кол-во символов в сообщении на фронте. Показывать в моменте счетчик: n/max, где n сколько символов уже напечатано, max сколько может быть отправлено. Максимальное кол-во символов - положить в app_settings.
-## Убрать с экрана ввода номера телефона тексты согласий внизу экрана: Нажимая «Получить код», вы соглашаетесь с условиями использования и политикой конфиденциальности. Согласия пользователь дает ранее на отдельном экране.
-## Перенести секреты из .env в KM Selectel.
-## Провести аудит безопасности вм
-## Унифицированы гостевые экраны Центра уведомлений, Профиля и Чата: единый стиль сообщения о необходимости входа и кнопка «Авторизоваться».
+## #UI Ограничить кол-во символов в сообщении на фронте. Показывать в моменте счетчик: n/max, где n сколько символов уже напечатано, max сколько может быть отправлено. Максимальное кол-во символов - положить в app_settings.
+## #UI Убрать с экрана ввода номера телефона тексты согласий внизу экрана: Нажимая «Получить код», вы соглашаетесь с условиями использования и политикой конфиденциальности. Согласия пользователь дает ранее на отдельном экране.
+## #BACK_SECURE Перенести секреты из .env в KM Selectel.
+## #BACK_SECURE Провести аудит безопасности вм
+## #UI Унифицированы гостевые экраны Центра уведомлений, Профиля и Чата: единый стиль сообщения о необходимости входа и кнопка «Авторизоваться».
+## #BACK_BUSINESS Архитектурное решение принято: `message-safety` и `bitrix-sync` выносятся на самостоятельную ВМ2 с одним root Compose/nginx; Message Safety доступен privately, CRM webhook приходит напрямую на отдельный public host ВМ2; реализация/cutover остаются в задачах 16–17.
+## #BACK_SECURE Разработан архитектурный стандарт по безопасному деплою и размещению сервисов на ВМ.
+
+# Закрыто 04.08-10.08
+## #BACK_DEFECT Исправлены дублирующиеся триггеры на создание контакта для сервиса синхронизации. Исправлено создание в БД лишних задач на обновление контакта (каждый бустрап пользователя вызывал задачу на обновление контакта)
 
 # В разработку:
 
-2. После интеграции с смс провайдером, реализовать debounce механизм при авторизации - каждая след. смс можно отправить через все большее окно.
-5. Store-review вход: точечный bypass в Keycloak OTP SPI по номеру из `.env` (`STORE_REVIEW_ENABLED` / `STORE_REVIEW_PHONE` / `STORE_REVIEW_OTP`) — для этого телефона SMS не шлётся, verify принимает фиксированный OTP; остальные номера идут обычным OTP/SMS. Не путать с глобальным `KEYCLOAK_OTP_MOCK_*`. Учётные данные только в Review Notes стора (не в бинарнике/UI); пользователь с демо-контентом; в production включать только на время ревью.
-6. Хранить историю устройств, с которых пользователь входил в ЛК (Ид юзера, идентификатор устройства, дата последнего входа, способ входа - веб\приложение)
-9. Веб-пуши для PWA
-10. На кнопке Чат отображать значок наличия непрочитанных уведомлений. Требуется синхронизация между устройствами (решение, например через Dialog.client_last_opened_at)
-12. Описание бизнес сущностей: Пользователь
-12. Описание бизнес сущностей: Сообщение
-13. Вынести за пределы ВМ1 сервисы message-safety и sync-service.
-14. Сделать страницу с инструкцией по установке приложения
-15. Написать пользовательское соглашение.
-16. Разработка message-safety
-17. Разработка sync-service
-18. Разработка notification-service
-20. Поднять второй контур для продакшн
-21. Спрятать сеть за балансировщиком нагрузки
-22. Автопродление TLS падает при перезагрузке nginx; сертификат действует до 14.10.2026. (Исправить reload внутри контейнера и проверить systemctl start an-chat-ssl-renew.service до успешного завершения.)
-23. WireGuard-only SSH.
-26. Запрет входа под root: В /etc/ssh/sshd_config установите PermitRootLogin no. Заходите под обычным пользователем (например, deploy) и используйте sudo для админских задач.
-27. Удалите все ненужные пакеты, компиляторы (gcc, make) и сервисы. Чем меньше программ на сервере, тем меньше потенциальных уязвимостей.
-28. Монтирование с флагами безопасности: Разделы диска (особенно /tmp и /var/tmp) следует монтировать с флагами noexec (запрет запуска исполняемых файлов) и nosuid (игнорирование битов setuid).
-29. Systemd-ограничения: используйте директивы в юните
-    NoNewPrivileges=yes       # Запрещает повышение привилегий через setuid
-    ProtectSystem=strict      # Делает всю ОС доступной только для чтения
-    PrivateTmp=yes            # Дает процессу свой изолированный /tmp
-    ProtectHome=yes           # Скрывает домашние директории пользователей
-24. Добавить логи (Для Python-сервисов добавить OTLP Log Exporter: api-backend; sms-service; sms-worker. Подключить LoggerProvider, BatchLogRecordProcessor и bounded queue. Передавать resource attributes: service.name; service.version; deployment.environment; service.namespace=han-chat.) Экспортировать структурированные поля request_id, trace_id, span_id, severity и event name. Оставить stdout как аварийный локальный журнал. Добавить canary-тесты, запрещающие экспорт токенов, cookie, телефонов, email, текстов сообщений, SQL и object keys.). 
-25. Nginx metrics/tracing в signoz
-
-
-На будущее (после доработки отдельных функциональностей): 
-1. Определение итогового перечня мнемоник, перевод фронтенда на мнемоники, seed заливка мнемоник в БД (?)
-2. Моделирование профиля клиента.
-4. Реализовать в полноценном `bitrix-sync` обработчик `document.client_uploaded`: claim/retry/DLQ, идемпотентность по `client_document_id`, группировка по `submission_id`; до этого stub задачи не claim-ит.
-
-На анализ:
-debounce на отправку СМС (сейчас есть Фиксированный cooldownmin_seconds_between_attempts)
+1 #BACK_SECURE После интеграции с смс провайдером, реализовать debounce механизм при авторизации - каждая след. смс можно отправить через все большее окно. (сейчас есть Фиксированный cooldownmin_seconds_between_attempts)
+2. #MONITORING Настроить мониторинг в Signoz
+3. #BACK_BUSINESS Хранить историю устройств, с которых пользователь входил в ЛК (Ид юзера, идентификатор устройства, дата последнего входа, способ входа - веб\приложение)
+4. #BACK_BUSINESS Веб-пуши для PWA
+5. #UI На кнопке Чат отображать значок наличия непрочитанных уведомлений. Требуется синхронизация между устройствами (решение, например через Dialog.client_last_opened_at)
+6. #BACK_BUSINESS Описание бизнес сущностей: Пользователь
+7. #BACK_BUSINESS Описание бизнес сущностей: Сообщение
+8. #UI Сделать страницу с инструкцией по установке приложения
+9. #LEGAL Написать пользовательское соглашение.
+10. #BACK_BUSINESS Разработка Message Safety v2 по [`module-05`](modules/module-05-message-safety.md), §18 DoR/DoD и cutover gates [`module-10`](modules/module-10-deployment-runbook.md):
+    - API/OpenAPI v2, versioned `message_safety.config_versions`, configuration activation/validation и schema migrations;
+    - PostgreSQL queue/lease/fencing/deadline + Redis hot cache/rate/wakeup;
+    - Unicode normalization и versioned text rule bundle/corpus;
+    - local-only URL parser/IDNA/DNS/IP policy и cache split;
+    - immutable S3 version flow, file detectors и technical matrix;
+    - ClamAV/freshclam, signature rollback и EICAR tests;
+    - api-backend integration: `202` polling, M8, `safety.chat.blocked`, conditional promote;
+    - VM2 internal nginx/TLS/egress/collector/dashboards + root-owned emergency MOCK helper/alert;
+    - contract/security/failure/load acceptance и S3 negative gate;
+    - controlled v1→v2 cutover, rollback rehearsal и удаление stub references.
+11. #BACK_BUSINESS Разработка sync-service
+12. #INFRASTRUCTURE Перераскатить сервисы от деплоя
+13. #INFRASTRUCTURE Поднять второй контур для продакшн   
+14. #INFRASTRUCTURE Спрятать сеть за балансировщиком нагрузки
+15. #BACK_DEFECT Автопродление TLS падает при перезагрузке nginx; сертификат действует до 14.10.2026. (Исправить reload внутри контейнера и проверить systemctl start an-chat-ssl-renew.service до успешного завершения.)
+16. #INFRASTRUCTURE WireGuard-only SSH.
+17. #LEGAL Обновить документы по ПД - модель угроз и меры защиты.
+18. #LEGAL Уведомление в РКН по БД обработки ПД.
+19. #MONITORING Добавить логи (Для Python-сервисов добавить OTLP Log Exporter: api-backend; sms-service; sms-worker. Подключить LoggerProvider, BatchLogRecordProcessor и bounded queue. Передавать resource attributes: service.name; service.version; deployment.environment; service.namespace=han-chat.) Экспортировать структурированные поля request_id, trace_id, span_id, severity и event name. Оставить stdout как аварийный локальный журнал. Добавить canary-тесты, запрещающие экспорт токенов, cookie, телефонов, email, текстов сообщений, SQL и object keys.). 
+20. #MONITORING Nginx metrics/tracing в signoz
+21. #BACK_SECURE Сформулировать требования для обработки персональных данных
+22. #UI Скрыть раздел диагностики в профиле пользователя (наличие этого раздела в енв передать, как часть наследования продуктовой среды?)
+23. #BACK_BUSINESS Разработка notification-service
+24. #BACK_BUSINESS Store-review вход: точечный bypass в Keycloak OTP SPI по номеру из `.env` (`STORE_REVIEW_ENABLED` / `STORE_REVIEW_PHONE` / `STORE_REVIEW_OTP`) — для этого телефона SMS не шлётся, verify принимает фиксированный OTP; остальные номера идут обычным OTP/SMS. Не путать с глобальным `KEYCLOAK_OTP_MOCK_*`. Учётные данные только в Review Notes стора (не в бинарнике/UI); пользователь с демо-контентом; в production включать только на время ревью.
+25. #UI Реализация мнемоник: Определение итогового перечня мнемоник, перевод фронтенда на мнемоники, seed заливка мнемоник в БД (?)
+26. #INFRASTRUCTURE Развернуть Гит в облаке
+27. #BACK_BUSINESS Синхронизация документов из битрикс24 в Приложение.
+28. #INFRASTRUCTURE Зарегистрировать Conteiner registry  Selectel
+29. #BACK_BUSINESS Определить пул тестовых номеров, чтобы их было легко в Б24 отслеживать.
+30. #INFRASTRUCTURE перевести взаимодействие с signoz на TLS (сейчас OTEL_REMOTE_TLS_INSECURE=true)
 
 # Критично для релиза:
 1. Разработка message-safety
 2. Разработка sync-service
 3. Пользовательское соглашение
-4. Разработка notification-service
-5. Подключить OTLP-провайдер
-6. Починить баги
-7. Второй контур для продакшн
-
-# Переезд на тестовый домен
-**Нет — одного `.env` и новых сертификатов недостаточно.**
-
-Нужно пройти цепочку:
-
-### 1. DNS
-`A`-запись нового домена → IP ВМ (до выпуска сертификата).
-
-### 2. `.env` — не одно поле, а все публичные URL
-- `PUBLIC_HOST`, `PUBLIC_WEB_URL`, `PUBLIC_API_URL`, `PUBLIC_AUTH_URL`
-- `KEYCLOAK_PUBLIC_URL`
-- `NGINX_TLS_CERTIFICATE` / `NGINX_TLS_CERTIFICATE_KEY` (путь `/etc/letsencrypt/live/<новый-домен>/...`)
-- `BITRIX_PUBLIC_BASE_URL`
-- `IDGTL_SMS_CALLBACK_PUBLIC_URL` (если SMS уже подключён)
-
-### 3. Сертификат
-Certbot на новый `-d` / `--cert-name`, затем nginx с TLS.
-
-### 4. Пересборка / перезапуск сервисов
-- **frontend-static** — URL зашиты на build (`EXPO_PUBLIC_*` из `PUBLIC_WEB_URL` / `PUBLIC_AUTH_URL`)
-- **keycloak** — `KC_HOSTNAME` из `KEYCLOAK_PUBLIC_URL`
-- **nginx**, **api-backend** и связанные сервисы — подхватить новый env
-
-### 5. Настройки в БД (seed / app-settings)
-В `app-settings.production-like.yaml`:
-- `security.cors.allowed_origins` → `https://новый-домен`
-- `notification.instruction.allowed_hosts` → новый хост  
-
-После правки — снова `deployment/scripts/seed.sh` (или ручное обновление в БД).
-
-### 6. Внешние системы
-- **S3 CORS** (Selectel) — `Allowed origin: https://новый-домен`
-- **Bitrix24** — URL установки/обработчика (`/bitrix/install`, `/bitrix/handler`)
-- **Keycloak client** — redirect URIs / web origins (в realm сейчас зашиты конкретные домены вроде `chat.han0107.ru`)
-- **i-Digital** — callback URL, если провайдер его фиксирует
-
-Итого: `.env` + сертификат — ядро, но без DNS, CORS (API + S3), rebuild frontend, Keycloak hostname/redirects, Bitrix URL и seed CORS логин/загрузки/интеграции сломаются.
+~~4. Подключить OTLP-провайдер~~
+~~5. Починить UI баги~~
+6. Второй контур для продакшн