From 9d8e823f7f1acfa43a25ceacc70bb02dc7fae635 Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=D0=95=D0=B2=D0=B3=D0=B5=D0=BD=D0=B8=D0=B9=20=D0=A5=D1=80?=
 =?UTF-8?q?=D0=B0=D0=BC=D0=BE=D0=B2?= <xpamych@yandex.ru>
Date: Sun, 2 Jun 2024 13:44:52 +0300
Subject: [PATCH] =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=BB?=
 =?UTF-8?q?=D0=B5=D0=BD=D0=B8=D0=B5=20=D0=BF=D0=BE=20=D0=BF=D0=B5=D1=80?=
 =?UTF-8?q?=D0=B5=D0=BD=D0=BE=D1=81=D0=B0=D0=BC=20=D0=B8=20=D1=81=D1=81?=
 =?UTF-8?q?=D1=8B=D0=BB=D0=BA=D0=B0=D0=BC?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 news-bot.py | 35 +++++++++++++++++++++++++++++------
 1 file changed, 29 insertions(+), 6 deletions(-)

diff --git a/news-bot.py b/news-bot.py
index 869d187..5e84ff3 100755
--- a/news-bot.py
+++ b/news-bot.py
@@ -3,6 +3,7 @@
 import re
 import sys
 import time
+import urllib.parse
 import discord
 import logging
 import colorlog
@@ -83,18 +84,22 @@ def html_to_text(html_content):
     # Убираем переносы строк внутри квадратных скобок []
     markdown_text = re.sub(r'\[(.*?)\]', lambda x: '[' + x.group(1).replace('\n', ' ') + ']', markdown_text, flags=re.DOTALL)
 
-    # # Удаление переносов строк и пробелов внутри текста
-    # markdown_text = re.sub(r'(?<!\n)\n(?!\n)', ' ', markdown_text)
-
     # Удаление строк, содержащих '* * *'
     markdown_text = re.sub(r'^.*\* \* \*.*$', '', markdown_text, flags=re.MULTILINE)
 
-    markdown_text = re.sub(r'^.*\*', '*', markdown_text, flags=re.MULTILINE)
+    markdown_text = re.sub(r'^.*\* ', '* ', markdown_text, flags=re.MULTILINE)
+
+    # Убираем переносы строк, кроме строк, начинающихся с *
+    markdown_text = re.sub(r'^(?!\*).*?\n(?!\*)', lambda x: x.group(0).replace('\n', ' '), markdown_text, flags=re.MULTILINE)
+
+    # Преобразование всех ссылок с параметрами URL
+    markdown_text = convert_links(markdown_text)
 
     # Работа с #
     patterns_to_remove = [
         r'###',
         r'##',
+        r'#',
         r'\[scripts\]\(\/tag\/scripts\) version \d+ ',
         r'##\[scripts\]\(\) version \d+ ',
         r'\d{4}×\d{3} \d+ KB'
@@ -107,16 +112,34 @@ def html_to_text(html_content):
     markdown_text = re.sub(r'\n\s*\n', '\n', markdown_text)
 
     # Изменение ссылок без описания
-    markdown_text = re.sub(r'\[\]\((https:\/\/[^\)]+)\)', r'[content](\1)', markdown_text)
-    markdown_text = re.sub(r'\[\s]\((https:\/\/[^\)]+)\)', r'[content](\1)', markdown_text)
+    markdown_text = re.sub(r'\[\]\((https:\/\/[^\)]+)\)', r'[.](\1)', markdown_text)
+    markdown_text = re.sub(r'\[\s]\((https:\/\/[^\)]+)\)', r'[.](\1)', markdown_text)
 
     # Удаление дублирующихся ссылок
     markdown_text = remove_duplicate_links(markdown_text)
 
+    # Добавление переноса после "История изменений:"
+    re.sub(r'^.*\* \* \*.*$', '', markdown_text)
+    markdown_text = re.sub(r'История изменений:', r'\n', markdown_text)
+
     logging.debug(f"Текст после обработки {markdown_text}")
     return markdown_text
 
 
+def convert_links(text):
+    url_pattern = re.compile(r'https?://[^\s\)]+')
+    return url_pattern.sub(lambda match: decode_url_params(match.group(0)), text)
+
+
+def decode_url_params(url):
+    parsed_url = urllib.parse.urlparse(url)
+    query_params = urllib.parse.parse_qs(parsed_url.query)
+    for key, values in query_params.items():
+        if key.lower() == 'to' and values:
+            return urllib.parse.unquote(values[0])
+    return url
+
+
 def remove_empty_lines(text_data):
         lines = text_data.splitlines()
         non_empty_lines = [line for line in lines if line.strip()]