refactor(resolved_tasks):add secrets to the .env

first iteration on data["data"]/Users/angelinatingaeva/HEADO_1/Mapping_ya_tracker/venv/bin/python /Users/angelinatingaeva/HEADO_1/Mapping_ya_tracker/mapping.py
/-
-.

.gitignore

@@ -122,6 +122,8 @@ celerybeat.pid
 
 # Environments
 .env
+.log
+.logs
 .venv
 env/
 venv/

README.md

@@ -7,21 +7,36 @@
 | поля json Asana | поля json Яндекс Трекер | Описание поля |
 | ------ | ------ | ------ |
 | "gid" | "id" | "Идентификатор" |
-| "name" | "name" | "Наименование" |
+| "name" | "summary" | "Наименование" |
 | "notes" | "descriptions" | "Описание задачи" |
 | "created_at" | "createdAt" | "Дата создания задачи" |
 | "due_on" | "deadline" | "Срок завершения задачи- дэдлайн" |
 | "assignee" | "assignee" | "Логин или идентификатор исполнителя" |
-| "section" | "milestone" | "Категория" |
-| "memberships" | "memberships" | "Участники задачи" |
-| " - " | "parent" | "Связка с родительской задачей" |
-| "completed" | "status" | "Степень завершения" |
 
 ## Бонусом - можно получить ключевую информацию об участниках задач в Asana
 
 - ✨ Name ✨
 - ✨ ID (GID - по версии Asana) ✨
 
-## Созданные файлы:
+## Созданный файл:
 
-| ✨ output.csv ✨ | выгруженные данные по участникам задач в Asana |
+| ✨ users.mapping.asana2ya.csv ✨ | выгруженные данные по участникам задач в Asana |
+
+> файл нужен для подгрузки в поле assignee.
+
+## Для подгрузки задач в Яндекс Трекер используются:
+
+- ```bash
+    base_url: 'https://api.tracker.yandex.net/v2/issues/_import'
+  ```
+
+- headers:
+- ✨ 'Host': 'api.tracker.yandex.net' ✨
+- ✨ 'Authorization': 'OAuth <token>' ✨
+- ✨ 'X-Org-ID': <ID> ✨
+- ✨ 'Content-Type': 'appication/json' ✨
+
+## Возможные ответы на запросы:
+
+- ✨ при статусе 201 - 'Задача успешно создана в ЯндексТрекер' ✨
+- ✨ в ином случае (при ошибке) - 'Ошибка при создании задачи в ЯндексТрекер:' ✨

asana_users.py

@@ -3,7 +3,6 @@ import json
 import os
 import sys
 
-
 base_dir = os.path.dirname(os.path.realpath(__file__))
 asana_data_json = os.path.join(base_dir, './data/data_asana.json')
 
@@ -33,7 +32,7 @@ def extract_unique_names_and_ids(data):
 
 
 def export_to_csv(unique_names, unique_ids):
-    with open("output.csv", "w", newline="") as csvfile:
+    with open("users.mapping.asana2ya.csv", "w", newline="") as csvfile:
         writer = csv.writer(csvfile, delimiter=",")
         writer.writerow(["Name", "ID"])
 

data/users.mapping.asana2ya.csv

@@ -0,0 +1,9 @@
+Name,ID,ya_login
+Сергей Анисов,2495641457848,sergey.dev
+Diza,2495641457856,irina.ux
+Никита,547756841476,nikita
+Cyrill Gafarov,2934206415688,dr.cyrill
+Илья,1203071663735925,dr.cyrill
+Sergey Volodin,1202859655765863,segavol.dev
+Malkova,698025068994499,malkova.content
+IrinaOs,1204278463134045,irina.ux

logging_config.py

@@ -0,0 +1,52 @@
+import logging
+import logging.handlers
+import sys
+
+
+sys.stdin.reconfigure(encoding='utf-8')
+sys.stdout.reconfigure(encoding='utf-8')
+
+
+def setup_logging(name):
+    """ Создание логгера """
+    logger = logging.getLogger()
+    logger.setLevel(logging.DEBUG)
+
+    """ Создание обработчика для записи логов в файл """
+
+    file_handler = logging.FileHandler(
+        filename=f"{name}.log",
+        mode='w',
+        encoding='utf-8',
+        delay=True
+    )
+    file_handler.setLevel(logging.DEBUG)
+
+    """ Создание обработчика для вывода логов на консоль """
+
+    console_handler = logging.StreamHandler()
+    console_handler.setLevel(logging.INFO)
+
+    """ Форматтер для вывода в файл """
+
+    file_formatter = logging.Formatter(
+        '%(asctime)s [%(levelname)s] [%(name)s] - %(message)s'
+    )
+
+    """ Форматтер для вывода на консоль """
+
+    console_formatter = logging.Formatter(
+        '%(asctime)s [%(levelname)s] [%(name)s] - %(message)s'
+    )
+
+    """ Добавление форматтеров в обработчики """
+
+    file_handler.setFormatter(file_formatter)
+    console_handler.setFormatter(console_formatter)
+
+    """ Добавление обработчиков в логгер """
+
+    logger.addHandler(file_handler)
+    logger.addHandler(console_handler)
+
+    return logger

mapping.py

@@ -1,33 +1,77 @@
+import csv
 import json
 import os
+import sys
+import time
 
 import requests
-from yandex_tracker_client import TrackerClient
-
-client = TrackerClient(
-    token='YANDEX_TRACKER_TOKEN',
-    org_id='ORG_ID'
-)
 
 
-YANDEX_TRACKER_TOKEN = 'y0_AgAEA7qkfTFqAArTqQAAAADyduv806rRKh8MS6GOg01ZdwPE-F4ZHuQ'
-ORG_ID = '35d164dcf81e48f2b6a532f4badddd33'
+from logging_config import setup_logging
+from urllib.parse import urlencode
 
+logger = setup_logging(__name__)
 
 base_dir = os.path.dirname(os.path.realpath(__file__))
 asana_data_json = os.path.join(base_dir, './data/data_asana.json')
+users_data = os.path.join(base_dir, './data/users.mapping.asana2ya.csv')
+
+sys.stdin.reconfigure(encoding='utf-8')
+sys.stdout.reconfigure(encoding='utf-8')
 
 
-# ниже функция для случаев, когда не будет готового файла для импорта
-# def get_data_from_asana():
-#     """ Получение данных из Asana """
+QUEUE_NAME = 'TESTIMPORT'
 
-#     headers = {
-#         'Authorization': 'ASANA_TOKEN',
-#     }
-#     response = requests.get('https://api.asana.com/projects/PROJECT_ID/tasks', headers=headers)
-#     data = response.json()
-#     return data
+headers = {
+    'Host': 'api.tracker.yandex.net',
+    'Authorization': 'OAuth y0_AgAEA7qkB3KjAArkXwAAAADzMlP9oR1lwMzBS2e94jHzdnII8Laxi7k',
+    'X-Org-ID': '7095769',
+    'Content-Type': 'appication/json',
+}
+
+
+def get_assignee_data():
+    """ Получение данных для поля assignee """
+
+    mapping = {}
+
+    with open(users_data, 'r', encoding="utf8") as csv_file:
+        reader = csv.DictReader(csv_file)
+        for row in reader:
+            asana_id = row['ID']
+            ya_login = row['ya_login']
+            mapping[asana_id] = ya_login
+    return mapping
+
+
+assignee = get_assignee_data()
+
+
+def get_task_status(task):
+    """ Получение данных о статусе задачи """
+
+    if task.get('completed') is True:
+        status = 'resolved'
+        completed_at = task.get('completed_at', '')
+    else:
+        status = 'open'
+        completed_at = ''
+    return status, completed_at
+
+
+# здесь функция для дальнейшей работы с parent
+def get_parent_task_ids(task, ya_imported_task_response):
+    """ Получение соответствий между идентификаторами подзадач в Асане и Яндекс Трекере """
+
+    parent_task_ids = {}
+
+    if task.get('parent') and 'gid' in task['parent']:
+        parent_gid = task['parent']['gid']
+        if parent_gid in ya_imported_task_response:
+            parent_id = ya_imported_task_response[parent_gid]
+            parent_task_ids[task['gid']] = parent_id
+
+    return parent_task_ids
 
 
 def transform_data(data):
@@ -35,64 +79,167 @@ def transform_data(data):
 
     transformed_data = []
     for task in data:
+        status, completed_at = get_task_status(task)
         transformed_task = {
+            'gid': task['gid'],
             'summary': task['name'],
             'description': task['notes'],
             'createdAt': task['created_at'],
             'deadline': task['due_on'],
             'assignee': task['assignee'],
-            'milestone': task['section'],
-            # 'memberships': task['memberships'],
-            # 'parent': task[''],
-            'status': task['completed'],
+            'status': status,
+            'completedAt': completed_at,
+            'parent': task['parent'],
+            'subtasks': transform_data(task['subtasks'])
         }
         transformed_data.append(transformed_task)
     return transformed_data
 
 
-def create_tasks_in_tracker(data):
+def create_task(task):
+    base_url = 'https://api.tracker.yandex.net/v2/issues/_import'
+    print(task)
+    if task.get('assignee') and 'gid' in task['assignee']:
+        ya_assignee = assignee.get(task['assignee']['gid'], 'dr.cyrill')
+    else:
+        ya_assignee = 'dr.cyrill'
+
+    payload = {
+        'queue': QUEUE_NAME,
+        'summary': task['summary'],
+        'description': task['description'],
+        'createdAt': task['createdAt'],
+        'createdBy': 'dr.cyrill',
+        'deadline': task['deadline'],
+        'assignee': ya_assignee,
+        'status': task['status'],
+    }
+
+    logger.debug('Request: %s', json.dumps(payload))
+
+    response = requests.post(
+        base_url,
+        headers=headers,
+        data=json.dumps(payload),
+        params=urlencode({'parent': task['parent']})  # добавила параметр для parent в url-запрос 
+    )
+
+    if response.status_code == 201:
+        print('Задача успешно создана в ЯндексТрекер')
+
+        # здесь добавлено про родительскую задачу
+        return response.json()['id']
+
+    else:
+        print(
+            'Ошибка при создании задачи в ЯндексТрекер:',
+            response.content,
+        )
+
+    logger.debug('Response: %s', response.content)
+
+
+def create_tasks_in_tracker(data, limit=10):
     """ Создание задач в ЯндексТрекер """
 
-    base_url = 'https://api.tracker.yandex.net/v2/issues'
+
+    datalen = (len(data) if limit==-1 else min(limit, len(data)))
+    logger.info('Import started. Task count: %d', datalen)
+
+    # этот датасет тоже для parent добавлен
+    ya_imported_task_response = {}
+
+    for i in range(datalen):
+        task = data[i]
+        task_id = create_task(task)
+        logger.info('Created task id = %s',task_id)
+        for subtask in task['subtasks']:
+            logger.info('Found subtask gid = %s for id = %s',subtask['gid'], task_id)
+            subtask_id = create_task(subtask)
+            assign_parent_task(subtask_id, task_id)
+
+
+#  и эта функция для родительской задачи написана
+def assign_parent_task(task_id, parent_id):
+    """ Назначение родительской задачи """
+
+    base_url = f'https://api.tracker.yandex.net/v2/issues/{task_id}'
     headers = {
-        'Authorization': 'YANDEX_TRACKER_TOKEN',
-        'Content-Type': 'asana_data_json',
+        'Host': 'api.tracker.yandex.net',
+        'Authorization': 'OAuth y0_AgAEA7qkB3KjAArkXwAAAADzMlP9oR1lwMzBS2e94jHzdnII8Laxi7k',
+        'X-Org-ID': '7095769',
+        'Content-Type': 'application/json',
     }
-    for task in data:
-        payload = {
-            'summary': task['summary'],
-            'description': task['description'],
-            'createdAt': task['createdAt'],
-            'deadline': task['deadline'],
-            'assignee': task['assignee'],
-            'milestone': task['milestone'],
-            # 'memberships': task['memberships'],
-            # 'parent': task['parent'],
-            'status': task['status'],
+
+    payload = {
+        'parent': parent_id,
+    }
+
+    logger.debug('Request: %s', json.dumps(payload))
+
+    response = requests.patch(
+        base_url,
+        headers=headers,
+        data=json.dumps(payload),
+    )
+
+    if response.status_code == 200:
+        print('Родительская задача успешно назначена')
+        logger.info('Task %s successfully assigned a parent',task_id)
+    else:
+        print('Ошибка при назначении родительской задачи:', response.content)
+
+    logger.debug('Response: %s', response.content)
+
+    time.sleep(1)  # добавляем задержку перед следующим запросом к API
+# здесь я закончила добавлять про родительскую задачу с большой надеждой
+
+
+#   пробую закрыть задачи уже в Трекере
+def close_tasks_for_completedAt(queue_name):
+    base_url = 'https://api.tracker.yandex.net/v2/issues/_search'
+    payload = {
+        "filter": {
+            "queue": queue_name,
+            "status": "resolved"  # Фильтр для задач cо статусом closed
         }
-        response = requests.post(
-            base_url,
-            headers=headers,
-            data=json.dumps(payload),
-        )
-        if response.status_code == 201:
-            print('Задача успешно создана в ЯндексТрекер')
-        else:
-            print(
-                'Ошибка при создании задачи в ЯндексТрекер:',
-                response.content,
+    }
+
+    response = requests.post(
+        base_url,
+        headers=headers,
+        data=json.dumps(payload)
+    )
+
+    if response.status_code == 200:
+        logger.debug('Response: %s', response.content)
+
+        tasks = response.json()
+
+        for task in tasks:
+            task_id = task['id']
+            close_payload = {
+                'resolution': 'fixed'
+            }
+            close_url = f'https://api.tracker.yandex.net/v2/issues/{task_id}/transitions/close/_execute'
+            print(close_url)
+            print(headers)
+            close_response = requests.post(
+                close_url,
+                headers=headers,
+                data=json.dumps(close_payload)
             )
+            if close_response.status_code == 200:
+                print(f'Задача {task_id} закрыта успешно')
+            else:
+                print(f'Ошибка при закрытии задачи {task_id}: {close_response.content}')
+    else:
+        print(f'Ошибка при получении задач для очереди {queue_name}: {response.content}')
 
 
-def main():
-    """ Основная функция для переноса данных """
-    # asana_data = get_data_from_asana()
-    with open(asana_data_json, 'r') as file:
-        asana_data = json.load(file)
-            # return asana_data
-    yandex_tracker_data = transform_data(asana_data)
-    create_tasks_in_tracker(yandex_tracker_data)
+file = open(asana_data_json, "r", encoding="utf8")
+json_data = json.loads(file.read())
 
-
-# Запуск основной функции
-main()
+yandex_tracker_data = transform_data(json_data['data'])
+create_tasks_in_tracker(yandex_tracker_data, limit=3)
+close_tasks_for_completedAt('TESTIMPORT')

mapping_logging.bak

@@ -0,0 +1,82 @@
+import logging
+import requests
+import textwrap
+
+
+class HttpFormatter(logging.Formatter):
+    def _formatHeaders(self, d):
+        return '\n'.join(f'{k}: {v}' for k, v in d.items())
+
+    def formatMessage(self, record):
+        result = super().formatMessage(record)
+        if record.name == 'httplogger':
+            result += textwrap.dedent('''
+                ---------------- request ----------------
+                {req.method} {req.url}
+                {reqhdrs}
+                {req.body}
+                ---------------- response ----------------
+                {res.status_code} {res.reason} {res.url}
+                {reshdrs}
+                {res.text}
+            ''').format(
+                req=record.req,
+                res=record.res,
+                reqhdrs=self._formatHeaders(record.req.headers),
+                reshdrs=self._formatHeaders(record.res.headers),
+            )
+        return result
+
+
+formatter = HttpFormatter('{asctime} {levelname} {name} {message}', style='{')
+handler = logging.StreamHandler()
+handler.setFormatter(formatter)
+logging.basicConfig(level=logging.DEBUG, handlers=[handler])
+logger = logging.getLogger('httplogger')
+
+
+def logRoundtrip(response, *args, **kwargs):
+    extra = {'req': response.request, 'res': response}
+    logger.debug('HTTP roundtrip', extra=extra)
+
+
+session = requests.Session()
+session.hooks['response'].append(logRoundtrip)
+session.get('http://secariolabs.com')
+
+
+
+
+#         ya_imported_task_response = response.json()
+#         if task.get('parent'):
+#             parent_task_gid = task['parent']['gid']
+#             if parent_task_gid in ya_imported_task_response:
+#                 parent_task_id = ya_imported_task_response[parent_task_gid]['id']
+#                 logger.debug(f'В задаче {task["summary"]} есть связка "parent"', ensure_ascii=False)
+#                 update_parent_task(
+#                     base_url,
+#                     headers,
+#                     ya_imported_task_response['id'],
+#                     parent_task_id,
+#                 )
+
+
+# def update_parent_task(base_url, headers, task_id, parent_task_id):
+#     """ Обновление данных родительской задачи в ЯндексТрекере"""
+
+#     data = {
+#         'parent': parent_task_id
+#     }
+#     payload = json.dumps(data)
+#     update_url = f"{base_url}/{task_id}"
+#     response = requests.post(update_url, headers=headers, data=payload)
+#     result = json.loads(response.text)
+#     logger.warning(json.dumps(result, ensure_ascii=False))
+
+#     if response.status_code == 200:
+#         logger.info('Данные о связи с задачей "parent" успешно обновлены')
+#     else:
+#         logger.error(
+#             'Ошибка при обновлении данных о связи с задачей "parent": %s',
+#             response.content,
+#         )

output.csv

@@ -1,9 +0,0 @@
-Name,ID
-Сергей Анисов,2495641457848
-Diza,2495641457856
-Никита,547756841476
-Cyrill Gafarov,2934206415688
-Илья,1203071663735925
-Sergey Volodin,1202859655765863
-Malkova,698025068994499
-IrinaOs,1204278463134045

requirements.txt

@@ -1,6 +1,7 @@
 certifi==2023.11.17
 charset-normalizer==3.3.2
 idna==3.4
+dotenv==1.0.1
 requests==2.31.0
 setuptools==69.0.0
 six==1.16.0

resolved_task.py

@@ -0,0 +1,78 @@
+import json
+import os
+import sys
+
+import requests
+
+
+from dotenv import load_dotenv
+from logging_config import setup_logging
+
+load_dotenv()
+
+logger = setup_logging(__name__)
+
+base_dir = os.path.dirname(os.path.realpath(__file__))
+asana_data_json = os.path.join(base_dir, './data/data_asana.json')
+users_data = os.path.join(base_dir, './data/users.mapping.asana2ya.csv')
+
+sys.stdin.reconfigure(encoding='utf-8')
+sys.stdout.reconfigure(encoding='utf-8')
+
+
+QUEUE_NAME = 'TESTIMPORT'
+TOKEN = os.getenv('TOKEN')
+
+def close_tasks_in_queue(queue_name):
+    base_url = 'https://api.tracker.yandex.net/v2/issues/_search'
+    # base_url = 'https://api.tracker.yandex.net/v2/issues/_search?expand=transitions'
+    headers = {
+        'Host': 'api.tracker.yandex.net',
+        'Authorization': TOKEN,
+        'X-Org-ID': '7095769',
+        'Content-Type': 'application/json',
+    }
+
+    payload = {
+        "filter": {
+            "queue": queue_name,
+            "status": "open"  # Фильтр для открытых задач в указанной очереди
+        }
+    }
+
+    while True:
+
+        response = requests.post(
+            base_url,
+            headers=headers,
+            data=json.dumps(payload)
+        )
+
+        if response.status_code == 200:
+            logger.debug('Response: %s', response.content)
+
+            tasks = response.json()
+
+            for task in tasks:
+                task_id = task['id']
+                close_payload = {
+                    'resolution': 'fixed'
+                }
+                close_url = f'https://api.tracker.yandex.net/v2/issues/{task_id}/transitions/close/_execute'
+                print(close_url)
+                print(headers)
+                close_response = requests.post(
+                    close_url,
+                    headers=headers,
+                    data=json.dumps(close_payload)
+                )
+                if close_response.status_code == 200:
+                    print(f'Задача {task_id} закрыта успешно')
+                else:
+                    print(f'Ошибка при закрытии задачи {task_id}: {close_response.content}')
+        else:
+            print(f'Ошибка при получении задач для очереди {queue_name}: {response.content}')
+
+
+# Вызов функции для закрытия задач в очереди 'TESTIMPORT'
+close_tasks_in_queue('TESTIMPORT')