Helena Real-World Performance Framework

1.1. Цел

Този документ установява методологията, по която Helena Bioinformatics провежда проучвания на ефективността в реална клинична практика на платформата за класификация на варианти Helena. Той определя дизайна на проучванията, изграждането на еталонната стойност, показателите за ефективност, контрола на качеството, управлението на конфликт на интереси и стандартите за докладване, приложими към текущия организационен етап на Helena.

Настоящата методология заменя предишните документи Helena Clinical Validation Framework (v1.0 и v1.1, вече архивирани). Тя отразява целенасочено методологично преформулиране: от парадигма за регулаторна валидация, калибрирана за организации със зряла система за управление на качеството, към парадигма за описание на ефективността в реална клинична практика, подходяща за млада технологична компания в ранен етап, стремящ се към клинична надеждност чрез научно строго натрупване на доказателства.

1.2. Защо преформулиране

Предишната методология третираше една партньорска референтна лаборатория като еталонна стойност и структурираше дейностите по конвенциите за регулаторна валидация. Три наблюдения от ранната употреба мотивираха преформулирането:

• Референцията от една лаборатория не е научно защитима като еталонна стойност. Проучванията на междулабораторно съгласие (Amendola 2016, Harrison 2017, Bergquist 2025) документират 25 до 35 процента обосновано методологично несъгласие между квалифицирани лаборатории. Третирането на която и да е единична партньорска лаборатория като категорична истина изкривява реалната картина в областта.

• Класификаторът на Helena прилага по-строгите спецификации на ClinGen SVI 2020+ в сравнение с много партньорски лаборатории, които следват по-ранните указания на ACMG 2015. Когато Helena и сравняваната лаборатория се разминават, разликата често отразява методологично развитие, а не дефект на Helena. Третирането на подобни случаи като неуспехи на Helena беше научно подвеждащо.

• Helena Bioinformatics работи във Фаза 1 (текущ организационен етап) без непосредствено взаимодействие с нотифициран орган. Обемната документация за регулаторна валидация не обслужва никакво текущо подаване. Необходимостта е от надеждни, защитими и годни за рецензиране доказателства в подкрепа на класификационните твърдения на Helena, а не от преждевременни регулаторни досиета.

Настоящата методология следователно позиционира краткосрочната работа на Helena като проучвания на ефективността в реална клинична практика, произвеждащи научно строги доказателства, годни за независима рецензия. Пътят към формално регулаторно подаване се запазва като последваща цел, но не се преследва чрез текущите дейности.

1.3. Текущо положение на Helena Bioinformatics

Helena Bioinformatics работи във Фаза 1 по изрично определен поетапен път (Раздел 9.1). Дейностите във Фаза 1 отразяват организационния обхват, подходящ за този етап. Платформата обработва клинични геномни данни чрез партньорски споразумения с утвърдени референтни лаборатории.

Текущият етап поражда следните съображения, които настоящата методология изрично адресира:

• Организационен обхват във Фаза 1 - дейностите разчитат на външно сътрудничество за клинични и референтни функции, където е уместно.

• Достъп до пациентски данни на партньорска основа - VCF файлове, предоставени от сътрудничещи референтни лаборатории при съответните споразумения.

• Поетапен път към взаимодействие с нотифициран орган - подаване по IVDR, очаквано третото тримесечие на 2027 или по-късно, обусловено от финансиране и организационен растеж.

В рамките на обхвата на Фаза 1 научно строгото описание на ефективността остава постижимо. Методологиите в настоящия документ са проектирани да осигурят защитими доказателства при такъв обхват, като запазват безпрепятствен път към работа на регулаторно ниво в следващите организационни етапи.

1.4. Целева аудитория за резултатите от проучванията на ефективността

Резултатите от проучвания, проведени по настоящата методология, са предназначени за следните аудитории:

• Научна общност: Рецензирани публикации. Резюмета за научни конференции. Демонстрация на методологията.

• Инвеститори и стратегически партньори: Доказателства за клинична надеждност. Демонстрация на възможностите на платформата. Материали за надлежна проверка.

• Потенциални сътрудници: Доказателства за възможностите на платформата в подкрепа на дискусии за партньорство с лаборатории и клинични центрове.

• Бъдещ нотифициран орган (в перспектива): Начални доказателства, запазени за цитиране в евентуално подаване по IVDR. Не представляват основни доказателства по настоящата методология - обозначени като базова методология и демонстрация на възможностите.

• Вътрешен R&D на Helena Bioinformatics: Идентификация на дефекти, цели за подобрение на класификатора, усъвършенстване на методологията.

3.1. Група A - аналитична ефективност

3.2. Група B - класификационна ефективност

3.3. Група C - клинична ефективност

3.4. Логика за докладване на крайното заключение

Проучванията на ефективността в реална клинична практика не произвеждат двоични заключения от типа преминаване/непреминаване. Вместо това резултатите от проучването докладват:

• Стойности на ефективността по всички групи показатели със справки към публикувани еталонни стойности.

• Методологично описание на всички PARTIAL и DISCORDANT случаи.

• Идентифицирани дефекти на платформата с прикрепени заявки за промяна и статус на отстраняването.

• Ограниченията и предупрежденията изрично декларирани.

• Заключения, подходящи за обхвата на проучването: описателна оценка на ефективността, а не регулаторно одобрение.

Бъдещи основни кохорти по разширени версии на методологията ще въведат двоични прагове за преминаване/непреминаване. Такива прагове не са приложими на текущия организационен етап.

5.1. Оценка на откритието (Степен 1)

Оценката на откритието проверява дали Helena коректно разпознава варианти, налични във входния VCF.

• Входният VCF се обработва през процеса на Helena, като се използва работната версия на класификатора, обект на проучването.

• За всеки целеви вариант базата данни classified_variants (DuckDB) се заявява по геномна позиция (GRCh38), HGVS кодираща промяна, белтъчна промяна и идентификатор в ClinVar. Откриването е потвърдено, ако което и да е запитване върне съвпадение.

• За варианти, които не са открити, първопричината се определя чрез проверка на: наличие във входния VCF, резултат от преобразуването на координати, статус на филтъра за качество, журналните записи на процеса за анотация.

• Неуспехите при откриване се категоризират: (a) неуспех в процеса на Helena - отчита се в показателя за чувствителност на откритието; (b) неуспех в предходния процес - докладва се отделно като дял на неуспехите от предходния етап; (c) неуспех на филтъра за качество - записва се като откритие, маркирано от филтъра за качество.

5.2. Оценка на класификацията (Степен 2)

Оценката на класификацията съпоставя изходния ACMG клас на Helena с референтната истина от множество източници.

• За всеки целеви вариант се документират всички налични референтни източници (клас от партньорска лаборатория, запис в ClinVar, подбране от VCEP при наличие, функционални проучвания в литературата, популационни доказателства).

• ACMG класът на Helena се извлича от classified_variants базата за целевия вариант.

• Съответствието се изчислява независимо спрямо всеки референтен източник по нивата от Раздел 2.3.

• За случаи с PARTIAL и DISCORDANT (Helena срещу която и да е референция) разликите в ACMG критериите се документират подробно. Методологичната първопричина се категоризира: (a) по-строго прилагане на ClinGen SVI 2020+ от Helena, (b) разлика в достъпа до доказателства, (c) дефект на класификатора, (d) ограничение на референтните данни.

• Случаи, категоризирани като дефект на класификатора, се ескалират чрез заявки за промяна с пълна проследимост.

• Съгласие от множество източници: когато Helena се разминава с партньорската лаборатория, но се съгласува с доказателствата от множество източници (VCEP, консенсус в ClinVar, функционални), това се документира като съответствие на Helena с по-широката доказателствена база.

5.3. Оценка на клиничната ефективност (Степен 3)

Оценката на клиничната ефективност проверява поведението на платформата по аспектите на клиничния работен процес. Провежда се от клиничен рецензент (с деклариране на конфликт на интереси по Раздел 8, ако е приложимо).

• Q1 (позиция в нивото на приоритет): Рецензентът записва нивото на приоритет от фенотипното съпоставяне за целевия вариант. Оценено като PASS (ниво 1), ACCEPTABLE (ниво 2), FAIL (ниво 3 или 4).

• Q2 (резултат от съпоставяне с фенотип): Рецензентът записва процентната оценка за съвпадение. Оценено като HIGH (поне 50 процента), MODERATE (20 до 49 процента), LOW (по-малко от 20 процента).

• Q3 (ранг при скрининг): Рецензентът записва поредната позиция на целевия вариант в резултата от услугата за скрининг. Оценено като TOP-5, TOP-10, TOP-20, OUTSIDE-20.

• Q4 (качество на доклада от изкуствения интелект): Рецензентът чете клиничния отчет, генериран от изкуствен интелект. Оценено Q4a (вариантът е споменат: ДА/НЕ), Q4b (интерпретацията е коректна: ДА/ЧАСТИЧНО/НЕ), Q4c (цялостно качество: ДОБРО/ПРИЕМЛИВО/ЛОШО). Всяка фактологична халюцинация задейства маркер за достоверност на изкуствения интелект.

5.4. Методологично описание на разминаванията

За всички случаи с PARTIAL и DISCORDANT следното описание е задължително и представлява същинският научен резултат от проучването:

• Съпоставителна таблица на ACMG критериите (Helena срещу всеки референтен източник).

• Идентификация на това кои приложени или задържани от Helena критерии отразяват спецификациите на ClinGen SVI 2020+ (оттегляне на PP5, повишено внимание при PS4 с единичен случай, калибрирани изчислителни прагове, прагове за BS2 съобразени с модела на унаследяване, изискване за PVS1 на базата на експресионни данни от pext и др.).

• Резюме на независимите доказателства от множество източници (VCEP, консенсус в ClinVar, функционални, популационни, сегрегационни).

• Заявление дали несъгласието попада в рамките на публикуваните еталонни стойности за междулабораторно несъгласие.

• Крайно заключение: методологично разминаване (Helena и референцията прилагат различни, но защитими методологии), дефект на класификатора (грешка на Helena за отстраняване), ограничение на референцията (Helena е коректна, референцията прилага по-малко строг стандарт), или доказателства с реална неопределеност (текущите доказателства не подкрепят еднозначно нито една класификация).

7.1. Доклад за ефективност по отделен случай

Всеки случай във всяко проучване на ефективността в реална клинична практика произвежда доклад за ефективност по случай съгласно структурата по-долу. Тази структура е съвместима с докладите за съгласие по случай, вече изготвени за Кохорта 1 и Кохорта 2; допълнените секции отразяват акцента на настоящата методология върху описанието от множество източници.

• Заглавие на случая и резюме на ефективността: Идентификатор на пациента (анонимизиран), ген, идентификатори на варианта, клинична диагноза, HPO термини, идентификатор на сесията, версия на класификатора, дата на отчета. Резюме на ефективността и резултати от съгласието спрямо всеки референтен източник.

• Сравнителна таблица от множество източници: Съпоставка: класификация на Helena срещу всяка налична референция (партньорска лаборатория, ClinVar с оценка в звезди, VCEP при наличие, публикувана литература). Документирани ACMG критерии, HGVS, последствие, зиготност, алелна честота в gnomAD.

• Преглед на доказателствата: Записи в ClinVar с детайли за статуса на рецензията, изчислителни предсказания с калибрирани прагове, анализ на популационната честота, показатели за генно ограничение, показатели за качество на секвенирането, публикувани описания на случаи при наличие, функционални доказателства при наличие.

• Оценка на Степен 1 (откритие): P1, P2 резултати. Първопричина за неуспех при откритието, ако е приложимо.

• Оценка на Степен 2 (класификация): P3 резултат спрямо всеки референтен източник. Методологично описание за всеки частичен или разминаващ се резултат. Конкретно посочване на разликите в прилагането на ClinGen SVI 2020+.

• Оценка на Степен 3 (клинична ефективност): Q1, Q2, Q3, Q4 резултати с обосновка. Проверката за достоверност на изкуствения интелект е изрично отбелязана.

• Оценка на диагностична релевантност: Сравнителен анализ на клиничната полезност: Helena спрямо референция. Документирано съгласно предназначеното използване.

• Идентифицирани проблеми на платформата: Номериран списък на дефекти, ограничения или възможности за подобрение. Всеки от тях е обвързан със съществуваща или предложена заявка за промяна.

• Декларация за конфликт на интереси: Деклариране на конфликт на интереси, приложим към оператора, рецензента или друг участник в обработката на случая. Приложени предпазни мерки.

• Заключения и методологична категоризация: Крайно заключение: методологично разминаване / дефект на класификатора / ограничение на референцията / доказателства с реална неопределеност. Действия за предприемане при наличие. Подпис на отговорното лице.

7.2. Доклад за проучване на ефективността в реална клинична практика на ниво кохорта

При завършване на кохортата Helena Bioinformatics изготвя доклад за проучване на ефективността в реална клинична практика. Това е основният научен резултат от проучването и е структуриран така, че да бъде годен за публикуване с рецензия.

• Заглавие и резюме: Идентификатор на кохортата, версия на класификатора, ключови резултати.

• Въведение: Предистория на Helena, методология на класификатора (ACMG/AMP 2015 със спецификациите на ClinGen SVI), цел на проучването.

• Методи: Критерии за подбор на кохортата, процес за обработка, версия на класификатора, използвани референтни източници, методология на сравнението, деклариране на конфликт на интереси.

• Резултати - Степен 1: Ефективност при откриването, с внимание към неуспехите в предходния процес.

• Резултати - Степен 2: Съгласие при класификацията спрямо всеки референтен източник. Междулабораторно съгласие с партньорската лаборатория, сравнено с публикуваната литература. Анализ на съгласието от множество източници.

• Резултати - Степен 3: Показатели за клиничния работен процес.

• Обсъждане: Методологично описание на случаите с PARTIAL/DISCORDANT. Идентифицирани дефекти и статус на отстраняването. Ограничения. Сравнение с публикувани еталонни стойности.

• Заключения: Обхват и резултати от проучването, представени честно. Начално представяне на доказателствата за последваща регулаторна работа.

• Приложения: Всички доклади за ефективност по случай, манифест на версията на класификатора, моментни копия на референтните бази данни, регистър за деклариране на конфликт на интереси.

7.3. Идентифицирани дефекти и проследяване на заявките за промяна

Всички идентифицирани дефекти, методологични пропуски и възможности за подобрение се въвеждат в централизиран журнал на заявките за промяна. Записите в журнала съдържат: дата на откриване, изходен случай (или случаи), описание, степен на сериозност, присвоен идентификатор на заявката за промяна, статус, целево разрешение, изискване за повторна валидация след отстраняване.

7.4. Незадължителна академична рецензия

Докладите от проучванията на ефективността в реална клинична практика могат по избор да бъдат предоставени на един или повече независими академични клинични генетици за рецензия преди публикуване. Това не е формален регулаторен арбитраж, а стандартна научна рецензионна практика. Обратната връзка от рецензента се документира и адресира в окончателния доклад. Рецензентите се споменават с благодарност в доклада. Конфликтът на интереси на рецензента се декларира в съответствие с Раздел 8.

9.1. Поетапен път

Настоящата методология работи във Фаза 1 по изрично определен поетапен път към евентуално регулаторно подаване. Преминаването между фазите зависи от организационния растеж и не се преследва за сметка на текущите дейности.

9.2. Разлики в бъдещите фази

Дейности, запазени за Фаза 2 и Фаза 3 (и непреследвани в текущата Фаза 1), включват:

• Формални външни арбитражни панели (множество арбитри, платен ангажимент)

• Независима операторска структура (без принадлежност към партньорска лаборатория)

• Композиция на основна кохорта (60/30/10 положителни/отрицателни/гранични)

• Валидация в множество центрове чрез независими лаборатории

• Предварителни консултации с нотифициран орган преди подаване

• Досие за управление на риска в пълна детайлност по ISO 14971

• Система за управление на качеството в пълна детайлност по ISO 13485

9.3. Пренос на основните доказателства

Проучванията на ефективността в реална клинична практика, провеждани по настоящата методология, произвеждат начални доказателства, които се пренасят към бъдещи основни подавания. По-конкретно:

• Описателните данни за ефективността се цитират като предварителни доказателства в подкрепа на готовността на платформата.

• Идентифицираните дефекти и историята на отстраняването им демонстрират активен подход към управлението на качеството.

• Методологичната обосновка, установена в публикувана литература, осигурява научна защита за избора на класификатора.

• Анализът на съгласието от множество източници демонстрира, че класификациите на Helena се съгласуват с по-широкия експертен консенсус, когато възникват несъгласия с партньорската референция.

Резултатите от настоящата методология следователно не са утешителна работа вместо преждевременно регулаторно подаване. Те са научни доказателства, съобразени с етапа, с трайна стойност през целия регулаторен път.