ON THE CONTROL OF HIV DYNAMIC MATHEMATICAL MODEL BASED ON SUBOPTIMAL GAME SCENARIOS OF INTERRUPTED ANTIRETROVIRAL THERAPY
Rubrics: BIOLOGY
Authors:
1.
Institut matematiki i mehaniki UrO RAN
2.
Institut matematiki i mehaniki UrO RAN
Type:
Article
Pages:
from 17
to 24
Status:
Published
Received:
25.04.2018
Accepted:
25.04.2018
Published:
25.04.2018
Subject area:
UDK 63 Сельское хозяйство. Лесное хозяйство. Охота. Рыбное хозяйство
Language:
Russian
Keywords:
HIV infection, interrupted therapy, conflict-control HIV-model, game control, suboptimal scenario
Abstract (English):
We consider problem of control of conflict-controlled HIV process formalized in the form of an antagonistic differential game between two persons. The first player is responsible for the formation of the optimal structured treatment interruption (STI) scenario and aims, under all possible actions of the second player, to lead the HIV process from the viral dominance state to the immune dominance state, while delivering the minimum value of cost function. The second player pursues opposite goals. It is numerically shown that the non-linear HIV-model Callaway-Perelson, described in the form of a system of ordinary differential equations, is sensitive to single disturbances of the suboptimal STI scenario. For the model we presented the results of numerical construction of a suboptimal game STI scenario that is resistant to single disturbances of drug regimen. The results of numerical simulation showed the stability of the constructed suboptimal game scenario to single skipping of drugs. The developed method can be applied to the development and research of interruptible antiretroviral therapy schemes that are resistant to such uncertainties as the resistance of the virus to antiretroviral drugs, insufficient adherence of the patient to therapy, individual features of the pharmacokinetics and pharmacodynamics of antiretroviral drugs.
We consider problem of control of conflict-controlled HIV process formalized in the form of an antagonistic differential game between two persons. The first player is responsible for the formation of the optimal structured treatment interruption (STI) scenario and aims, under all possible actions of the second player, to lead the HIV process from the viral dominance state to the immune dominance state, while delivering the minimum value of cost function. The second player pursues opposite goals. It is numerically shown that the non-linear HIV-model Callaway-Perelson, described in the form of a system of ordinary differential equations, is sensitive to single disturbances of the suboptimal STI scenario. For the model we presented the results of numerical construction of a suboptimal game STI scenario that is resistant to single disturbances of drug regimen. The results of numerical simulation showed the stability of the constructed suboptimal game scenario to single skipping of drugs. The developed method can be applied to the development and research of interruptible antiretroviral therapy schemes that are resistant to such uncertainties as the resistance of the virus to antiretroviral drugs, insufficient adherence of the patient to therapy, individual features of the pharmacokinetics and pharmacodynamics of antiretroviral drugs.
Keywords:
HIV infection, interrupted therapy, conflict-control HIV-model, game control, suboptimal scenario
HIV infection, interrupted therapy, conflict-control HIV-model, game control, suboptimal scenario
Положительная рецензия представлена Г. А. Бочаровым, доктором физико-математических наук, ведущим научным сотрудником Института вычислительной математики Российской академии наук. Токсичность непрерывной высокоактивной анти- ретровирусной терапии (ВААРТ), а также лекар- ственная устойчивость ВИЧ к ВААРТ мотивируют исследование других режимов лечения ВИЧ, насо случая управляемой ВИЧ-модели на случай кон- фликтно-управляемой ВИЧ-модели, описываемой системой обыкновенных дифференциальных урав- нений правленных на активацию иммунного ответа. Одx(t) f (t, x(t), u(t), v(t)), t [t0 ,T ], (1) ной из перспективных альтернатив непрерывной x(t0 ) x0 , x(T) xT , (2) ВААРТ является прерывистая антиретровирусная u(t) u(tk ) U , t [tk , tk 1 ), k 0, N 1, N (T t0 ) / tu (3) терапия (ПАРТ), при которой пациенты применяют v(t) v(t ) V , t [t , t ), l 0, L 1, L (T t ) / t (4) или прерывают лекарственную терапию в заранее определенные периоды времени. Исследования поl l l 1 0 v 0 где t - время, моменты t и T фиксированы, казали, что при определенных условиях применение {tk | tk t0 ktu , k 0, N 1} - дискретные момен- ПАРТ может оказаться целесообразным и позволяты времени управления первого игрока, tu - шаг ет достигнуть при сниженной лекарственной надискретизации по времени управления первого грузке те же цели, что и при непрерывной ВААРТ: игрока, {tl | tl t0 ltv , l 0, L 1} - дискретные увеличение количества CD4+ T-клеток и подавление репликации вируса [1-2]. В связи с этим становится моменты времени управления второго игрока, tv - шаг дискретизации по времени управления втоактуальной задача определения оптимальных схем рого игрока; x(t) Rn - фазовый вектор системы, n ПАРТ, при которых достигается наилучший тера- певтический эффект. Для решения данной задачи x0 Rn - начальное состояние системы (1), xT R - состояние системы (1) в момент окончания T процеспроводятся как клинические когортные исследоваса управления; u(t) Rm и v(t) Rr - дискретные ния, так и теоретические исследования с помощью математических моделей. С учетом ограниченного количества пациентов, вовлеченных в клинические испытания, разработка и применение методов математического моделиро- вания при поиске оптимальных схем ПАРТ станопо времени кусочно-постоянные управления первого и второго игрока соответственно, U и V - дис- кретные множества допустимых управлений перво- го и второго игрока соответственно. Показатель качества терапевтической програм- мы оценивается функционалом вятся особенно важными. В работах [3-5] задача по- (x(), u()). (5) иска оптимальных сценариев ПАРТ формализуется в виде задачи оптимального программного управ- ления моделью динамики ВИЧ на основе обыкно- венных дифференциальных уравнений. Поиск опти- мальных схем ПАРТ в вышеуказанных работах про- водился для моделей динамики ВИЧ, в которых не учитывается ряд таких важных факторов, как рези- Таким образом, задача управления ВИЧ-моделью (1)-(4) рассматривается как конфликтно-управляе- мый процесс с двумя игроками. Первый игрок, от- вечающий за формирование оптимальной схемы лекарственной терапии u() , стремится при любых возможных действиях второго игрока v() привести систему (пациента) из состояния вирусного доминистентность вируса к АРТ препаратам, недостаточная рования x0 в состояние иммунного доминирования приверженность пациента к терапии, индивидуаль- ные особенности фармакокинетики и фармакоди- намики АРТ препаратов. Неучет данных факторов xT , доставляя при этом наименьшее значение (5). Второй игрок (непредсказуемые внешние факторы или прямое противодействие со стороны болезни), в математической ВИЧ-модели может привести к отвечающий за формирование v(), стремится при выработке терапевтических схем, приводящих к нелюбых возможных действиях первого игрока u() удовлетворительным последствиям для организма. воспрепятствовать переводу системы из состояния В связи с этим представляется более естественным x0 в состояние xT , доставляя при этом наибольшее рассматривать задачу поиска оптимальных сценариев ПАРТ в виде задачи оптимального управления значение (5). Обозначим через x[t0 ,T , x0 , u(), v()] траектоконфликтно-управляемой моделью динамики ВИЧ, позволяющей учесть неполноту и неопределенность описания процессов взаимодействий в системе «ви- рус - организм человека». Такие задачи в настоящее время вкладываются в теорию дифференциальных игр [6]. В частности, применение дифференциальных рию движения системы (1) на временном интервале [t0 ,T ] из начальной позиции x(t0 ) x0 при выбран- ных игроками управлениях u() и v() . Также через U () и V () обозначим множество всех допустимых на интервале [t0 ,T ] управлений первого и второго игрока соответственно. Тогда при фиксированном игр для описания конфликтно-управляемых модеуправлении u() U () первого игрока гарантиролей динамики ВИЧ рассматривалось в работах [7, 8]. цель и методика исследований ванный результат (5) для него будет равен Целью настоящей работы является обобщение (t0 , x0 , u()) sup (x[t0 ,T , x0 , u(), v()], u()). метода нахождения оптимальных сценариев ПАРТ v ()V () Наилучший гарантированный результат (5) для пер- Здесь T , T - концентрации популяций здоро- 1 2 вого игрока при заданных (t0 , T , x0 ) достигается вых клеток-мишеней, представляющих популяции при оптимальном управлении u * () U () CD4+ T-лимфоцитов и макрофагов соответственно *(t , x , u *()) inf sup (x[t ,T , x , u(), v()], u()). (6) (кл/мл); I , I - концентрации популяций зараженных 0 0 u ()U () 0 0 v ()V () 1 2 Таким образом, решая за первого игрока задачу оптимального управления для конфликтно-управ- ляемой ВИЧ-модели (1)-(4), получаем оптимальный клеток (кл/мл); V - вирусная нагрузка (вирион/мл); E - концентрация клеток-киллеров, представляющих по- пуляцию цитотоксических CD8+ T-лимфоцитов (кл/ сценарий прерывистой АРТ с наилучшим гаранти- 1 2 мл); u , u эффективности лекарственных препарованным результатом *(t0 , x0 ,u *()). Дискретный ратов (управляющие воздействия первого игрока); характер управлений (3)-(4) позволяет свести зада- 1 2 v , v воздействия, снижающие эффективность лечу нахождения (6) к задаче дискретной комбинатор- ной оптимизации размерности D | U |N | V |L , карств (управляющие воздействия второго игрока); остальные переменные - константы, характеризую- щие скорость протекания биологических процессов где | U |, | V | - мощности дискретных множеств (табл. 1, [3]). допустимых управлений первого и второго игрока соответственно. Решение задачи комбинаторной оптимизации ме- тодом полного перебора вычислительно трудоемко уже при небольших значениях N и L. Для снижения размерности задачи будем использовать подход на основе субоптимальных структурно-прерываемых сценариев, предложенных в работе [3]. Суть подхо- да заключается в следующем: временной интервал [t0 ,T ] разбивается на периоды управления длитель- 1 2 Введем вектор состояния модели x(t) = (T (t), T (t), 1 2 I (t), I (t), V(t), E(t)), вектор управления первого игро- ка u(t) (u1 (t), u2 (t)), вектор управления второго игро- ка v(t) (v1 (t), v2 (t)). Для системы (8) известно, что существует два локально асимптотически устойчивых положения равновесия: - состояние высокой вирусной нагрузки и низкой концентрации CD4+ T-лимфоцитов: T x0 (163573, 5, 11945, 46, 63919, 24) , (9) ностью P: - состояние иммунного контроля ВИЧ-инфекции [tk , tk 1 ] | tk t0 kP, k 0, T / P 1 . и восстановления CD4+ T-лимфоцитов: T x (967839, 621, 76, 6, 415, 353108)T . (10) Каждый из периодов [tk , tk 1 ], в свою очередь, Задачаоптимальногоуправленияконфликтно-управразбивается на сегменты постоянного управления ляемой системой (8) состоит в нахождении допустимой длительностью u tu для первого игрока и пары управлений (u *(·),u *(·)), переводящей систему 1 2 v tv для второго игрока. В итоге задача дисиз состояния вирусного доминирования (9) в состокретной комбинаторной оптимизации размерности D заменяется T/P задачами дискретной комбинаторяние иммунного контроля (10), доставляя при любых возможных v (·), v (·) минимум функционалу качества ной оптимизации размерности 1 T 2 ( ) 1 2 2 ( ) ( ( ) *)2 ( ( ) *)2 2 2 1 1 2 2 , (11) | U |P/ u | V |P/ v , t0 R u t R u t dt QV V T V QE E T E QTT 1 2 V где R R 5 104 ,Q 110 E T 4 Q 1,Q 105 весовые кои получаемый при заданных P, ∆ и ∆ субоптимальэффициенты, V*, E* - концентрации вируса и эффекu v u ный ПАРТ-сценарий u* () представляется в виде торов в состоянии иммунного доминирования (10). u () [u (t0 ) u (t1 ) u (t / 1 )], t t0 kP, k 0, T / P 1, Рассмотрим для системы (8) результаты числен- * * * * u u u u T P k (7) u k где u* (t ) - частичный оптимальный ПАРТ-сценарий на интервале [tk ,tk 1] , находящийся из условия результаты исследований Рассмотрим нелинейную конфликтно-управляе- мую ВИЧ-модель, динамика которой описывается сисного построения субоптимального структурно-пре- рываемого сценария u*(t), t[0,600] с параметрами u v P = 20, ∆t = 5, ∆t = 1 (12) и множествами допустимых управлений первого и второго игрока: темой ОДУ: U {u[1] (0, 0), u[2] (0.7, 0), u[3] (0, 0.3), u[4] (0.7, 0.3)}, V {v[1] (0, 0), v[2] (1, 1)}. (13) (14) 1 1 1 1 1 1 1 1 T d T (1 u v )k VT , T d T (1 fu v )k VT , 2 2 2 2 1 1 2 2 1 1 1 1 1 1 1 1 I (1 u v )k VT I m EI , I2 (1 fu1v1 )k2VT2 I2 m2 EI2 , V (1 u2v2 )NT I1 I2 (8) На рис. 1 изображен график сценария u*(·), рассчитанный для модели (8) в условиях бездействия второго игрока v *() v[2]. Графики фазовых траек- торий ВИЧ-модели при сценарии u*(·) изображены на рис. 2 (черная линия). Сценарий u*(·) переводит в момент T = 590 дней модель (8) из состояния (9) cV [(1 u1v1 )1k1T1 (1 fu1v1 )2 k2T2 ]V , в состояние xT из области притяжения устойчивого E E bE I1 I2 I1 I2 K E dE I1 I2 I I K E E E. состояния (10), значение функционала качества (11) 10 b 1 2 d в момент T = 600 дней γ = 2.37661·10 . Таблица 1 Числовые значения и описание параметров модели (8) Table 1 The values and descriptions of the parameters used in the HIV model (8) Параметр Parameter Значение Value Описание Description 1 10 000 Скорость производства здоровых клеток CD4+ T-лимфоцитов, кл/(мл·сут) Production rate of uninfected CD4+T-lymphocytes cells, cells/(ml·day) 2 31.98 Скорость производства здоровых клеток-макрофагов, кл/(мл·сут) Production rate of uninfected macrophages cells, cells/(ml·day) d1 0.01 Скорость естественной гибели здоровых клеток CD4+ T-лимфоцитов, кл/(мл·сут) Death rate of uninfected CD4+T-lymphocytes cells, cells/(ml·day) d2 0.01 Скорость естественной гибели здоровых клеток-макрофагов, кл/(мл·сут) Death rate of uninfected macrophages cells, cells/(ml·day) k1 8 ∙ 10-7 Скорость заражения здоровых клеток CD4+ T-лимфоцитов, мл/(вирион·сут) Infection rate of uninfected CD4+T-lymphocytes cells, ml/(virions·day) k2 0.0001 Скорость заражения здоровых клеток-макрофагов, мл/(вирион·сут) Infection rate of uninfected macrophages cells, ml/(virions·day) 0.7 Скорость гибели зараженных клеток, 1/сут Infected cell death rate, 1/day m1 0.00001 Скорость разрушения зараженных CD4+ T-лимфоцитов клетками CD8+, мл/(кл·сут) Immune-induced clearance rate for infected CD4+T-lymphocytes cells, ml/(cells·day) m2 0.00001 Скорость разрушения зараженных CD4+ T-лимфоцитов клетками CD8+, мл/(кл·сут) Immune-induced clearance rate for infected macrophages cells, ml/(cells·day) NT 100 Число синтезированных вирионов в ходе цикла репликации, вирион/кл Virions produced per infected cell, virions/cell ñ 13 Естественная скорость гибели вирионов, 1/сут Virus natural death rate, 1/day 1 1 Расход вирионов на заражение клетки CD4+, вирион/кл Average number virions infecting a cell of CD4+T-lymphocytes, virions/cell 2 1 Расход вирионов на заражение клетки-макрофага, вирион/кл Average number virions infecting a cell of macrophages, virions/cell E 1 Скорость производства клеток-киллеров CD8+, кл/(мл·сут) Immune effector production rate, cells/(ml·day) E 0.1 Скорость естественной гибели клеток-киллеров CD8+, 1/сут Natural death rate for immune effectors, 1/day bE 0.3 Максимальная скорость пролиферации клеток-киллеров CD8+, 1/сут Maximum birth rate for immune effectors, 1/day dE 0.25 Максимальная скорость гибели клеток-киллеров CD8+, 1/сут Maximum death rate for immune effectors, 1/day Kb 100 Коэффициент насыщения процесса рождения клеток-киллеров CD8+, кл/мл Saturation constant for immune effector birth, cells/ml Kd 500 Коэффициент насыщения процесса гибели клеток-киллеров CD8+, кл/мл Saturation constant for immune effector death, cells/ml f 0.34 Коэффициент снижения эффективности лечения ингибитором обратной транскриптазы Coefficient of treatment efficacy reduction with a reverse transcriptase inhibitor Перейдем к построению игрового структурно- прерываемого сценария u*(·) при следующих огра- T / tv 1 (1 v (ti )) C, * v ti t0 itv , (15) ничениях на действия второго игрока: i0 стратегия v[1] реализуется вторым игроком на расчетном периоде [t0 ,T ] второй игрок прив один и тот же период, т. е. меняет стратегию v[1] C раз, т. е. управление второго P/ tv 1 игрока v* v () удовлетворяет условию (1 v (tk itv )) C, * v i0 tk t0 kP, k 0, T / P 1. (16) Рис. 1. Субоптимальный структурно-прерываемый сценарий с четырехдневными интервалами прерывания, 20-дневными периодами управления и 600-дневным расчетным периодом. Время в сутках Fig. 1. Suboptimal structured treatment interruption scenario with four day treatment intervals, 20 day control periods, and 600 day control horizon. Time is measured in days Рис. 2. Графики фазовых переменных T1, T2, I1, I2, V, E. Черная линия - управляемая динамика (8) при субоптимальном структурно-прерываемом сценарии без возмущений, серые линии - траектории управляемой динамики (8) при возмущенных субоптимальных структурно-прерываемых сценариях Fig. 2. Graphs of phase variables T1, T2, I1, I2, V, E. Black line denotes controlled dynamics (8) under the suboptimal structured treatment interruption scenario without perturbations, gray lines are trajectories of controlled dynamics (8) under perturbed structured treatment interruption scenarios Применение вторым игроком стратегии v[1] прием лекарственных препаратов C раз. Обозначим чеводит к возмущению терапевтического сценария: рез VC множество всех управлений второго игрока, эффективность лекарственной терапии снижается до минимального значения. Управления второго игрока моделируют такой фактор, как недостаточная при- верженность пациента к терапии: пациент в один из периодов P нарушает схему ПАРТ, пропуская при- C удовлетворяющих условиям (15)-(16), а через U - множество структурно-прерываемых сценариев, по- лучаемых путем возмущения сценария u* (∙) действием v() VC , т. е. UC {u * () | u * () u * () v(), v() VC }. Рис. 3. Гистограммы распределения значений фазовых переменных T1, T2, I1, I2, V, E в момент времени T=600 дней при при возмущенных субоптимальных структурно-прерываемых сценариях, возмущенных субоптимальных игровых структурно-прерываемых сценариях Fig. 3. Frequency distribution histograms of values of the phase variables T1, T2, I1, I2, V, E at time T = 600 days under a) perturbed structured treatment interruption scenarios, b) perturbed game structured treatment interruption scenarios Рис. 4. Субоптимальный игровой структурно-прерываемый сценарий с четырехдневными интервалами прерывания, 20-дневными периодами управления и 600-дневным расчетным периодом. Время в сутках Fig. 4. Suboptimal game structured treatment interruption scenario with four day treatment intervals, 20 day control periods, and 600 day control horizon. Time is measured in days ~ На рис. 2 изображены графики фазовых траекто- рий ВИЧ-модели (8) при возмущенных сценариях u~ * () U1 (серые линии). Гистограммы распределений значений фазовых переменных в момент време- 0 ни T = 600 дней изображены на рис. 3a. Из рис. 2, 3a видно, что сценарий u* (∙) является чувствительным уже к одиночному пропуску лекарств на расчетном периоде [t , T]. Рассмотрим теперь для системы (8) результаты численного построения субоптимального игрового структурно-прерываемого сценария u*(t), t[0,600] с параметрами (12), множествами допустимых управ- лений первого и второго игрока (13)-(14) и допол- нительными ограничениями на управления второго игрока (15)-(16) при C = 1. На рис. 4, 5 изображены графики субоптимально- го игрового сценария u* (∙) и графики фазовых траек- торий ВИЧ-модели при сценарии u* (черная линия). Из рис. 5 видно, что игровой сценарий u* (∙) к окон- чанию расчетного периода T = 600 дней переводит модель (8) в состояние с благоприятной для пациен- та динамикой, однако данное состояние не является состоянием из области притяжения состояния (10). Значение функционала качества (11) в момент T = 600 дней γ* = 6.37730 ∙1010. На рис. 3b приве- дены гистограммы распределений значений фазо- вых переменных в момент времени T = 600 дней при возмущенных субоптимальных игровых структур- но-прерываемых сценариях. Из гистограмм видно, что достоинством построенного субоптимального Рис. 5. Графики фазовых переменных T1, T2, I1, I2, V, E. Черная линия - управляемая динамика (8) при субоптимальном игровом структурно-прерываемом сценарии без возмущений, серые линии - траектории управляемой динамики (8) при возмущенных субоптимальных игровых структурно-прерываемых сценариях Fig. 5. Graphs of phase variables T1, T2, I1, I2, V, E. Black line denotes controlled dynamics (8) under the suboptimal game structured treatment interruption scenario without perturbations, gray lines are trajectories of controlled dynamics (8) under perturbed game structured treatment interruption scenarios игрового сценария u * () является его устойчивость к одиночным пропускам лекарств на расчетном периоде [t0, T]. выводы и рекомендации В статье обобщен метод нахождения субопти- мальных структурно-прерываемых сценариев для конфликтно-управляемых моделей динамики ВИЧ. Приведены результаты численного построения суб- оптимального игрового структурно-прерываемого сценария, устойчивого к одиночным нарушениям ле- карственной схемы лечения. Разработанный подход может быть применен к анализу моделей динамики ВИЧ, содержащих факторы неопределенности раз- личной природы.
1. Vvedenie v zadachi modelirovaniya i upravleniya dinamikoy VICh infekcii / V. A. Chereshnev i dr. M.; Izhevsk : Institut komp'yuternyh issledovaniy, 2016. 230 s.
2. Attarian A., Tran H. An Optimal Control Approach to Structured Treatment Interruptions for HIV Patients: A Personalized Medicine Perspective // Applied Mathematics. 2017. Vol. 8. No. 7. P. 934-955.
3. Adams B. M., Banks H. T., Kwon H. D., Tran H. T. Dynamic multidrug therapies for HIV: Optimal and STI control approaches // Math. Biosci. Eng. 2004. Vol. 1. No. 2. P. 223-241.
4. Meza M. E. M., Bhaya A. Virus dynamics model subjected to a hybrid on-off control // J. Biol. Systems. 2010. Vol. 18. No. 2. P. 339-356.
5. Jang T. S., Kim J., Kwon H. D., Lee J. Hybrid on-off controls for an HIV model based on a linear control problem // J. Korean Math. Soc. 2015. Vol. 52. No. 3. P. 469-487.
6. Krasovskiy N. N., Subbotin A. I. Pozicionnye differencial'nye igry. M. : Nauka, 1976. 456 s.
7. Wu J., Zhang M. A Game Theoretical Approach to Optimal Control of Dual Drug Delivery for HIV Infection Treatment // IEEE Trans. Syst. Man, and Cybern. B Cybern. 2010. Vol. 40. No. 3. P. 694-702.
8. Buratto A., Cesaretto R., Zamarchi R. HIV vs. the Immune System: A Differential Game // Mathematics. 2015. Vol. 3. No 4. P. 1139-1170.
9. Jang T., Kwon H. D., Lee J. Free terminal time optimal control problem of an HIV model based on a conjugate gradient method // Bull. Math. Biol. 2011. Vol. 73. No. 10. P. 2408-2429.
10. An extremal shift method for control of HIV infection dynamics / G. Bocharov, A. V. Kim, A. Krasovskii,
11. A. Chereshnev, V. Glushenkova, A. Ivanov // Russian Journal of Numerical Analysis and Mathematical Model- ling. 2015. Vol. 30. No 1. P. 11-25.
