Wystąpiliśmy na konferencji “R in Pharma 2020”

“Podróż tysiąca mil zaczyna się od jednego kroku” głosi Lao-Tzu / chińskie przysłowie /.

Niniejszym wpisem rozpoczynamy wyjątkową serię publikacji na naszym firmowym blogu. Od tej chwili będziemy dzielić się interesującymi, naszym zdaniem, doświadczeniami na polu biostatystyki klinicznej, zarządzania danymi w badaniach klinicznych, a także raportować postępy w zakresie pionierskich prac nad włączeniem pakietu statystycznego R oraz innych narzędzi Open Source do badań klinicznych.

Pokażemy w jaki sposób wykonujemy typowe prace statystyczne z użyciem R. Nie jest to takie proste, jak mogłoby się wydawać! Niejednokrotnie musimy stawiać czoła poważnym przeciwnościom i znajdować rozwiązania nietrywialnych problemów.

Dlaczego uważamy nasze prace w tym zakresie za pionierskie? Wprawdzie coraz więcej firm farmaceutycznych wykorzystuje R w taki bądź inny sposób i dzieli się otwarcie swymi doświadczeniami na tym polu, jednakże nie dotyczy to submisji do agencji regulatorowych, takich jak FDA czy EMA. W dalszym ciągu, większość operacji analitycznych związanych z submisjami wykonywana jest z użyciem uznanego komercyjnego oprogramowania, takiego jak SAS, SPSS, Stata, nQuery, Win Nonlin itp. R pełni tu jedynie wtórną rolę narzędzia wspomagającego, co jest dalekie od zastąpienia wyżej wymienionych narzędzi.

W 2KMM używamy R do wszystkiego, co wiąże się z przygotowaniem i analizą danych:

• do projektowania badań klinicznych
• do odpytywania źródeł danych i tworzenia potrzebnych zbiorów (we własnym formacie, a także - eksperymentalnie - w formatach standardu CDISC)
• do kompleksowej analizy danych pochodzących z badań, jak również do walidacji programów statystycznych
• do dokumentowania procesu analiz
• do generowania tabel i wykresów, a także automatycznej ich kompilacji do końcowego raportu statystycznego
• do automatyzacji zadań i wytwarzania narzędzi pomocniczych
• do przeprowadzania analiz zlecanych doraźnie przez Sponsorów, weryfikacji danych i dochodzeń

Nasz cel jest jasny - pełna submisja eksperymentalnego, randomizowanego badania, adresowanego do agencji regulatorowej - przeprowadzona całkowicie z użyciem R. To czyni nas pionierami w branży.

Niestety, nie wystarczy po prostu zainstalować R i zacząć go używać, zapominając o istnieniu komercyjnego oprogramowania. Przemysł farmaceutyczny obwarowany jest szeregiem regulacji, dotyczących niemal każdego aspektu jego funkcjonowania. Użycie oprogramowania statystycznego nie jest wyjątkiem. Jednym z głównych wymagań stawianych przez agencje regulatorowe jest, by użyte oprogramowanie zostało należycie zweryfikowane.

R jest świetnym narzędziem analitycznym, niekwestionowanym liderem wśród innych niekomercyjnych narzędzi. Jest także praktycznie jedynym pakietem, który może konkurować z takimi komercyjnymi produktami jak SAS, SPSS czy Stata, które stanowią wyznacznik standardów przemysłowych. I chociaż rdzeń (pakiet bazowych bibliotek) pakietu jest rozwijany i utrzymywany przez powszechnie szanowany i obdarzony zaufaniem zespół specjalistów w zakresie statystyki, to pakiety dostarczane licznie (16,500+) przez zewnętrznych autorów nie zawsze spełniają odpowiednie wymogi w zakresie stabilności, jakości i poprawności działania. A to nie koresponduje z konserwatywną naturą przemysłu badań klinicznych.

Na przestrzeni kilku ostatnich lat powstało kilka niezależnych inicjatyw mających na celu umożliwienie stosowania R w badaniach klinicznych. Z biegiem czasu, niektóre z firm nawiązały współpracę. W wyniku połączenia sił największych graczy na rynku badań klinicznych powstał projekt Centrum Walidacji R (R Validation Hub).

Podczas, gdy większość tego rodzaju inicjatyw wydaje się skupiać głównie na dokumentowaniu wymagań, procesu instalacji R oraz jakości zainstalowanych pakietów (z wykorzystaniem różnych metryk), bazując na wynikach testów jednostkowych dostarczonych przez autorów pakietów, naszym priorytetem stała się dogłębna, samodzielna, numeryczna walidacja wyników generowanych przez R.

Bez przeprowadzenia tego rodzaju walidacji zachodzi ryzyko, że poczynione wysiłki w zakresie dokumentowania i analizy jakości kodu będą odnosić się do pakietów generujących wyniki odbiegające od wyników uzyskanych z użyciem komercyjnego, uznanego oprogramowania. Co gorsza - te (dość liczne!) różnice nie będą mogły być wyjaśnione w adekwatnym stopniu.

Nie umniejszając ważności procesu dokumentacji i wczesnego testowania kodu, stoimy na stanowisku, że walidacja numeryczna, wykraczająca daleko poza uruchomienie dostarczonych z pakietami testów jednostkowych, jest absolutnie niezbędna do osiągnięcia satysfakcjonującego stopnia zaufania do pakietów R. W szczególności kluczowym wyzwaniem staje się tutaj wyjaśnienie wszelkich rozbieżności uzyskanych wyników względem oprogramowania komercyjnego, aby być w pełni przekonanym co do wiarygodności przeprowadzanych obliczeń.

Powodowani powyższymi wątpliwościami i przekonani o słuszności numerycznej walidacji R, zaprezentowaliśmy nasze przemyślenia i doświadczenia podczas konferencji R in Pharma 2020. Naszym celem było podniesienie świadomości w tym zakresie i rozpoczęcie zbyt długo unikanej dyskusji nad wiarygodnością R. Poniżej przedstawiamy wystąpienie oraz link do prezentacji w formacie pdf naszego prelegenta, głównego biostatystyka w 2KMM - Adriana Olszewskiego.

“Nie jest łatwo być pionierem - lecz jest to fascynujące!” powiedziała niegdyś Dr Elizabeth Blackwell, pierwsza kobieta w Stanach Zjednoczonych z dyplomem lekarskim. Nie sposób się z tym nie zgodzić! Zapraszamy do obserwowania naszego bloga i śledzenia naszych zmagań z zadaniem trudnym, a jednocześnie niezwykle satysfakcjonującym.

Prezentacja: