Co już powstało
Rejestr zbiorów i manifesty opisujące licencję, podziały, taksonomię, preprocessing i warunki uruchomienia.
Kod treningu w PyTorch: MobileNetV3, augmentacja, wagi klas i ocena modeli. Eksport Core ML — formatu Apple do uruchamiania modeli na urządzeniu — jest przygotowany dla iOS.
Track B v2.3.1 ma niezależne wyjścia: s_referral jako główny sygnał badawczy, s_melanoma jako dodatkowy ranking; czteroklasowa taksonomia jest pomocnicza.
Co wiemy o wynikach
Na danych PAD architektura przeszła wewnętrzne kryterium badawcze. To nie jest dowód działania w praktyce.
W historycznym transferze MRA zamrożony próg referral objął 21 z 68 zdjęć czerniaka. Pozostałe 47 znalazło się poniżej progu. MRA było używane rozwojowo, więc nie jest niezależną walidacją.
Przenoszenie wyników między zbiorami jest ograniczeniem. Wyniki wyjść modelu nie są procentowym ryzykiem dla osoby i nie służą do diagnozy.
Co jest otwarte
Siedem testów ML blokuje rozbieżność hasha polityki referral względem zamrożonego protokołu; trzeba przywrócić spójność bez obchodzenia kontroli pochodzenia.
Potrzebna jest niezależna kohorta biopsyjna według SAP v1, czyli wcześniej ustalonego planu analizy statystycznej. Jej rola musi zostać zadeklarowana przed poznaniem etykiet: ocena zamrożonych progów albo ich ponowne ustalenie.
Przed jakimkolwiek użyciem na urządzeniu trzeba potwierdzić tożsamość wag, preprocessing oraz zgodność PyTorch i Core ML.
Czuły model, który działa lokalnie.
Docelowo chcemy badać analizę na urządzeniu, bez wysyłania zdjęć do serwera. Dzisiaj model pozostaje badawczy i nie jest dostępny w publicznej aplikacji.
Nie przeoczyć istotnych zmian
Oceniamy czułość sygnału referral, w tym osobno na zdjęciach czerniaka, oraz koszt fałszywych alarmów. Wyniki modelu nie są procentowym ryzykiem dla pacjenta.
Inne dane i zdjęcia z telefonu
Potrzebna jest niezależna kohorta z potwierdzeniem biopsyjnym oraz wcześniej określona metoda oceny. MRA pozostaje zamknięte dla dalszego strojenia.
PyTorch → Core ML
Eksport jest przygotowany, ale trzeba potwierdzić tożsamość modelu, zgodność preprocessingu i wyniki na tych samych zdjęciach.
Szybkość i zasoby
Na docelowym iPhonie pozostaje zmierzyć czas analizy, pamięć i zużycie energii, a także sprawdzić wpływ optymalizacji na wyniki modelu.
Obecny stan: v2.3.1 ma zamrożone wagi i progi; historyczny transfer na MRA nie spełnił warunku, a wdrożenie pozostaje niedopuszczone.
Co próbowaliśmy?
Próba, wynik i wniosek — z rozróżnieniem tego, co sprawdzono, od tego, co dopiero wymaga weryfikacji.
Trening na PAD-UFES-20
Model v2.3.1 przeszedł wewnętrzne kryterium na danych PAD.
Wynik wewnętrzny nie potwierdza działania na innych zbiorach.
Transfer na MRA-MIDAS
Zamrożony próg referral objął 21 z 68 zdjęć czerniaka; 47 znalazło się poniżej.
Historyczny transfer nie powiódł się; MRA było używane rozwojowo i nie jest niezależną walidacją.
Wcześniejszy model i MED-NODE
Historyczny model v3 osiągnął czułość 37/70 na niezależnym zbiorze przy progu wybranym na PAD.
Próg słabo przeniósł się na inne dane; ten wynik dotyczy wcześniejszego modelu, nie v2.3.1.
Wyniki odnoszą się do opisanych prób i wersji. Linki do repozytorium mogą wymagać dostępu.
Granica tego obszaru. MRA jest zamknięte dla dalszego strojenia i wyszukiwania progów. Nie filtrujemy trudnych zdjęć z mianownika oceny modelu. Wynik jakości jest osobnym raportem.
Ścieżki wskazują kod i dokumenty projektu; materiały badawcze i historyczne wyniki należy czytać z uwzględnieniem ich wersji.
Otwórz repozytorium