El nucli de la configuració de la configuració del grup de control és "la línia de base com a guia, dividir segons sigui necessari i controlar les variables". Trieu l'esquema adequat en funció dels vostres objectius de validació. A continuació es mostren tres dissenys de grups d'ús habitual per cobrir necessitats diferents:
1. Tipus de validació bàsica (només verificant que el nou algorisme és millor que l'algorisme tradicional): El més senzill i eficient, adequat per a la majoria d'escenaris.
|
Número de grup |
Nom del grup |
Configuració de l'algoritme |
Funció |
|
1 |
Grup de control de base |
Algorisme tradicional de comparació de llindars fixos |
Proporciona un punt de referència de rendiment, corresponent al vostre esquema existent actual. |
|
2 |
Grup Experimental |
Nou algorisme optimitzat que cal validar (p. ex., algorisme combinat dinàmic en fase + 3σ + EWMA) |
Comprova el rendiment real del nou algorisme, en comparació directa amb la línia de base. |
Escenaris aplicables: Només cal confirmar si el nou algorisme és millor que l'antic, sense necessitat de desglossar l'efecte de cada mòdul d'optimització. Primera opció per a la validació de modificacions d'enginyeria, amb el menor nombre de variables i els resultats més clars.
2. Tipus de descomposició del mòdul (verificant el guany individual de cada mòdul d'optimització): apte per al desenvolupament i l'ajustament d'algoritmes. Si voleu saber quanta millora de rendiment aporta cada mòdul ("llindar esglaonat, actualització 3σ, compensació EWMA") individualment, utilitzeu aquest mètode d'agrupació:
|
Número de grup |
Nom del grup |
Configuració de l'algoritme |
Propòsit |
|
1 |
Grup de control de base |
Llindar fix tradicional (sense optimització) |
Línia de base original |
|
2 |
Grup 1 d'experiment d'optimització única |
Només llindar dinàmic per fases (sense actualització adaptativa) |
Verifiqueu l'efecte de reducció fals positiu només del llindar per fases |
|
3 |
Grup d'experiments d'optimització dual 2 |
Actualització del llindar dinàmic per etapes + 3σ (sense línia de base EWMA) |
Verifiqueu el guany addicional després de l'actualització de 3σ |
|
4 |
Grup d'experiments d'optimització completa 3 |
Actualització del llindar dinàmic per etapes + 3σ + compensació de la línia de base EWMA (algorisme combinat complet) |
Comproveu l'efecte final de l'algorisme complet. |
Escenaris aplicables: durant la fase de desenvolupament de l'algorisme, quan es vol aclarir la contribució de cada mòdul d'optimització, facilitant l'eliminació de mòduls ineficaços i centrar-se en optimitzacions efectives.
3. Comparació competitiva (Comparació dels avantatges i desavantatges de diferents algorismes principals): Apte per a escenaris de selecció.
Si necessiteu triar l'algoritme més adequat entre diversos algorismes madurs, utilitzeu aquest mètode d'agrupació:
|
Número de grup |
Nom del grup |
Configuració de l'algoritme |
Funció |
|
1 |
Grup de control de base |
Llindar fix tradicional |
Referència bàsica |
|
2 |
Grup de solucions principals 1 |
Actualització del llindar dinàmic per fases + 3σ |
Prova el rendiment de les solucions principals actuals |
|
3 |
Grup de solucions principals 2 |
Algorisme de compensació adaptativa EWMA |
Comparació dels avantatges i desavantatges d'una altra solució convencional |
|
Opcional |
Grup de solucions-de gamma alta |
Detecció d'anomalies d'aprenentatge automàtic |
Prova la rendibilitat-de les solucions-de gamma alta |
Escenaris aplicables: selecció i adquisició, presa de decisions-de solucions, on s'han de definir clarament les diferències de rendiment entre diferents algorismes madurs.
Principis bàsics per a la configuració del grup:
Cada grup només conserva una variable: tots els grups han de tenir el mateix maquinari, condicions de funcionament i cicles de prova, que només difereixen en l'algorisme; en cas contrari, els resultats no són concloents.
S'ha de mantenir un grup de control de referència: les comparacions sense una línia de base no tenen sentit; tots els resultats s'han d'ancorar a la solució original per demostrar superioritat o inferioritat.
Més grups no són necessàriament millors: en escenaris no-d'optimització de desenvolupament, un disseny bàsic d'"1 grup de control + 1 grup experimental" és suficient; massa grups augmentaran la càrrega de treball de les proves.
