csrdready Запишете ме в списъка на чакащите

Kennisbank

Нормализация в таблица: какво документирате и защо

Таблицата като източник, и проблемът, който възниква от това

Голяма част от данните за устойчивост не идва от система с фиксирани полета и фиксирани единици, а от таблица, съставена от служител. Енергийно потребление в kWh наред с литри гориво, данни за отпадъци по обект в различни единици, брой служители, преброени на различни дати. Преди такова число да попадне в отчет, то е нормализирано: преизчислено в обща единица, коригирано за период, обединено на организационно ниво. Тази нормализация често се извършва в същата таблица, с формула, която никой освен съставителя не познава.

Проблемът не е, че се извършва нормализация. Проблемът е, че тази стъпка е невидима. Формула в клетка показва резултат, не предположението зад него. Ако друг отвори файла, той вижда число, не разсъждение.

Какво се случва между източника и отчета

Между необработената таблица и публикуваното число обикновено има няколко стъпки: преизчисляване на единици, оценка или пропускане на липсващи стойности, събиране на числа от няколко обекта, прилагане на коригиращ фактор за известно отклонение. Всяка стъпка променя числото, и всяка стъпка е избор. Кой коефициент на преизчисляване е използван, за какъв период е събрано, защо отклоняваща се стойност е включена или не. Без документиране тези избори съществуват само в главата на онзи, който е създал таблицата. Преглед на кои операции стоят между източника и отчета показва, че нормализацията рядко е една единствена стъпка, а по-скоро верига, в която всяко звено трябва да може да се провери отделно.

Защо документирането е повече от документация след факта

Документирането на нормализация не е същото като писане на обяснение след завършването на отчета. Става дума за момента, в който се извършва обработката: коя формула, с какви параметри, приложена върху каква необработена стойност. Това е разликата между одитна пътека (audit trail) и дневник. Дневникът регистрира, че нещо се е случило; одитната пътека изяснява какво се е случило и защо тази обработка е била правилна в този момент. Тази разлика е разгледана подробно в защо одитната пътека е повече от дневник, когато източникът е таблица. Който документира нормализацията само след факта, поема риска, че първоначалният избор вече не може да бъде възстановен, особено ако съставителят на таблицата вече е на друга длъжност или е напуснал организацията.

Lineage без нужда от инструмент

Често срещано предположение е, че lineage — проследяването на число от източника до отчета — изисква система, която прави това автоматично. Това не е задължително. Дори с таблици като източник е възможно да се документира за всяка точка от данни коя изходна стойност е използвана, каква обработка е приложена върху нея и кой е одобрил тази обработка. Това изисква дисциплина, а не софтуер. Как изглежда това на практика, е описано в как създавате lineage без инструмент, когато източникът е таблица. Основата е фиксирана структура: за всяка точка от данни — изходната таблица, приложената формула, и препратка към кой е установил тази формула. Това е повече формат, отколкото система, и е приложимо преди дори да се мисли за инструмент.

Собственост на правилото за нормализация

Правило за нормализация — например коефициентът за преизчисляване от вид гориво към CO2-еквивалент — само по себе си е точка от данни, която се нуждае от собственик. Не собственика на крайното число, а собственика на правилото: кой решава, че този коефициент е правилният, и кой го коригира, когато нормата се промени. Без такова възлагане отговорността се измества неявно към онзи, който случайно е изградил таблицата. Въпросът кой притежава определението на точка от данни касае точно това: определение и правило за изчисление се нуждаят от собственик, който е отделен от онзи, който въвежда данните. Това е една от частите на source-to-report mapping, обяснено в какво е source-to-report mapping: не само откъде идва число, но и кой носи отговорност за всяка стъпка между тях.

Защо това не започва с инструмент

Съществуват инструменти, които автоматизират нормализацията и показват lineage. Тези инструменти не решават нищо, ако процесът отдолу не е изграден: ако никой не е документирал кое правило се прилага за коя точка от данни, инструментът само показва по-бързо число, чийто произход остава неясен. Първо процесът, после инструментът. Кой решава относно тази организация е въпрос, който излиза извън обхвата на самата нормализация; той е разгледан в кой притежава процеса отдолу.

От документиране към автоматизация

Когато веднъж е ясно какви стъпки на нормализация съществуват, кой ги извършва и на базата на какво правило, възниква втори въпрос: коя част от тази ръчна работа в таблицата може да се предаде на AI. Работният скенер на FTE TO AI изчислява за всяка задача коя част от работата може да бъде поета, и е приложим веднага щом стъпките на нормализация са описани като отделни, разпознаваеми задачи, вместо да са скрити в една формула.

Marvinde assistent van de Data Readiness Scan

Vraag maar waar een datapunt vandaan komt. Dat is meestal de hele vraag.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.