Удаление погрешностей измерений

Luca · 26-10-11 18:47:23

Итак господа эксперты сложный вопрос smile
Есть два прибора, которые собирают показания. Показания между приборами частично пересекаются. Нужно удалить эти пересечения и оставить только одну копию данных. Желательно ту, которая имеет максимальную точность. Проблема в том, что данные имеют неточные совпадения.

Привожу пример. прибор один записывает показания:
25.10.2011, 10:31, 23.8, 56.23, Moscow
25.10.2011, 11:35, 32.1, 16.20, Novgorod
25.20.2011, 11:56, 21.1, 53.14, Omsk
25.20.2011, 12:01, 33.6, 52.24, Tomsk

Прибор 2 пишет показания счетчиков:
25.10.2011, 10:32, 23.84, 56.23, Moscow City
25.10.2011, 11:14, 31.6, 14.26, Ufa
25.20.2011, 12:03, 33.61, 52.24, Tomsk

Итого на двух приборах у нас пересекаются данные по Москве и Томску. Но пересекаются не точно. Нужно как-то удалять эти данные. Как критерий подходят все три столбца, кроме даты и названия пункта.

Вообще с помощью чего подобные задачи на нестрогие совпадения можно было бы решить?

Babusha · 26-10-11 18:51:36

Luca, перевести в строку и просто обрезать?

MOP3E · 26-10-11 18:57:23

Luca пишет:

Желательно ту, которая имеет максимальную точность.

Вот с этого места поподробнее, пожалуйста. Как именно определяется более точный прибор? Я пока не вижу никаких ошибок, так как данные, снятые позднее, имеют большую величину.

Отредактировано MOP3E (26-10-11 18:57:39)

Babusha · 26-10-11 18:59:04

MOP3E пишет:

Вот с этого места поподробнее, пожалуйста. Как именно определяется более точный прибор? Я пока не вижу никаких ошибок, так как данные, снятые позднее, имеют большую величину.

Кстати, да, тоже же хотел спросить и забыл, какой критерий точности?

Luca · 26-10-11 20:05:21

Критерий точности - знаки после запятой.
т.е. к примеру 100 метров это не точно, 100.12 (сто метров и 12 см) это точно.

Это в моем примере точные данные больше. В реальности они могут быть несколько меньше и не обязательно что все будут отличаться. К примеру только 2 строки могут расходиться.

Добавлено спустя 03 мин 28 с:
Кстати, в теории было бы интересно узнать, как сделать так, чтобы удалялись значения с меньшей точностью. Т.е. априори предположим, что все самые точные значения имеют второй знак после точки (тут разделитель целой и дробной части точка).

Но опять, не все равно строки могут расходиться немного.

TrollWINNT · 26-10-11 20:32:39

2 Luca
А почему средние арифметические не годятся? Расхождения вроде бы мизер, сказать какой прибор более точен на основании одних знаков после запятой как то затруднительно smile

Sergey2408 · 26-10-11 21:04:55

Luca пишет:

Нужно удалить эти пересечения и оставить только одну копию данных. Желательно ту, которая имеет максимальную точность.

Из курса "Численные методы" мы знаем, что для операций, в которых участвуют значения с разной степенью погрешности, первым делом является выравнивание этих самых погрешностей. Т.е. более точное значение округляется до степени менее точного. 2,0023654 + 1 ≈ 2 + 1 ≈ 3
Другими словами:
1. Более точное округляем
2. Для совпадающих строк вычисляем среднее арифметическое (с округлением!!!!!!!!!1111111).
3. Курим округление

Отредактировано Sergey2408 (26-10-11 21:11:16)

Дестер · 26-10-11 21:09:23

Luca, тебе из каждых двух различных значений требуется оставить только одно, в котором больше знаков после запятой? Ок.
Что является средством реализации? Плюсы, sql-запрос?

Sergey2408, тогда уж дайте ссылку на ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%8 … 0%BE%D0%B2

Отредактировано Дестер (26-10-11 21:15:57)

MOP3E · 26-10-11 21:37:29

Luca пишет:

Критерий точности - знаки после запятой.

Ну, тупо разбирай строку чтобы выделить запятую и считай число знаков после запятой. Так и "более точный" результат можно выделить, и "менее точный". Хотя точность, как тут верно подметили, она не в количестве знаков после запятой, а в их качестве.

Или тебе конкретная реализация нужна? Тогда давай язык.

Luca · 27-10-11 12:48:53

MOP3E пишет:

Или тебе конкретная реализация нужна? Тогда давай язык.

Язык C#, PowerShell, Python. Хотя, учитывая то, что данные табличные, возможно можно было бы как-то средствами Excel.

К сообщению прикрепляю реальные данные. Прибор в данном случае сейсмограф. Цветами для наглядности выделены дубликаты данных.

data.zip

TrollWINNT · 27-10-11 19:46:29

Luca пишет:

К сообщению прикрепляю реальные данные. Прибор в данном случае сейсмограф. Цветами для наглядности выделены дубликаты данных.

Блин, в этих данных расхождения такие, что ни о какой точности по числу знаков после запятой, имхо, речи быть не может.
23,738 122,821 12.9.2011 5:15 5,1 43,1 TAIWAN REGION
24,28 122,8 12.9.2011 5:15 5.3 33 Район Тайваня

5,039 127,411 12.9.2011 7:30 5 117,1 PHILIPPINE ISLANDS REGION
5,13 127,37 12.9.2011 7:30 5.2 130 Район Филиппинских островов

Имхо, когда разница в десятках перед запятой - делать заключение о точности, по количеству соток, как то неразумно smile

Отредактировано TrollWINNT (27-10-11 19:47:35)

Luca · 27-10-11 20:15:01

TrollWINNT, значит надо брать 4 максимально совпадающих поля. А глубина да... видимо погрешность большая получается.

Добавлено спустя 45 мин 38 с:
MOP3E, если надумал серьезно заморачиваться на эту тему - не напрягайся т.к. эта тема для меня носит по большей части академический интерес.

Форум StopLinux

Объявление

#1 26-10-11 18:47:23

Удаление погрешностей измерений

#2 26-10-11 18:51:36

Re: Удаление погрешностей измерений

#3 26-10-11 18:57:23

Re: Удаление погрешностей измерений

#4 26-10-11 18:59:04

Re: Удаление погрешностей измерений

#5 26-10-11 20:05:21

Re: Удаление погрешностей измерений

#6 26-10-11 20:32:39

Re: Удаление погрешностей измерений

#7 26-10-11 21:04:55

Re: Удаление погрешностей измерений

#8 26-10-11 21:09:23

Re: Удаление погрешностей измерений

#9 26-10-11 21:37:29

Re: Удаление погрешностей измерений

#10 27-10-11 12:48:53

Re: Удаление погрешностей измерений

#11 27-10-11 19:46:29

Re: Удаление погрешностей измерений

#12 27-10-11 20:15:01

Re: Удаление погрешностей измерений

Подвал форума