Обучение компьютерному зрению в Санкт-Петербурге

30 лет. Для себя

23 года. Для себя

Нужна помощь с практикой (OpenCV, нейросети, обработка видео/изображений) и разбором задач под проекты на Python или C++. Желательно с опытом в реальных проектах (например, дроны, робототехника)

30 лет. Для себя

23 года. Для себя

Нужна помощь с практикой (OpenCV, нейросети, обработка видео/изображений) и разбором задач под проекты на Python или C++. Желательно с опытом в реальных проектах (например, дроны, робототехника)

23 года. Для себя

Нужна помощь с практикой (OpenCV, нейросети, обработка видео/изображений) и разбором задач под проекты на Python или C++. Желательно с опытом в реальных проектах (например, дроны, робототехника)

30 лет. Для себя

23 года. Подготовка к экзамену

Уточните категорию: обучение компьютерному зрению

Подготовка к защите НИР

Ищем репетитора для регулярной, от 5 часов в неделю и выше, на протяжение одного года, помощи преподавателя-куратора студенту в направлении исследования в области компьютерного зрения, дополненной реальности, ИИ и совмещения с точкой геолокации. Есть только приблизительное представление о теме магистерской работы в этом направлении. Нужна помощь-совет в определении темы для дипломной магистерской работы, и кураторство по исследованию на протяжение создания НИработы.

(Научрук):

Направление исследования должно затрагивать частично или в целом концепцию метаверса как таковую, но из-за нехватки знаний и опыта пока нет понимания адекватности наложения виртуальных объектов на физическую реальность (без ручного труда самого несчастного пользователя).

Пример: пешеход идет по улице. Предполагается, что в нужных местах будут появляться какие-то маркеры, надписи, точки интереса и т.п. А вот какое место "нужное" -до сих пор на самом деле пока нет представления. В основе простая идея: взять данные GPS, его точку (0,0) совместив с (0,0) виртуального мира, а там по фактическим значениям (например, 55.7558° N, 37.6173° E), где сейчас находится пользователь, наложить виртуальный мир, этим координатам соответствующий.

План неплох, только GPS никогда нормально не работал даже до 2022 года 🤷🏻‍♂️. (Либо, лично у студента нет информации об этом, если что то известно - напишите). В самом замечательном случае этот план даст погрешность в 5 метров, а по факту всегда будет даже хуже. Предположительно. Есть информация, что уже разрабатывали социальную сеть, в которой каждый пользователь мог в любой точке города оставить свой цифровой контент (3д модель, фото, видео и т.п.), а другие пользователи могли этот контент в этой точке увидеть. Но, увы, даже если взять условно гигантского дракона и заставить его летать вокруг высотки МГУ, все равно он от шпиля куда-то влево/вправо, но сместится 😩

Поэтому, есть несколько гипотез, что можно попробовать сделать, чтобы этому несчастному GPS помочь.

1. подключить компьютерное зрение. Люди тоже страдают от плохого GPS, но мы глазами понимаем в итоге там мы или где. Здесь придется работать с облаком точек (feature points) или как-то анализировать spatial (пространственные) карты. Можно ли помимо GPS координат сохранять в каком-то формате пространственную карту вокруг, а потом ее "узнавать" или "предугадывать", что оно где-то рядом со мной сейчас?

2. Возможно ли использовать возможности/API имеющихся картографических систем типа Яндекс Карт или Гугл карт, чтобы корректировать наше местоположение? Если слева от пользователя объективно располагается Ростикс, то это он тогда сейчас где в предполагаемом GPS радиусе? Тут возможно нужна бигдата из каких-то логотипов/знаков и метод их быстрого извлечения по увиденному.

3. Можно ли научить устройства объяснять друг другу дорогу, если они уже видели требуемую точку назначения? Типа как спросить у прохожего. В научных статьях подобные IoT коммуникации обычно называют роем (swarm). Может такая децентрализированная система позволит составить навигационный граф по точкам интереса, который даже на GPS-то не так сильно будет завязан?

Ирония в том, что если исходить из концепции студента "сначала придумать разработку, а потом подвязать к этому исследование", то если бы предположить игру, в которой надо ходить физически по реальному городу и искать виртуальные приключения в конкретных точках (точнее чем просто какой-то широкий радиус как в Pokemon Go), то студент бы как раз уперся бы в описанную проблему.

Были попытки поиска что уже есть похожего, но столкнулись с проблемой, что все это достигается через ML и нейронные сети. Студент не специалист по данным штукам и пока ему трудно понять то, что уже кем-то сделано(.(факультет разработки мобильных технологий ).

Были попытки поиска материалов по замыслу, но пока всё тупиково… Многое задуманное в каком-то виде уже давно людьми описано (неизвестно, только почему не внедрено). Но при этом полностью понять написанное трудно, потому что не хватает междисциплинарных знаний. Нужно становиться экспертами по ML\нейросетям, а студенту хотя бы просто на обучение , наверное, года 3 будет нужно, а писать статьи надо уже сейчас 😢

Возможно, надо распознавать отдельные физические объекты и вместе с вируальными превращать их в единый граф. Тогда можно будет восстанавливать положение и осуществлять навигацию.

Но вот люди уже что-то придумали и описали по этому поводу.(есть ссылка и файл, не получается здесь выслать).

А вот эта нейронная сеть осуществляет задумку сначала искать совпадения по общей картине, а уже потом начинать ее изучать в деталях. (Не получается и эту ссылку тоже выслать, но образно в некотором смылсе понятно). Это называется в компьютерном зрении глобальными и локальными дескрипторами.

___

Казалось бы, что скорее всего будут небольшие сдвиги или разрывы, когда объекты перемещаются рывком.. нужно будет искать способы это минимизировать?

_

Но с этим проблем нет. Есть такая технология как SLAM, которая комбинирует возможности компьютерного зрения и информацию, поступающих с различных "вестибулярных", они же инерционные, датчиков (акселерометр, гироскоп, барометр и т.д.). Если мы в дополненной реальности установили объект на плоскость, то он не шелохнется. Даже если выйти из комнаты, походить по квартире, подняться на этаж выше к соседям, а потом вернуться обратно.

Загвоздка именно в самой первоначальной установке.

_

Вот такой футуризм сейчас проблема (на фото визуализированны нужные пользователю точки геолокации, обозначенные элементами дополненной реальности при наведении на рельеф местности экрана смартфона).

Грубо говоря, пока что мы не можем повесить дракона четко над МГУ.

Попросить пользователя вручную ткнуть на стол и разместить этот объект в указанной точке - всё будет ок. А чтобы все остальные видели этот же объект ровно в этой же точке - беда.

Даже если пользователь ткнет в стол и разместит объект, и мы попытаемся это сохранить до следующего раза, то в следующий раз мы можем не суметь восстановить прежнее положение или сделаем это криво.

Пока только размышления в данном направлении. В том числе и такая концепция: сейчас можно в условном телеграмме поделиться с другим пользователем своей текущей геопозицией. С одной стороны уже прогресс, но с другой стороны как-будто было бы удобнее идти по городу в AR-очках и над своей конечной целью видеть условной столп света. Как в играх помечают цель текущего квеста. Типа такого.

Если что, из этого всего надо выцепить всего один какой-то конкретный мааааааленький поверхностный кусочек) .Здесь набросано всякое разное, чтобы можно было через разные подходы/технологии подойти к вопросу. А то тут хватит на несколько докторских и кандидатских, не говоря уже по магистерские и бакалаврские))

Пример #1

Допустим, мы хотим подойти к вопросу через нейронные сети. Попробуем исследовать способы извлечения глобальных дескрипторов (это когда визуальная картинка воспринимается обобщенным образом, не в деталях).

1. Знакомимся с работами  по масштабной визуальной локализации и распознаванию местности: NetVLAD, DELF (Deep Local Features), и другими современными подходами.

2. Ищем датасеты участков улиц с разнообразными условиями. Почти уверена, что где-то есть уже собранные и открытые.

3. Реализуем алгоритм с использованием глобальных дескрипторов и оцениваем его производительность. Например, проводим эксперименты на ограниченном участке, постепенно увеличивая масштаб.

4. Фиксируем результаты, делаем выводы о том, в какую сторону лучше дальше думать.

Пример #2

Идея: Моделировать объекты в сцене как узлы графа, а их пространственные отношения как ребра. Такой подход позволяет создать абстрактное представление пространства, которое устойчиво к небольшим изменениям.

1. Учимся автоматически обнаруживать и сегментировать объекты на изображении (например, через предварительно обученные модели типа MobileNet-SSD или YOLO.

2. Строим по сегментам граф сцены

3. Пробуем разные алгоритмы сравнения двух графов (сохраненного и текущего)

4. Фиксируем результаты, выдаем дальнейшие рекомендации

и т.д.

Ранее хотелось развиваться именно по ML теме) . Но в любом случае, это больше про то, какой ход мыслей примерно должен быть на любую тему, которой в итоге студент будет заниматься.

_

Это все выслала научный руководитель  с целью определить и обозначить тему  научной работы , найти ей название в сфере исследования и начинать работать над ней

Для работы

21 год. Для себя

27 лет. Для себя

Проходила некоторые курсы про компьютерному зрению, но так и не получилось поменять работу. Нужен работающий специалист, который поможет сделать несколько пет проектов, будет смотреть код и пинать каждую неделю. использую Python

21 год. Для себя

Обучение компьютерному зрению

21 год. Для себя

Обучение компьютерному зрению