GitHub – baowenbo/DAIN: Depth-Aware Video Frame Interpolation (CVPR 2019)

Dự án | Luận văn

Bao Wenbo, Lai Weisheng, Ma Chao, Zhang Xiaoyun, Gao Zhiyong, Yang Mingxuan

Hội nghị IEEE về Thị giác Máy tính và Nhận dạng Mẫu, Long Beach, cvpr 2019

Công việc này được phát triển dựa trên memc-net công việc tpami của chúng tôi, trong đó chúng tôi đề xuất các lớp sợi dọc thích ứng. Mời các bạn cũng tham khảo.

Thư mục

  1. Giới thiệu
  2. Trích dẫn
  3. Yêu cầu và sự phụ thuộc
  4. Cài đặt
  5. Kiểm tra mô hình được đào tạo trước
  6. Tải xuống kết quả
  7. Tạo chuyển động chậm
  8. Đào tạo một mô hình mới
  9. bản trình diễn của google colab
  10. Giới thiệu

    Chúng tôi đề xuất mô hình nội suy d epth- a g khung video in ( dain ) để phát hiện một cách rõ ràng vượt qua Khám phá sự tắc nghẽn của các tín hiệu độ sâu. Chúng tôi phát triển một lớp chiếu luồng nhận biết độ sâu để tổng hợp các luồng trung gian thích các đối tượng gần mẫu hơn các đối tượng ở xa hơn. Phương pháp của chúng tôi đạt được hiệu suất hiện đại trên tập dữ liệu middlebury. Chúng tôi cung cấp video tại đây.

    68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d3159574179414a33543438664d4676324b386a38774956636d516d333963526f66 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d314367434c6d56435f575456544163415f496457624c7152384d5331387a486f61 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d31705748747942535a734f5443374e5456644854727631572d6478613935424c6f 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d313730766478414e476f4e4b4f355f384d594f756944766f49587a756376374857

    68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d31734a4c776451644c364a595853516f5f4265763061514d6c655761637843734e 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d316a476a3355644770706f4a4f30324f66385a614e5871444834666e587551384f 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d31763537524d6d397835764d33366d43675079356872657358445a577477335673 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d314c4d77535530507247345f4761446a5752493276396876577059777a524b6361

    68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d317069506e456578754861694172345a7a575341784769317531586f5f36765070 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d316b6f72625873477053674a6e37544842486b4c5256724a4d74437435595a5042 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d315f346b566c6876726d4376353461586937765a4d6b332d467452514637733073 68747470733a2f2f64726976652e676f6f676c652e636f6d2f75633f6578706f72743d766965772669643d31346e3778766239686a544b71666372375a70454679664d76783645384e68445f

    Trích dẫn

    Nếu bạn thấy mã và tập dữ liệu hữu ích cho nghiên cứu của mình, vui lòng trích dẫn:

    Yêu cầu và phụ thuộc

  • ubuntu (chúng tôi đã thử nghiệm với ubuntu = 164,5 lts)
  • python (chúng tôi đã thử nghiệm với python = 3.6.8 trong anaconda3 = 4.1.1)
  • cuda & amp; cudnn (chúng tôi đã thử nghiệm với cuda = 9.0 và cudnn = 7.0)
  • pytorch (chiếu luồng nhận biết độ sâu tùy chỉnh và các lớp khác yêu cầu api aten trong pytorch = 1.0.0)
  • gcc (biên dịch tệp mở rộng pytorch 1.0.0 (.c / .cu) yêu cầu trình biên dịch gcc = 4.9.1 và nvcc = 9.0)
  • nvidia gpu (chúng tôi sử dụng titan x (pascal) với compute = 6.1, nhưng chúng tôi hỗ trợ các thiết bị compute_50 / 52/60/61, nếu bạn có khả năng tính toán cao hơn, vui lòng sửa đổi điều này)
  • Cài đặt

    Tải xuống kho lưu trữ:

    Trước khi tạo tiện ích mở rộng pytorch, hãy đảm bảo bạn có pytorch> = 1.0.0:

    Tạo tiện ích mở rộng pytorch của chúng tôi:

    Cần có các gói liên quan để tạo pwcnet:

    Kiểm tra mô hình được đào tạo trước

    Tạo thư mục trọng lượng mô hình và thư mục tập dữ liệu middlebury:

    Tải xuống mô hình được đào tạo trước,

    Và tập dữ liệu Middlebury:

    Được cài đặt sẵn:

    Chúng tôi rất vui vì:

    Các kết quả được nội suy nằm trong middleburyset / other-result-author / [random number] /, trong đó các số ngẫu nhiên được sử dụng để phân biệt giữa các lần chạy.

    Tải xuống kết quả

    Mô hình dain của chúng tôi đạt được hiệu suất hiện đại nhất trên ucf101, vimeo90k và middlebury (eval và các loại khác). Tải xuống kết quả nội suy của chúng tôi:

    Tạo chuyển động chậm

    Mô hình của chúng tôi hoàn toàn có khả năng tạo hiệu ứng chuyển động chậm chỉ với những sửa đổi nhỏ đối với kiến ​​trúc mạng. Chạy mã sau để tạo hiệu ứng chuyển động chậm x4 bằng cách chỉ định time_step = 0,25:

    Hoặc đặt time_step thành 0,125 hoặc 0,1 như hình dưới đây

    Tạo ra chuyển động chậm x8 và x10 tương ứng. Hoặc nếu bạn muốn chuyển động chậm x100 để giải trí một chút.

    Bạn cũng có thể muốn tạo ảnh gif động bằng cách:

    Chúc bạn vui vẻ và vui vẻ!

    Đào tạo một mô hình mới

    Tải xuống bộ dữ liệu bộ ba vimeo90k cho các tác vụ nội suy khung hình video, xem thêm xue và cộng sự tại đây, ijcv19.

    Tải xuống các mô hình megadepth và pwcnet được đào tạo trước

    Chạy tập lệnh đào tạo:

    Mô hình được tối ưu hóa sẽ được lưu vào thư mục model_weights / [số ngẫu nhiên], nơi [số ngẫu nhiên] sẽ được tạo cho các lần chạy khác nhau.

    Thay thế mô hình model_weights / best.pth được đào tạo trước bằng mô hình model_weights / [số ngẫu nhiên] /best.pth mới được đào tạo. Sau đó, kiểm tra mô hình mới bằng cách thực hiện:

    google colab demo

    Đây là một sửa đổi của dain cho phép sử dụng google colab và có khả năng nội suy demo đầy đủ từ video nguồn đến video đích.

    Bạn có thể tìm thấy các tệp sổ tay gốc của Btahir tại đây.

    Để sử dụng colab, hãy làm theo các bước sau:

    • Tải xuống tệp colab_dain.ipynb (liên kết).
    • Truy cập Phòng thí nghiệm cộng tác của Google (liên kết)
    • Chọn tùy chọn “Tải lên” và tải tệp .ipynb lên
    • Làm theo hướng dẫn để chạy từng ô.
    • tệp colab theo styler00dollar và alpha.

      Liên hệ

      Wenbobao; Hygiene (Jason) Biracial

      Giấy phép

      Xem giấy phép mit

Để lại một bình luận

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *